资讯详情

使用Java语言搭建一个简易的局域网直播(live)系统

演示一下

由于是局域网直播系统，最简单的情况也应该由录制直播和播放直播两部分组成。

  • 录制直播 录制直播使用本机摄像头和麦克风，使用Java自带的JFrame窗口播放，支持音视频录制。效果如下图所示： 在这里插入图片描述
  • 播放直播 这里播放器的选择是由htm js css支持输入播放网站，点击播放按钮播放。众所周知html页面可以通过浏览器打开，所以只要在局域网中打开播放器输入网站，就可以观看主机的直播。效果如下：

原理说明

在这里，我将简要介绍我在局域网直播系统中使用的关键技术，以便您对该系统有一个初步的了解。

Java、JavaCV、maven、Nginx、rtmp、hls、html等

一、JavaCV简介

javacv支持开发包java多媒体开发的一套开发包可用于当地多媒体（音视频）调用、音视频、图片等文件的后期操作（图片修改、音视频解码编辑等）。有四个核心组件帧抓取器(FrameGrabber)、帧录制器/推流器(FrameRecorder)、过滤器(FrameFilter)、帧(Frame)。我主要在这里应用。想看原理请参考:JavaCV原理

二、RTMP协议

RTMP(Real Time Messaging Protocol)实时信息传输协议是Adobe Systems公司为Flash音频、视频和数据传输 开发的开放协议也是默认使用端口1935的流媒体协议。简单来说，按照这个协议推送抓取的音频流是直播系统常见的协议

三、Nginx推流服务器

Nginx每个人都应该熟悉服务器。它有一个名字nginx-rtmp-module开源模块。nginx-rtmp-module不仅可以使 Nginx 可以支持 RTMP，用于点播和直播音视频，也可以使用RTMP协议变为HLS协议，也就是常见的m3u8文件流。这里我使用Nginx 加上 nginx-rtmp-module 模块作为 RTMP 服务端，FrameGrabber音视频数据将被推送到Nginx转发推流服务器。

四、Maven工程建设工具

不用说，它主要用于构建开发环境，因为JavaCV包比较大，单独下载jar包容易漏。

五、前端播放器

我从这个播放器github上down下面，既简单又漂亮，下载地址将在下面。

准备阶段

简要介绍了核心技术，这里我将介绍如何构建整个局域网直播系统的环境。

一、JDK版本和操作系统

二、搭建Nginx服务器

1、下载Nginx包

下载地址(选择后缀)Gryphon）：官网地址

2、下载nginx-rtmp-module

下载地址：代码地址

3、解压文件

解压nginx压缩包，将nginx-rtmp-module放到Nginx文件夹中。

三、修改nginx.conf

将nginx-win.conf复制文件，改名为nginx.conf，覆盖以下配置

#user nobody; worker_processes  1;  #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info;  #pid logs/nginx.pid;   events { 
             worker_connections  1024; }    http { 
             include       mime.types;     default_type  application/octet-stream;      #log_format main '$remote_addr - $remote_user [$time_local] "$request" '     # '$status $body_bytes_sent "$http_referer" '     # '"$http_user_agent" "$http_x_forwarded_for"';      #access_log logs/access.log main;      sendfile        on;     #tcp_nopush on;      #keepalive_timeout 0;     keepalive_timeout  65;      #gzip on;      server { 
                 listen       8080;         server_name  localhost;          #charset koi8-r;          #access_log logs/host.access.log main;          location / { 
                     root   html;             index  index.html index.htm;
        }

        # 由于使用hls播放，需要在http中添加支持
        location /live { 
        
                types { 
        
                   application/vnd.apple.mpegusr m3u8;
                   video/mp2t ts;
                }
                # 这里的地址要和下面rtmp中配置的一致，否则访问地址时会出现404
                alias D://javacv/flie/hls;
                add_header Cache-Control no-cache;
                # 跨域处理，否则下发播放器时会打不开
                add_header Access-Control-Allow-Origin *;
                add_header Access-Control-Allow-Headers "Origin, X-Requested-With, Content-Type, Accept";
                add_header Access-Control-Methods "GET, POST, OPTIONS";

        }        

        #error_page 404 /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html { 
        
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ { 
        
        # proxy_pass http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ { 
        
        # root html;
        # fastcgi_pass 127.0.0.1:9000;
        # fastcgi_index index.php;
        # fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
        # include fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht { 
        
        # deny all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server { 
        
    # listen 8000;
    # listen somename:8080;
    # server_name somename alias another.alias;

    # location / { 
        
    # root html;
    # index index.html index.htm;
    # }
    #}


    # HTTPS server
    #
    #server { 
        
    # listen 443 ssl;
    # server_name localhost;

    # ssl_certificate cert.pem;
    # ssl_certificate_key cert.key;

    # ssl_session_cache shared:SSL:1m;
    # ssl_session_timeout 5m;

    # ssl_ciphers HIGH:!aNULL:!MD5;
    # ssl_prefer_server_ciphers on;

    # location / { 
        
    # root html;
    # index index.html index.htm;
    # }
    #}
    include servers/*;
}

#在http节点下面(也就是文件的尾部)加上rtmp配置：
rtmp{ 
        
   server { 
        
     listen 1935;
     application myapp{ 
        
        live on;
        record off;
        allow play all;
     }
     application live{ 
        
        live on;
        hls on;
        # 这里的地址是存放ts文件的，不会默认创建，需要预先创建好
        hls_path D://javacv/flie/hls;
        hls_fragment 5s;
        hls_playlist_length 15s;
        record off;
     }
   }
}

项目代码

后端代码

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.wzhi.java_live_broadcast</groupId>
    <artifactId>java-live-broadcast</artifactId>
    <version>1.0-SNAPSHOT</version>
    <description>自建局域网直播系统</description>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.6</source>
                    <target>1.6</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencies>
        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacv-platform</artifactId>
            <version>1.4.4</version>
        </dependency>
    </dependencies>

</project>

启动类

package com.wzhi.live;

import org.bytedeco.javacpp.avcodec;
import org.bytedeco.javacv.*;

import javax.sound.sampled.*;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class Application { 
        
    public static void main(String[] args) throws FrameGrabber.Exception { 
        
        //准备推流
        recordWebcamAndMicrophone(0,4,"rtmp://xxx.xxx.xxx.xxx:1935/live/test",1000,500,35);
    }
    /** * 推送/录制本机的音/视频(Webcam/Microphone)到流媒体服务器(Stream media server) * * @param WEBCAM_DEVICE_INDEX * - 视频设备，本机默认是0 * @param AUDIO_DEVICE_INDEX * - 音频设备，本机默认是4 * @param outputFile * - 输出文件/地址(可以是本地文件，也可以是流媒体服务器地址) * @param captureWidth * - 摄像头宽 * @param captureHeight * - 摄像头高 * @param FRAME_RATE * - 视频帧率:最低 25(即每秒25张图片,低于25就会出现闪屏) * @throws org.bytedeco.javacv.FrameGrabber.Exception */
    public static void recordWebcamAndMicrophone(int WEBCAM_DEVICE_INDEX, final int AUDIO_DEVICE_INDEX, String outputFile,
                                                 int captureWidth, int captureHeight, final int FRAME_RATE) throws org.bytedeco.javacv.FrameGrabber.Exception { 
        
        long startTime = 0;
        long videoTS = 0;
        /** * FrameGrabber 类包含：OpenCVFrameGrabber * (opencv_videoio),C1394FrameGrabber, FlyCaptureFrameGrabber, * OpenKinectFrameGrabber,PS3EyeFrameGrabber,VideoInputFrameGrabber, 和 * FFmpegFrameGrabber. */
        OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(WEBCAM_DEVICE_INDEX);
        grabber.setImageWidth(captureWidth);
        grabber.setImageHeight(captureHeight);
        System.out.println("开始抓取摄像头...");
        int isTrue = 0;// 摄像头开启状态
        try { 
        
            grabber.start();
            isTrue += 1;
        } catch (org.bytedeco.javacv.FrameGrabber.Exception e2) { 
        
            if (grabber != null) { 
        
                try { 
        
                    grabber.restart();
                    isTrue += 1;
                } catch (org.bytedeco.javacv.FrameGrabber.Exception e) { 
        
                    isTrue -= 1;
                    try { 
        
                        grabber.stop();
                    } catch (org.bytedeco.javacv.FrameGrabber.Exception e1) { 
        
                        isTrue -= 1;
                    }
                }
            }
        }
        if (isTrue < 0) { 
        
            System.err.println("摄像头首次开启失败，尝试重启也失败！");
            return;
        } else if (isTrue < 1) { 
        
            System.err.println("摄像头开启失败！");
            return;
        } else if (isTrue == 1) { 
        
            System.err.println("摄像头开启成功！");
        } else if (isTrue == 1) { 
        
            System.err.println("摄像头首次开启失败，重新启动成功！");
        }

        /** * FFmpegFrameRecorder(String filename, int imageWidth, int imageHeight, * int audioChannels) fileName可以是本地文件（会自动创建），也可以是RTMP路径（发布到流媒体服务器） * imageWidth = width （为捕获器设置宽） imageHeight = height （为捕获器设置高） * audioChannels = 2（立体声）；1（单声道）；0（无音频） */
        final FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, captureWidth, captureHeight, 2);
        recorder.setInterleaved(true);

        /** * 该参数用于降低延迟 参考FFMPEG官方文档：https://trac.ffmpeg.org/wiki/StreamingGuide * 官方原文参考：ffmpeg -f dshow -i video="Virtual-Camera" -vcodec libx264 * -tune zerolatency -b 900k -f mpegts udp://10.1.0.102:1234 */

        recorder.setVideoOption("tune", "zerolatency");
        /** * 权衡quality(视频质量)和encode speed(编码速度) values(值)： * ultrafast(终极快),superfast(超级快), veryfast(非常快), faster(很快), fast(快), * medium(中等), slow(慢), slower(很慢), veryslow(非常慢) * ultrafast(终极快)提供最少的压缩（低编码器CPU）和最大的视频流大小；而veryslow(非常慢)提供最佳的压缩（高编码器CPU）的同时降低视频流的大小 * 参考：https://trac.ffmpeg.org/wiki/Encode/H.264 官方原文参考：-preset ultrafast * as the name implies provides for the fastest possible encoding. If * some tradeoff between quality and encode speed, go for the speed. * This might be needed if you are going to be transcoding multiple * streams on one machine. */
        recorder.setVideoOption("preset", "ultrafast");
        /** * 参考转流命令: ffmpeg * -i'udp://localhost:5000?fifo_size=1000000&overrun_nonfatal=1' -crf 30 * -preset ultrafast -acodec aac -strict experimental -ar 44100 -ac * 2-b:a 96k -vcodec libx264 -r 25 -b:v 500k -f flv 'rtmp://<wowza * serverIP>/live/cam0' -crf 30 * -设置内容速率因子,这是一个x264的动态比特率参数，它能够在复杂场景下(使用不同比特率，即可变比特率)保持视频质量； * 可以设置更低的质量(quality)和比特率(bit rate),参考Encode/H.264 -preset ultrafast * -参考上面preset参数，与视频压缩率(视频大小)和速度有关,需要根据情况平衡两大点：压缩率(视频大小)，编/解码速度 -acodec * aac -设置音频编/解码器 (内部AAC编码) -strict experimental * -允许使用一些实验的编解码器(比如上面的内部AAC属于实验编解码器) -ar 44100 设置音频采样率(audio sample * rate) -ac 2 指定双通道音频(即立体声) -b:a 96k 设置音频比特率(bit rate) -vcodec libx264 * 设置视频编解码器(codec) -r 25 -设置帧率(frame rate) -b:v 500k -设置视频比特率(bit * rate),比特率越高视频越清晰,视频体积也会变大,需要根据实际选择合理范围 -f flv * -提供输出流封装格式(rtmp协议只支持flv封装格式) 'rtmp://<FMS server * IP>/live/cam0'-流媒体服务器地址 */
        recorder.setVideoOption("crf", "25");
        // 2000 kb/s, 720P视频的合理比特率范围
        recorder.setVideoBitrate(2000000);
        // h264编/解码器
        recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
        // 封装格式flv
        recorder.setFormat("flv");
        // 视频帧率(保证视频质量的情况下最低25，低于25会出现闪屏)
        recorder.setFrameRate(FRAME_RATE);
        // 关键帧间隔，一般与帧率相同或者是视频帧率的两倍
        recorder.setGopSize(FRAME_RATE * 2);
        // 不可变(固定)音频比特率
        recorder.setAudioOption("crf", "0");
        // 最高质量
        recorder.setAudioQuality(0);
        // 音频比特率
        recorder.setAudioBitrate(192000);
        // 音频采样率
        recorder.setSampleRate(44100);
        // 双通道(立体声)
        recorder.setAudioChannels(2);
        // 音频编/解码器
        recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
        System.out.println("开始录制...");

        try { 
        
            recorder.start();
        } catch (org.bytedeco.javacv.FrameRecorder.Exception e2) { 
        
            if (recorder != null) { 
        
                System.out.println("关闭失败，尝试重启");
                try { 
        
                    recorder.stop();
                    recorder.start();
                } catch (org.bytedeco.javacv.FrameRecorder.Exception e) { 
        
                    try { 
        
                        System.out.println("开启失败，关闭录制");
                        recorder.stop();
                        return;
                    } catch (org.bytedeco.javacv.FrameRecorder.Exception e1) { 
        
                        return;
                    }
                }
            }

        }
        // 音频捕获
        new Thread(new Runnable() { 
        
            @Override
            public void run() { 
        
                /** * 设置音频编码器 最好是系统支持的格式，否则getLine() 会发生错误 * 采样率:44.1k;采样率位数:16位;立体声(stereo);是否签名;true: * big-endian字节顺序,false:little-endian字节顺序(详见:ByteOrder类) */
                AudioFormat audioFormat = new AudioFormat(44100.0F, 16, 2, true, false);

                // 通过AudioSystem获取本地音频混合器信息
                Mixer.Info[] minfoSet = AudioSystem.getMixerInfo();
                // 通过AudioSystem获取本地音频混合器
                Mixer mixer = AudioSystem.getMixer(minfoSet[AUDIO_DEVICE_INDEX]);
                // 通过设置好的音频编解码器获取数据线信息
                DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);
                try { 
        
                    // 打开并开始捕获音频
                    // 通过line可以获得更多控制权
                    // 获取设备：TargetDataLine line
                    // =(TargetDataLine)mixer.getLine(dataLineInfo);
                    final TargetDataLine line = (TargetDataLine) AudioSystem.getLine(dataLineInfo);
                    line.open(audioFormat);
                    line.start();
                    // 获得当前音频采样率
                    final int sampleRate = (int) audioFormat.getSampleRate();
                    // 获取当前音频通道数量
                    final int numChannels = audioFormat.getChannels();
                    // 初始化音频缓冲区(size是音频采样率*通道数)
                    int audioBufferSize = sampleRate * numChannels;
                    final byte[] audioBytes = new byte[audioBufferSize];

                    ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);
                    exec.scheduleAtFixedRate(new Runnable() { 
        
                        @Override
                        public void run() { 
        
                            try { 
        
                                // 非阻塞方式读取
                                int nBytesRead = line.read(audioBytes, 0, line.available());
                                // 因为我们设置的是16位音频格式,所以需要将byte[]转成short[]
                                int nSamplesRead = nBytesRead / 2;
                                short[] samples = new short[nSamplesRead];
                                /** * ByteBuffer.wrap(audioBytes)-将byte[]数组包装到缓冲区 * ByteBuffer.order(ByteOrder)-按little-endian修改字节顺序，解码器定义的 * ByteBuffer.asShortBuffer()-创建一个新的short[]缓冲区 * ShortBuffer.get(samples)-将缓冲区里short数据传输到short[] */
                                ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
                                // 将short[]包装到ShortBuffer
                                ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);
                                // 按通道录制shortBuffer
                                recorder.recordSamples(sampleRate, numChannels, sBuff);
                            } catch (org.bytedeco.javacv.FrameRecorder.Exception e) { 
        
                                e.printStackTrace();
                            }
                        }
                    }, 0, (long) 1000 / FRAME_RATE, TimeUnit.MILLISECONDS);
                } catch (LineUnavailableException e1) { 
        
                    e1.printStackTrace();
                }
            }
        }).start();

        // javaCV提供了优化非常好的硬件加速组件来帮助显示我们抓取的摄像头视频 

        标签： ht2088变送器
 
锐单商城拥有海量元器件数据手册、
          IC替代型号，打造
          电子元器件IC百科大全！

锐单商城 - 一站式电子元器件采购平台