- 将主播实时录制的视频(收集、美容处理、编码)推送到服务器
- 处理后(转码、录制、截图、鉴黄)分发给用户播放端
- 获取服务器地址， 拉流、解码、渲染
- 聊天室、礼品系统、赞美
示例图：
直播效果图：
1.采集，2.滤镜处理，3.编码，4.推流.CDN分发，6.拉流，7.解码，8.播放，9.聊天互动
【完整直播app技术点】
-
: ** LFLiveKit** 已包含、、、等功能
-
: 【 ** nginx rtmp服务器**】免费开源，可在本地电脑上建立支持RTMP满足直播需求的协议。
-
: ** ijkplayer视频直播框架** 只要有，包装就很完美url，可实时播放
1.使用第三方直播SDK快速的开发
阿里云: 提供低延迟、高清晰度， 高并发支持的直播服务，帮助您从容应对业务突发高峰。广泛应用于业务突发高峰。 游戏直播、娱乐直播、泛生活直播 教育类、 远程医疗、 典型远程视频会议等典型场景，百度直播云： 视频直播和点播一站式解决方案，使视频技术零门槛，结合领先的人工智能技术，开放智能图像识别、视频特效、黄反审核功能，使视频内容更丰富、更安全七牛云：七牛直播云是专为直播平台打造的全球直播流服务和一站式实现SDK企业级直播云服务平台端到端直播场景.
2.自主研究或使用第三方直播SDK开发？ 自研： 对于初创公司或团队来说，无论是技术门槛还是技术门槛，自主研发直播CDN、带宽门槛大，制作成品需要大量的时间和成本，不利于前期发展。 第三方SDK开发：开发周期短，前期投资少。从长远来看，第三方成本高，支出大， 相对而言，自主研究可以节约成本，直接使用技术成分SDK相对可控。
1.收集视频和音频
***** 1.1 收集视频、音频编码框架 ***** AVFoundation:AVFoundation用于播放和创建实时视听媒体数据的框架Objective-C接口操作这些视听数据，如编辑、旋转和重编码
***** 1.2 视频、音频硬件设备 ***** CCD:图像传感器： 将图像转换和处理过程中，将图像转换为电信号。 拾音器：声音传感器： 将声音转换理声音的过程中，将声音转换为电信号。 音频采样数据：PCM格式 视频采样数据： 一般都是YUV,或RGB格式，收集到的原始音视频体积很大，需要压缩技术来提高传输效率
2.视频处理（美颜，水印）
视频处理原理：因为视频最终是通过的GPU，一帧一帧地渲染到屏幕上，所以我们可以使用它OpenGL ES，对视频帧进行各种处理，使视频效果不同的效果，就像水龙头流出的水，通过多个管道，然后流向不同的目标 现在各种美容和视频都添加了特效app都是利用GPUImage 实现这个框架，.
***** 视频处理框架 ***** GPUImage: GPUImage是一个基于OpenGL ES强大的图像/视频处理框架包装了各种滤镜，也可以编写自定义滤镜，内置了120多种常见的滤镜效果。 OpenGL:OpenGL（全写Open Graphics Library）它定义了跨编程语言和跨平台编程接口的规格，用于三维图像(二维也可以)。OpenGL是个专业的图形程序接口，是一个功能强大，调用方便的底层图形库。 OpenGL ES:OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三维图形 API 手机、PDA与游戏主机等嵌入式设备一起设计。
3.视频编码解码
***** 3.1 视频编码框架 ***** FFmpeg :它是一个跨平台的开源视频框架，可以实现丰富的功能，如视频编码、解码、转码、串流和播放。它支持丰富的视频格式和播放协议，几乎包括所有的音频和视频编、解码、包装格式和播放协议。-Libswresample:可重新采样音频，rematrixing 转换采样格式等操作 作。 -Libavcodec:它提供了一个包含许多视频、音频和字幕流的通用编解码框架 等待编码/解码器。 -Libavformat:用于包装/解封视频。 -Libavutil:它包含随机数生成、数据结构、数学操作等一些共同函数。 -Libpostproc:用于视频的后期处理。 -Libswscale:用于视频图像缩放、色彩空间转换等。 -Libavfilter:提供滤镜功能。
X264 :视频原始数据YUV编码压缩成H.264格式 VideoToolbox :苹果的视频硬解码和硬编码API，但是在iOS8后才开放。 AudioToolbox :苹果自己的音频硬解码和硬编码API
***** 3.2 视频编码技术 ***** 视频压缩编码标准：对视频进行压缩(视频编码)或者解压缩（视频解码）的编码技术,比如MPEG，H.264。
这些视频编码技术是压缩编码视频的主要功能：将视频像素数据压缩成视频编码流，从而减少视频数据量。如果视频不压缩编码，体积通常很大，一部电影可能需要数百G的空间。
注：视频编码数据和音频编码数据对视频质量影响最大，与封装格式关系不大
MPEG:采用帧间压缩的视频压缩方法，只存储连续帧之间的差异 ，从而达到较大的压缩比 H.264/AVC:采用事先预测和与视频压缩法MPEG中的P-B帧预测方法相同的帧压缩，可以根据需要产生适合网络传输的视频流，压缩比更高，图像质量更好
注意1: 若从单个画面的清晰度进行比较，MPEG4有优势；从动作连贯性上的清晰度，H.264有优势 注意2: 由于264算法复杂，程序繁琐，需要更多的处理器和内存资源才能运行。因此，运行264对系统的要求相对较高。 注意3: 由于264的实现更加灵活，它给制造商留下了一些实现。虽然这给实现带来了很多好处，但不同产品之间的交换已经成为一个大问题，导致通过A公司的编码器编写的数据，必须通过A公司的解码器来解决这些尴尬的事情
H.265/HEVC: 基于视频压缩的方法H.264.保留一些原始技术，改进一些相关技术，改善码流、编码质量、延迟与算法复杂性的关系，实现优化设置。H.265 它是一种更有效的编码标准，可以在相同的图像质量效果下减少内容的体积，更快地传输带宽
I帧: (关键帧)保留一副完整的画面，解码时只需要本帧数据就可以完成（因为包含完整画面）
P帧 :(差异帧)保留此帧与之前帧的差异，解码时需要将此帧定义的差异叠加到之前缓存的图片中，生成最终图片。（P帧没有完整的图像数据，只有不同于前一帧的数据)
B帧: (双向差异帧)保留了这个帧和前后帧的区别。解码B帧不仅要获得之前的缓存图片，还要解码后的图片，通过前后图片和这个帧数据的叠加获得最终图片。B帧压缩率高，但解码时CPU会比较累
帧内（Intraframe）压缩: 当压缩一帧图像时，只考虑相邻帧之间的冗余信息，帧中一般采用损坏压缩算法
帧间（Interframe）压缩: 时间压缩（Temporal compression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩通常是无损的
muxing(合成):将视频流、音频流甚至字幕流甚至字幕流(容器格式)（FLV，TS）)，传输为信号。
***** 3.3 音频编码技术 ***** AAC，mp3:这些属于音频编码技术，用于压缩音频
***** 3.4码率控制 ***** 多码率：观众的网络状况非常复杂，可能是WiFi，有可能4G、3G、甚至2G，那么如何满足各种需求呢？根据当前的网络环境，根据当前的网络环境，制作更多的线路来定制代码率。例如，视频播放软件中经常看到1024、720、高清、标记、流畅等，指的是各种代码率。
***** 3.5 视频包装格式 ***** TS: 一种流媒体封装格式，流媒体封装有一个优点，就是不需要加载索引再播放，大大降低了第一次加载的延迟。mp4文件索引相当大，影响用户体验 为什么要用TS: 因为两个TS片段可无缝拼接，播放器可连续播放
FLV: 一种流媒体包装格式，由于其形成的文件非常小，加载速度非常快，因此可以在网上观看视频文件FLV格式主流视频格式p
4.推流
***** 4.1 数据传输框架 ***** librtmp: 用来传输RTMP协议格式的数据 ***** 4.2 流媒体数据传输协议 ***** RTMP: 实时消息传输协议,Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议，因为是开放协议所以都可以使用了。 RTMP协议用于对象、视频、音频的传输，这个协议建立在TCP协议或者轮询HTTP协议之上。 RTMP协议就像一个用来装数据包的容器，这些数据可以是FLV中的视音频数据。一个单一的连接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的
5.流媒体服务器
***** 5.1常用服务器 ***** SRS：一款国人开发的优秀开源流媒体服务器系统 BMS: 也是一款流媒体服务器系统，但不开源，是SRS的商业版，比SRS功能更多 nginx: 免费开源web服务器，常用来配置流媒体服务器。
***** 5.2数据分发 ***** CDN：(Content Delivery Network)，即内容分发网络,将网站的内容发布到最接近用户的网络”边缘”，使用户可以就近取得所需的内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度. CDN：代理服务器，相当于一个中介。 CDN工作原理：比如请求流媒体数据1.上传流媒体数据到服务器（源站） 2.源站存储流媒体数据 3.客户端播放流媒体，向CDN请求编码后的流媒体数据 4.CDN的服务器响应请求，若节点上没有该流媒体数据存在，则向源站继续请求流媒体数据；若节点上已经缓存了该视频文件，则跳到第6步。 5.源站响应CDN的请求，将流媒体分发到相应的CDN节点上 6.CDN将流媒体数据发送到客户端
回源：当有用户访问某一个URL的时候，如果被解析到的那个CDN节点没有缓存响应的内容，或者是缓存已经到期，就会回源站去获取搜索。如果没有人访问，那么CDN节点不会主动去源站拿. 带宽: 在固定的时间可传输的数据总量，比如64位、800MHz的前端总线，它的数据传输率就等于64bit×800MHz÷8(Byte)=6.4GB/s
负载均衡: 由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助.通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。 均衡负载能够平均分配客户请求到服务器列阵，籍此提供快速获取重要数据，解决大量并发访问服务问题。 这种群集技术可以用最少的投资获得接近于大型主机的性能。
QoS（带宽管理）:限制每一个组群的带宽，让有限的带宽发挥最大的效用
6.拉流
直播协议选择：即时性要求较高或有互动需求的可以采用RTMP,RTSP
对于有回放或跨平台需求的，推荐使用HLS
HLS: 由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现，传输内容包括两部分，一是M3U8描述文件，二是TS媒体文件。可实现流媒体的直播和点播，主要应用在iOS系统HLS是以点播的技术方式 来实现直播 HLS是自适应码率流播，客户端会根据网络状况自动选择不同码率的视频流，条件允许的情况下使用高码率，网络繁忙的时候使用低码率，并且自动在二者间随意切换。这对移动设备网络状况不稳定的情况下保障流畅播放非常有帮助。 实现方法是服务器端提供多码率视频流，并且在列表文件中注明，播放器根据播放进度和下载速度自动调整。
HLS与RTMP对比: HLS主要是延时比较大，RTMP主要优势在于延时低HLS协议的小切片方式会生成大量的文件，存储或处理这些文件会造成大量资源浪费 相比使用RTSP协议的好处在于，一旦切分完成，之后的分发过程完全不需要额外使用任何专门软件，普通的网络服务器即可，大大降低了CDN边缘服务器的配置要求，可以使用任何现成的CDN,而一般服务器很少支持RTSP。
HTTP-FLV: 基于HTTP协议流式的传输媒体内容。相对于RTMP，HTTP更简单和广为人知，内容延迟同样可以做到1~3秒，打开速度更快，因为HTTP本身没有复杂的状态交互。所以从延迟角度来看，HTTP-FLV要优于RTMP。
RTSP:实时流传输协议,定义了一对多应用程序如何有效地通过IP网络传送多媒体数据. RTP: 实时传输协议,RTP是建立在UDP协议上的，常与RTCP一起使用，其本身并没有提供按时发送机制或其它服务质量（QoS）保证，它依赖于低层服务去实现这一过程。 RTCP: RTP的配套协议,主要功能是为RTP所提供的服务质量（QoS）提供反馈，收集相关媒体连接的统计信息，例如传输字节数，传输分组数，丢失分组数，单向和双向网络延迟等等。
7.解码
***** 7.1 解封装 ***** demuxing（分离） ：从视频流、音频流，字幕流合成的文件(容器格式（FLV，TS） )中， 分解出视频、音频或字幕，各自进行解码。
***** 7.2 音频编码框架 ***** fdk_aac:音频编码解码框架，PCM音频数据和AAC音频数据互转
***** 7.3 解码介绍 ***** 硬解码：用GPU来解码，减少CPU运算 优点：播放流畅、低功耗，解码速度快， * 缺点：兼容不好
软解码：用CPU来解码优点：兼容好 * 缺点：加大CPU负担，耗电增加、没有硬解码流畅，解码速度相对慢
8.播放
ijkplayer:一个基于FFmpeg的开源Android/iOS视频播放器API易于集成； 编译配置可裁剪，方便控制安装包大小； 支持硬件加速解码，更加省电 简单易用，指定拉流URL，自动解码播放.
9.聊天互动
IM:(InstantMessaging)即时通讯:是一个实时通信系统，允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流.IM 在直播系统中的主要作用是实现观众与主播、观众与观众之间的文字互动.
采集是播放环节中的第一环，iOS 系统因为软硬件种类不多，硬件适配性较好，所以比较简单。Android 则不同，市面上硬件机型非常多，难以做到一个库适配所有硬件。PC 端的采集也跟各种摄像头驱动有关，推荐使用目前市面上最好用的 PC 端开源免费软件 OBS。
音频采集 音频数据既能与图像结合组合成视频数据，也能以纯音频的方式采集播放，后者在很多成熟的应用场景如在线电台和语音电台等起着非常重要的作用。音频的采集过程主要通过设备将环境中的模拟信号采集成 PCM 编码的原始数据，然后编码压缩成 MP3 等格式的数据分发出去。常见的音频压缩格式有：MP3，AAC，OGG，WMA，Opus，FLAC，APE，m4a 和 AMR 等。
音频采集和编码主要面临的挑战在于：延时敏感、卡顿敏感、噪声消除（Denoise）、回声消除（AEC）、静音检测（VAD）和各种混音算法等。
在音频采集阶段，参考的主要技术参数有 ： 采样率（samplerate）：采样就是把模拟信号数字化的过程，采样频率越高，记录这一段音频信号所用的数据量就越大，同时音频质量也就越高。
位宽：每一个采样点都需要用一个数值来表示大小，这个数值的数据类型大小可以是：4bit、8bit、16bit、32bit 等等，位数越多，表示得就越精细，声音质量自然就越好，而数据量也会成倍增大。我们在音频采样过程中常用的位宽是 8bit 或者 16bit。
声道数（channels）：由于音频的采集和播放是可以叠加的，因此，可以同时从多个音频源采集声音，并分别输出到不同的扬声器，故声道数一般表示声音录制时的音源数量或回放时相应的扬声器数量。声道数为 1 和 2 分别称为单声道和双声道，是比较常见的声道参数。
音频帧（frame）：音频跟视频很不一样，视频每一帧就是一张图像，而从上面的正玄波可以看出，音频数据是流式的，本身没有明确的一帧帧的概念，在实际的应用中，为了音频算法处理/传输的方便，一般约定俗成取 2.5ms~60ms 为单位的数据量为一帧音频。这个时间被称之为“采样时间”，其长度没有特别的标准，它是根据编解码器和具体应用的需求来决定的。
根据以上定义，我们可以计算一下一帧音频帧的大小。假设某音频信号是采样率为 8kHz、双通道、位宽为 16bit，20ms 一帧，则一帧音频数据的大小为： size = 8000 x 2 x 16bit x 0.02s = 5120 bit = 640 byte
** 图像采集** 图像采集的图片结果组合成一组连续播放的动画，即构成视频中可肉眼观看的内容。图像的采集过程主要由摄像头等设备拍摄成 YUV 编码的原始数据，然后经过编码压缩成 H.264 等格式的数据分发出去。常见的视频封装格式有：MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。
图像由于其直观感受最强并且体积也比较大，构成了一个视频内容的主要部分。图像采集和编码面临的主要挑战在于：设备兼容性差、延时敏感、卡顿敏感以及各种对图像的处理操作如美颜和水印等。
在图像采集阶段，参考的主要技术参数有： 图像传输格式：通用影像传输格式（Common Intermediate Format）是视讯会议（video conference）中常使用的影像传输格式。
图像格式：通常采用 YUV 格式存储原始数据信息，其中包含用 8 位表示的黑白图像灰度值，以及可由 RGB 三种色彩组合成的彩色图像。
传输通道：正常情况下视频的拍摄只需 1 路通道，随着 VR 和 AR 技术的日渐成熟，为了拍摄一个完整的 360° 视频，可能需要通过不同角度拍摄，然后经过多通道传输后合成。
分辨率：随着设备屏幕尺寸的日益增多，视频采集过程中原始视频分辨率起着越来越重要的作用，后续处理环节中使用的所有视频分辨率的定义都以原始视频分辨率为基础。视频采集卡能支持的最大点阵反映了其分辨率的性能。
采样频率：采样频率反映了采集卡处理图像的速度和能力。在进行高度图像采集时，需要注意采集卡的采样频率是否满足要求。采样率越高，图像质量越高，同时保存这些图像信息的数据量也越大。
以上，构成了一个视频采集的主要技术参数，以及视频中音频和图像编码的常用格式。而对于直播 App 开发者来说，了解这些细节虽然更有帮助，但实际开发过程中可能很少能够关注采集环节中技术参数的控制，而是直接在 SDK 中将采集后的数据传递给下一个「处理」和「编码」环节。
2.处理
视频或者音频完成采集之后得到原始数据，为了增强一些现场效果或者加上一些额外的效果，我们一般会在将其编码压缩前进行处理，比如打上时间戳或者公司 Logo 的水印，祛斑美颜和声音混淆等处理。在主播和观众连麦场景中，主播需要和某个或者多个观众进行对话，并将对话结果实时分享给其他所有观众，连麦的处理也有部分工作在推流端完成。
如上图所示，处理环节中分为音频和视频处理，音频处理中具体包含混音、降噪和声音特效等处理，视频处理中包含美颜、水印、以及各种自定义滤镜等处理。
「80% 的主播没有美颜根本没法看。」不光是美颜，很多其它的视频处理如模糊效果、水印等也都是在这个环节做。目前 iOS 端比较知名的是 GPUImage 这个库，提供了丰富端预处理效果，还可以基于这个库自己写算法实现更丰富端效果。Android 也有 GPUImage 这个库的移植，叫做 android-gpuimage。同时，Google 官方开源了一个伟大的库，覆盖了 Android 上面很多多媒体和图形图像相关的处理。 美颜的主要原理是通过「磨皮+美白」来达到整体美颜的效果。磨皮的技术术语是「去噪」，也即对图像中的噪点进行去除或者模糊化处理，常见的去噪算法有均值模糊、高斯模糊和中值滤波等。当然， 由于脸部的每个部位不尽相同，脸上的雀斑可能呈现出眼睛黑点的样子，对整张图像进行「去噪」处理的时候不需要将眼睛也去掉，因此这个环节中也涉及到人脸和皮肤检测技术。
编码主要难点有两个：1. 处理硬件兼容性问题。2. 在高 fps、低 bitrate 和音质画质之间找到平衡。iOS 端硬件兼容性较好，可以直接采用硬编。而 Android 的硬编的支持则难得多，需要支持各种硬件机型，推荐使用软编。
为什么封装？
原始视频数据存储空间大，一个 1080P 的 7 s 视频需要 817 MB
原始视频数据传输占用带宽大，10 Mbps 的带宽传输上述 7 s 视频需要 11 分钟
而经过 H.264 编码压缩之后，视频大小只有 708 k ,10 Mbps 的带宽仅仅需要 500 ms ，可以满足实时传输的需求，所以从视频采集传感器采集来的原始视频势必要经过视频编码。 基本原理 那为什么巨大的原始视频可以编码成很小的视频呢？这其中的技术是什么呢？核心思想就是去除冗余信息： 空间冗余：图像相邻像素之间有较强的相关性
时间冗余：视频序列的相邻图像之间内容相似
编码冗余：不同像素值出现的概率不同
视觉冗余：人的视觉系统对某些细节不敏感
知识冗余：规律性的结构可由先验知识和背景知识得到
传输涉及到很多端：从主播端到服务端，从收流服务端到边缘节点，以及再从边缘节点到观众端。
推流端和分发端理论上需要支持的并发用户数应该都是亿级的，不过毕竟产生内容的推流端在少数，和消费内容端播放端不是一个量级，但是他们对推流稳定性和速度的要求比播放端高很多，这涉及到所有播放端能否看到直播，以及直播端质量如何。
为了让主播推上来的流适配各个平台端各种不同协议，需要在服务端做一些流处理工作，比如转码成不同格式支持不同协议如 RTMP、HLS 和 FLV，一路转多路流来适配各种不同的网络状况和不同分辨率的终端设备。
解码和渲染，也即音视频的播放，目前 iOS 端的播放兼容性较好，在延迟可接受的情况下使用 HLS 协议是最好的选择，我们也提供了能够播放 RTMP 和 HLS 的播放器 SDK。Android 的硬件解码和编码一样也存在兼容性问题，目前比较好的开源播放器是基于 ffplay 的 ijkplayer，