实时音频编解码之十一Opus编码

为便于简单，在《实时语音处理实践指南》中涉及到测试工程代码基于浮点c语言实现的源代码，opus_demo.c编译生成了opus_demo二进制(因为用了xcode编译工程，工程源代码见作者GitHub）测试程序使用以下命令行参数进行分析Opus编码，这个参数下的测试命令使Opus内部将调用SILK和CELT混合编码。

//编码命令参数 //[-e] <application> <sampling rate (Hz)> <channels (1/2)> <bits per second>  [options] <input><output>  -e voip 48000 1 64000 -cvbr -framesize 20 -complexity 10  -bandwidth FB -inbandfec -loss 10 -dtx   ~/Downloads/48k_mono.wav out.bit ///解码命令参数 -d 48000 1 -loss 10 out.bit out.pcm 

opus_demo根据不同的参数，可以测试编码或测试解码，-e表示只操作编码，voip表示测试场景是VoIP除此之外，还有场景audio和低延迟场景，紧接其后的16000、1和24000分别表示输入信号采样率、编码通道和编码比特率，cvbr表示使用约束定比特率，framesize 20是编码的帧长，指定20ms为帧长编码，内部为5ms因此，有四个子帧，complexity是影响编码语音质量的复杂参数，取值范围[0， 10]值越大，复杂度越高，编码语音质量越高，计算量越大，bandwidth WB指定编码带宽，如图4所示.1所示，SILK部分编码的最高采样率信号为16kHz，如果参与编码，将使用高于采样率的信号CELT部分编码，inbandfec是启用带内FEC用于抗网络丢包和抖动，dtx不连续传输的启用意味着连续400ms在没有语音的情况下，为了节省传输带宽，将传输环境音包SILK编码信号最高采样率为16kHz，因此，采样率信号测试用于这里的测试用例，loss模拟丢包参数10是指10%的丢包。

解码时-d表示只测试解码，voip 、16000 、1和 24000参数与编码相同，-loss当不需要测试时，它意味着10%的包在解码时丢弃FEC和PLC时，只测试SILK和CELT可用于解码-loss 0，因为涉及到FEC和PLC这也是深度学习方法可以改进的一点，因此，有必要分析其传统的信号处理。解码后的信号是裸体的PCM数据，没有WAV因此，需要使用头信息audacity查看时频域信号导入原始数据。

SILK编码的核心框架如图4-2所示，编码参数包括LTP、LSF、Gain以及Noise Shaping以及激励码本的几个部分，当编码参数选择时cvbr当最终输出的编码比特率在指定的编码比特率上下波动时，LTP、LSF编码在参数一定时间的比例是不可变的，因而可以在Gain和Noise Shaping部分调整输出编码比特率。图4-2中各模块的原理及相关代码分析如下。 图4-2 opus核心框架的编码器

区间编码器（Range Encoder）它是一种比特率包装器，一种熵编码，不涉及人类发音模型。基于深度学习和建模的语音编码器也可以使用区间编码器编码特征参数，以降低传输比特率。熵编码的核心是编码对象的概率不同，当概率相同时，它不能起到比特率压缩的作用，Opus使用的区间编码方法和1.3.类似类似，编码时会调用ec_enc_init()函数初始化区间编码器的状态，调用位置见图4-3所示，针对不同的编码对象，Opus用三种间隔编码方法包装音频特征：

• 使用固定概率的熵编码符号ec_encode()(entenc.c)，
• 0 ～ 2 M ? 1 0 \sim2^M-1 0～2M?1使用ec_enc_uint()或者ec_enc_bits()编码，
• 0 ～ f t ? 1 0 \sim ft-1 0～ft−1内非2指数的整数使用ec_enc_uint()编码。 区间编码器内部使用四元组向量（val, rng, rem, ext）标识编码器状态，val是当前距离的下限值，rng是当前距离范围，rem单字节缓冲的输出，ext是进位个数计数值，解码时用到该值以便获得正确的编码距离值。val和rng是32位无符号整型值，rem是字节值，小于255或者是-1，ext是位宽至少为11比特的无符号整数，该向量初始化为 ( 0 , 2 3 1 , − 1 , 0 ) (0, 2^31, -1, 0) (0,231,−1,0)，在编码完一个序列之后，编码器的rng值将等于解码器解码该序列之后的rng值，这可以用来检测编解码过程中是否发生错误。解码器中没有ext和rem字段。 4.1.2 编码流程

opus编码流程涉及的主要函数如图4-3所示，核心算法一列涉及的函数是SILK编码器核心算法的实现函数，其它函数为预处理和模式相关设置，本章以该图为主线，着重分析SILK编码器的核心算法的实现。 图4-3 SILK编码核心流程图

在命令行设置Opus编码参数时，这些参数会传递给SILK编码器，SILK根据这些参数设置编码的工作参数，这些参数编码采样率、编码比特率、编码复杂度等参数，这些参数在调用SILK编码函数silk_encode_frame_Fxx()之前，由opus_encdoe_native()和silk_Encode()函数设置完成。

opus_encode()函数是opus_demo测试程序调用的opus编码接口函数，该函数返回值是以字节为单位的编码长度，区间编码器编码的比特率流存放于参数data指向的存储空间，max_data_bytes是网络传输最大的MTU单元为1500字节，用于限制编码输出比特率，analysis_frame_size是编码分帧的长度，pcm指向的地址空间存放的是16比特wav数据。

//opus_encoder.c
2222 opus_int32 opus_encode(OpusEncoder *st, const opus_int16 *pcm, int analysis_frame_size,
2223       unsigned char *data, opus_int32 max_data_bytes)
2224 { 
        
//选择合适的帧长，帧最小为2.5ms，即1秒钟最多编码400帧，200帧/秒对应于5ms，依次类推，最大是120ms的帧长度编码
//由于4.1小节选择的编码帧长为20ms，是一个合理值，所以这里frame_size=320
2230    frame_size = frame_size_select(analysis_frame_size, st->variable_duration, st->Fs);
 //根据frame_size_select获得编码帧长度，申请空间，单通道数据也可以立体声编码，channels可由编码参数设定
2236    ALLOC(in, frame_size*st->channels, float);
//编码数据使用的是浮点数，进来的数据时16bit定点数，逐点变成浮点数
2238    for (i=0;i<frame_size*st->channels;i++)
2239       in[i] = (1.0f/32768)*pcm[i];
//in:浮点格式的输入采用数据，frame_size:以采样点计数的帧长，data:编码后的字节序存放的地址，
//max_data_bytes:编码字节序的最大长度，lsb_depth:least significant bit 最低有效位数16
//pcm:short型音频数据，analysis_frame_size:分析帧长20ms，320点
//C1:0 C2:-2, 编码通道数st->channels, downmix_int是下采样函数地址所在，
//最后一个参数指示浮点API
2240    ret = opus_encode_native(st, in, frame_size, data, max_data_bytes, 16,
2241                   pcm, analysis_frame_size, 0, -2, st->channels, downmix_int, 0);

该函数对根据输入参数，对数据进行预处理，计算编码比特率，以及调用相应的SILK和CELT编码器对声音进行编码等内容。代码的主要脉络见代码中注释。

在编码复杂度较高的情况下，先基于原始音频分析音调、语音概率和音乐概率，分析的内容存放在如下结构体中：

 //celt.h
 55 typedef struct { 
        
 56    int valid;
 57    float tonality;
 58    float tonality_slope;
 59    float noisiness;
 60    float activity;
 61    float music_prob;
 62    float music_prob_min;
 63    float music_prob_max;
 64    int   bandwidth;
 65    float activity_probability;
 66    float max_pitch_ratio;
 67    /* 以Q6方式存储以节约存储空间 */
 68    unsigned char leak_boost[LEAK_BANDS];
 69 } AnalysisInfo;

run_analysis函数主要调用tonality_analysis函数完成相关参数计算，

//analysis.c
//音调分析C:是通道数
971          tonality_analysis(analysis, celt_mode, analysis_pcm, IMIN(Fs/50, pcm_len), offset, c1, c2, C, lsb_depth, downmix);


446 static void tonality_analysis(TonalityAnalysisState *tonal, const CELTMode *celt_mode, const void *x, int len, int offset, int c1, int c2,     int C, int lsb_depth, downmix_func downmix)
447 { 
        

504     if (tonal->Fs == 48000)
505     { 
        
 // 音调分析基于24kHz，所以对于48kHz输入信号需要除以二 
507        len/= 2;
508        offset /= 2;
509     } else if (tonal->Fs == 16000) { 
        
 //内部使用24kHz分析，所以len从320变为480
510        len = 3*len/2;  
511        offset = 3*offset/2;
512     }
//mdct.kfft[0]是480点fft，即对20ms输入数据长度进行FFT变换 
514     kfft = celt_mode->mdct.kfft[0];

//x：是输入数据
//tonal->inmem 大小是30ms @24kHz，这里偏移tonal->mem_fill=240，相当于10ms,该偏移地址将存放重采样之后的数据
//IMIN(len, ANALYSIS_BUF_SIZE-tonal->mem_fill):480,是偏移值
//offset=0,c1:0,c2:-2,C:通道数1，c1和c2影响重采样，对于16kHz，单声道数据，可以忽略c1，c2这两个参数
//tonal->Fs:16000
//对于16kHz输入信号，这里重采样算法直接采取3倍插相同值的，再2倍下采样实现16kHz-->48kHz--->24kHz的重采样，虽然8kHz~12kHz会频域混叠，
//但是原始的16kHz的信号使得我们这里仅关系8kHz以下信号，所以并无影响 
515     tonal->hp_ener_accum += (float)downmix_and_resample(downmix, x,
516           &tonal->inmem[tonal->mem_fill], tonal->downmix_state,
517           IMIN(len, ANALYSIS_BUF_SIZE-tonal->mem_fill), offset, c1, c2, C, tonal->Fs);
//tonal->info的大小是宏DETECT_SIZE=100个，循环使用 
526     info = &tonal->info[tonal->write_pos++];
527     if (tonal->write_pos>=DETECT_SIZE)
528        tonal->write_pos-=DETECT_SIZE;
//基于一帧最大值和最小值之差，判断是否是静音帧
530     is_silence = is_digital_silence32(tonal->inmem, ANALYSIS_BUF_SIZE, 1, lsb_depth);
//480点 @24khz，20ms； 240点 @24khz， 10ms 
532     ALLOC(in, 480, kiss_fft_cpx);
533     ALLOC(out, 480, kiss_fft_cpx);
534     ALLOC(tonality, 240, float);
535     ALLOC(noisiness, 240, float);
//把重采样之后的信号按照kissfft的要求排列数据
536     for (i=0;i<N2;i++)
537     { 
        
538        float w = analysis_window[i];
539        in[i].r = (kiss_fft_scalar)(w*tonal->inmem[i]);
540        in[i].i = (kiss_fft_scalar)(w*tonal->inmem[N2+i]);
541        in[N-i-1].r = (kiss_fft_scalar)(w*tonal->inmem[N-i-1]);
542        in[N-i-1].i = (kiss_fft_scalar)(w*tonal->inmem[N+N2-i-1]);
543     }
//把最后的10ms数据移到tonal->inmem内存起始，下一帧的480ms数据接在其后放置 
544     OPUS_MOVE(tonal->inmem, tonal->inmem+ANALYSIS_BUF_SIZE-240, 240);
545     remaining = len - (ANALYSIS_BUF_SIZE-tonal->mem_fill);
//对于16kHz，20ms帧长，remaining = 0，下面这个函数直接跳出不做运算
546     tonal->hp_ener_accum = (float)downmix_and_resample(downmix, x,
547           &tonal->inmem[240], tonal->downmix_state, remaining,
548           offset+ANALYSIS_BUF_SIZE-tonal->mem_fill, c1, c2, C, tonal->Fs);
//如果是静音帧，拷贝之前的tonal->info信息，至此静音帧计算完毕
556        OPUS_COPY(info, &tonal->info[prev_pos], 1);
//非静音帧则需要计算音调的信息 
560     opus_fft(kfft, in, out, tonal->arch);

//返回值为错误码
140 opus_int silk_Encode(
//编码状态
141     void                            *encState,                                          
//编码控制状态
142     silk_EncControlStruct           *encControl, 
//输入语音，即测试程序opus_demo读取到的PCM
143     const opus_int16                *samplesIn, 
//输入语音采样点数，由4.1命令行fram_size和采样率参数决定
//这里的值为320，即20ms*16（采样率为16kHz，1ms对应采样点数为16）
144     opus_int                        nSamplesIn, 
//区间编码压缩数据结构体
145     ec_enc                          *psRangeEnc, 
//区间编码数据长度 
146     opus_int32                      *nBytesOut,  
//指示prefilling buffer数据是否编码，置位后表示不参与编码，测试情况没有设置该位
147     const opus_int                  prefillFlag, 
//Opus语音检测概率
148     opus_int                        activity 
149 )
150 { 
        
//命令行参数使用的是20ms帧长编码，故按10ms分的块数nBlocksOf10ms=2，总的块数依然等于tot_blocks=1
199     nBlocksOf10ms = silk_DIV32( 100 * nSamplesIn, encControl->API_sampleRate );
200     tot_blocks = ( nBlocksOf10ms > 1 ) ? nBlocksOf10ms >> 1 : 1;
//将sCmn.inputBuf里缓存的数据按帧长度编码完
272     while( 1 ) { 
        
//将输入数据拷贝到buf缓冲区，silk_resampler对输入信号重采样，因为设置采样率都是16kHz，所以实际上并没有重采样，只是进行了数据拼接，完成数据移动之后，更新记录数据长度的inputBufIx变量
321             silk_memcpy(buf, samplesIn, nSamplesFromInput*sizeof(opus_int16));
buf存放的是int16格式的wav文件读取到的数据，nSamplesFromInput是buf内有效数据的长度（320），
//inputBuf用于存放重采样之后的数据，重采样的状态是放在re