在阅读这篇文章之前，如果您对音频一点知识都不了解，请参考上一篇文章。
FFmpeg编程入门系列(1)。
说明FFmpeg存储器模型(1) )。
详细求解FLV格式的分析
AAC ADTS格式的分析(1) (等于) ) (等于) ) (等于) ) (等于) ) (等于) ) (等于) ) ) ) )。
AAC ADTS实战(一) )。
1 .频率解码过程
频率解码过程如下图所示。
AC的音频格式被发送到音频解码器，然后得到PCM收据。 音频解码器中也分为硬件或软件解码器，这里以FFmpeg解码器为中心进行说明。
2.FFmpeg音频解码的流程
让我们先来看看整个流程图。 以下：
1 .用解码器id、avcodec_find_decoder指定解码器。
2 .获取裸流解析器、av_parser_init，并返回解析器的上下文信息。 该上下文可以读出相关的报头信息。
3 .分配3.avcodec_alloc_context3解码器的上下文信息。
4.avcodec_open2，将解码器和解码器的上下文关联起来。
5 .将文件导入缓冲区进行解码。 如果fread，data_size=fread(inbuf，1，AUDIO_INBUF_SIZE，infile )大于0，则继续进行解码。
6 .继续发送PKT进行解码。 因为之前解析了完整的数据包，所以送到这里的是完整的数据包。
7 .将完整的分组发送到解码器，获得解码的数据。
为了接收帧，需要多次接收。 也就是说，发送到一个包中，为了完全解密，可能需要多次解密。
8 .获取单个sample占用的字节。 这只代表单一通道
p>2.debug调试音频解码过程
通过这里先加个断点。如下图:
这里是第一笔data进来的数据。
换算成16进制，这里是以FF开头的。表示就是AAC数据。这里end表示一个缓冲的末尾。
关键数据结构
关键数据结构说明：
AVCodecParser：⽤于解析输⼊的数据流并把它分成⼀帧⼀帧的压缩编码数据，确保数据是完整的一包，尤其是在把包读到内存中，如果不是完整包，再从内存读出来，实时播放，就会有断断续续的现象。⽐较形象的说法就是把⻓⻓的⼀段连续的数据“切割”成⼀段段的数据。
⽐如AAC aac_parser:
从AVCodecParser结构的实例化我们可以看出来，不同编码类型的parser是和CODE_ID进⾏绑定的。所以也就可以解释。可以通过CODE_ID查找到对应的码流 parser。
3.avcodec编解码API介绍
avcodec_send_packet、avcodec_receive_frame的API是FFmpeg3版本加⼊的。为了正确的使⽤它们，有必要阅读FFmpeg的⽂档说明:链接处:https://www.ffmpeg.org/doxygen/4.1/group__lavc__encdec.html#details。
FFmpeg提供了两组函数，分别⽤于编码和解码：
(1)解码：avcodec_send_packet()、avcodec_receive_frame()。
(2)编码：avcodec_send_frame()、avcodec_receive_packet()。
建议的使⽤流程如下：
(1)设置并打开编解码器上下文AVCodecContext。
(2)输⼊有效的数据：
解码：调⽤avcodec_send_packet()给解码器传⼊包含原始的压缩数据的AVPacket对象。
编码：调⽤ avcodec_send_frame()给编码器传⼊包含解压数据的AVFrame对象。
两种情况下推荐AVPacket和AVFrame都使⽤refcounted（引⽤计数）的模式，这样效率高，否则libavcodec可能不得不对输⼊的数据进⾏拷⻉。
(3)在⼀个循环体内去接收codec的输出，即周期性地调⽤avcodec_receive_*()来接收codec输出的数据。
解码：调⽤avcodec_receive_frame()，如果成功会返回⼀个包含未压缩数据的AVFrame。
编码：调⽤avcodec_receive_packet()，如果成功会返回⼀个包含压缩数据的AVPacket。
注意，这都是完整的包。
反复地调⽤avcodec_receive_packet()直到返回 AVERROR(EAGAIN)或其他错误。返回AVERROR(EAGAIN)错误表示codec需要新的输⼊来输出更多的数据。
对于每个输⼊的packet或frame，codec⼀般会输出⼀个frame或packet，但是也有可能输出0个或者多于1个，多个的情况也不少。
(4)注意:流处理结束的时候需要flush（冲刷） codec。因为codec可能在内部缓冲多个frame或packet，出于性能或其他必要的情况（如考虑B帧的情况）。 处理流程如下：
调⽤avcodec_send_*()传⼊的AVFrame或AVPacket指针设置为NULL。 这将进⼊draining mode（排⽔模式）。实时流应该不存在这些情况，除非输入流结束。
反复地调⽤avcodec_receive_*()直到返回AVERROR_EOF，该⽅法在draining mode时不会返回AVERROR(EAGAIN)的错误，除⾮你没有进⼊draining mode。
当重新开启codec时，需要先调⽤ avcodec_flush_buffers()来重置codec。
(5)编码或者解码刚开始的时候，codec可能接收了多个输⼊的frame或packet后还没有输出数据，直到内部的buffer被填充满。上⾯的使⽤流程可以处理这种情况。
(6)理论上，只有在输出数据没有被完全接收的情况调⽤avcodec_send_*()的时候才可能会发⽣AVERROR(EAGAIN)的错误。你可以依赖这个机制来实现区别于上⾯建议流程的处理⽅式，⽐如每次循环都调⽤avcodec_send_*()，在出现AVERROR(EAGAIN)错误的时候再去调⽤avcodec_receive_*()。
(7)并不是所有的codec都遵循⼀个严格、可预测的数据处理流程，唯⼀可以保证的是 “调⽤avcodec_send_*()/avcodec_receive_*()返回AVERROR(EAGAIN)的时候去avcodec_receive_*()/avcodec_send_*()会成功，否则不应该返回AVERROR(EAGAIN)的错误。”⼀般来说，任何codec都不允许⽆限制地缓存输⼊或者输出。
(8)在同⼀个AVCodecContext上混合使⽤新旧API是不允许的，这将导致未定义的⾏为。
4.avcodec_send_packet
函数：int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);
作⽤：⽀持将裸流数据包送给解码器
注意:
(1)输⼊的avpkt-data缓冲区必须⼤于AV_INPUT_PADDING_SIZE，因为优化的字节流读取器必须⼀次读取32或者64⽐特的数据。
(2)不能跟之前的API(例如avcodec_decode_video2)混⽤，否则会返回不可预知的错误。
(3)在将包发送给解码器的时候，AVCodecContext必须已经通过avcodec_open2打开
参数：
avctx：解码上下⽂
avpkt：输⼊AVPakcet.通常情况下，输⼊数据是⼀个单⼀的视频帧或者⼏个完整的⾳频帧。调⽤者保留包的原有属性，解码器不会修改包的内容。解码器可能创建对包的引⽤。如果包没有引⽤计数将拷⻉⼀份。跟以往的API不⼀样，输⼊的包的数据将被完全地消耗，如果包含有多个帧，要求多次调⽤avcodec_recvive_frame，直到avcodec_recvive_frame返回VERROR(EAGAIN)或AVERROR_EOF。输⼊参数可以为NULL，或者AVPacket的data域设置为NULL或者size域设置为0，表示将刷新所有的包，意味着数据流已经结束了。第⼀次发送刷新会总会成功，第⼆次发送刷新包是没有必要的，并且返回AVERROR_EOF,如果×××缓存了⼀些帧，返回⼀个刷新包，将会返回所有的解码包。
返回值：
0: 表示成功
AVERROR(EAGAIN)：当前状态不接受输⼊，⽤户必须先使⽤avcodec_receive_frame() 读取数据帧；
AVERROR_EOF：解码器已刷新，不能再向其发送新包；
AVERROR(EINVAL)：没有打开解码器，或者这是⼀个编码器，或者要求刷新；
AVERRO(ENOMEN)：⽆法将数据包添加到内部队列。
5.avcodec_receive_frame
函数：int avcodec_receive_frame ( AVCodecContext * avctx, AVFrame * frame )
作⽤：从解码器返回已解码的输出数据。
参数：
avctx: 编解码器上下⽂
frame: 获取使⽤reference-counted机制的audio或者video帧（取决于解码器类型）。请
注意，在执⾏其他操作之前，函数内部将始终先调⽤av_frame_unref(frame)。
返回值：
0: 成功，返回⼀个帧
AVERROR(EAGAIN): 该状态下没有帧输出，需要使⽤avcodec_send_packet发送新的packet到解码器。
AVERROR_EOF: 解码器已经被完全刷新，不再有输出帧
AVERROR(EINVAL): 编解码器没打开
其他<0的值: 具体查看对应的错误码。
注意：当剩余数据小于阈值时，需要处理，如下:
最终由AAC生成PCM格式:
可以看出这个PCM这个压缩率还是高，并且还能够保证比较好的音质。
本篇文章就分享到这里，欢迎关注，点赞，收藏，转发，如果需要测试代码，可以先关注，私信我。
快三技巧准确率100要先调⽤ avcodec_flush_buffers()来重置codec。
(5)编码或者解码刚开始的时候，codec可能接收了多个输⼊的frame或packet后还没有输出数据，直到内部的buffer被填充满。上⾯的使⽤流程可以处理这种情况。
(6)理论上，只有在输出数据没有被完全接收的情况调⽤avcodec_send_*()的时候才可能会发⽣AVERROR(EAGAIN)的错误。你可以依赖这个机制来实现区别于上⾯建议流程的处理⽅式，⽐如每次循环都调⽤avcodec_send_*()，在出现AVERROR(EAGAIN)错误的时候再去调⽤avcodec_receive_*()。
(7)并不是所有的codec都遵循⼀个严格、可预测的数据处理流程，唯⼀可以保证的是 “调⽤avcodec_send_*()/avcodec_receive_*()返回AVERROR(EAGAIN)的时候去avcodec_receive_*()/avcodec_send_*()会成功，否则不应该返回AVERROR(EAGAIN)的错误。”⼀般来说，任何codec都不允许⽆限制地缓存输⼊或者输出。
(8)在同⼀个AVCodecContext上混合使⽤新旧API是不允许的，这将导致未定义的⾏为。
4.avcodec_send_packet
函数：int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);
作⽤：⽀持将裸流数据包送给解码器
注意:
(1)输⼊的avpkt-data缓冲区必须⼤于AV_INPUT_PADDING_SIZE，因为优化的字节流读取器必须⼀次读取32或者64⽐特的数据。
(2)不能跟之前的API(例如avcodec_decode_video2)混⽤，否则会返回不可预知的错误。
(3)在将包发送给解码器的时候，AVCodecContext必须已经通过avcodec_open2打开
参数：
avctx：解码上下⽂
avpkt：输⼊AVPakcet.通常情况下，输⼊数据是⼀个单⼀的视频帧或者⼏个完整的⾳频帧。调⽤者保留包的原有属性，解码器不会修改包的内容。解码器可能创建对包的引⽤。如果包没有引⽤计数将拷⻉⼀份。跟以往的API不⼀样，输⼊的包的数据将被完全地消耗，如果包含有多个帧，要求多次调⽤avcodec_recvive_frame，直到avcodec_recvive_frame返回VERROR(EAGAIN)或AVERROR_EOF。输⼊参数可以为NULL，或者AVPacket的data域设置为NULL或者size域设置为0，表示将刷新所有的包，意味着数据流已经结束了。第⼀次发送刷新会总会成功，第⼆次发送刷新包是没有必要的，并且返回AVERROR_EOF,如果×××缓存了⼀些帧，返回⼀个刷新包，将会返回所有的解码包。
返回值：
0: 表示成功
AVERROR(EAGAIN)：当前状态不接受输⼊，⽤户必须先使⽤avcodec_receive_frame() 读取数据帧；
AVERROR_EOF：解码器已刷新，不能再向其发送新包；
AVERROR(EINVAL)：没有打开解码器，或者这是⼀个编码器，或者要求刷新；
AVERRO(ENOMEN)：⽆法将数据包添加到内部队列。
5.avcodec_receive_frame
函数：int avcodec_receive_frame ( AVCodecContext * avctx, AVFrame * frame )
作⽤：从解码器返回已解码的输出数据。
参数：
avctx: 编解码器上下⽂
frame: 获取使⽤reference-counted机制的audio或者video帧（取决于解码器类型）。请
注意，在执⾏其他操作之前，函数内部将始终先调⽤av_frame_unref(frame)。
返回值：
0: 成功，返回⼀个帧
AVERROR(EAGAIN): 该状态下没有帧输出，需要使⽤avcodec_send_packet发送新的packet到解码器。
AVERROR_EOF: 解码器已经被完全刷新，不再有输出帧
AVERROR(EINVAL): 编解码器没打开
其他<0的值: 具体查看对应的错误码。
注意：当剩余数据小于阈值时，需要处理，如下:
最终由AAC生成PCM格式:
可以看出这个PCM这个压缩率还是高，并且还能够保证比较好的音质。
本篇文章就分享到这里，欢迎关注，点赞，收藏，转发，如果需要测试代码，可以先关注，私信我。
支付宝扫一扫
微信扫一扫
