• 视频播放器原理
  • 什么是 FFmpeg ?
  • ffmpeg 音视频编/解码 流程图
  • ffmpeg 常用 struct AVFormatContext AVStream AVCodecContext AVCodec AVPacket AVFrame
  • ffmpeg 常用Api av_register_all() avformat_alloc_output_context2() avio_open() av_new_stream() avcodec_find_encoder() avcodec_open2() avformat_write_header() avcodec_encode_video2() av_write_frame() flush_encoder() av_write_trailer() ffmpeg 编码 视频的流程图 ffmpeg解码视频的流程图
  • 分享-解决问题的思路
  • 关注+私信可以免费领取C/C++,Linux,golang, ,ZeroMQ,MySQL, ,fastdfs, , , ,CDN,P2P,K8S, ,ffmpeg,TCP/IP,协程,DPDK,嵌入式等。。。。。相关资料

    0.视频播放器原理

    编码

    解码

    播放视频或者音频文件,实质上是一个解压缩的过程,这个过程又称为解码。那为什么又要解码(解压缩)呢?因为播放器播放需要的是音频采样数据、视频像素数据,通俗一点来说就是需要的是编码之前的数据,所以需要解码来获取。

    如下图展示了播放器播放视频的原理:

    1.什么是ffmpeg?

    1.ffmpeg 是音视频处理核心技术,要成为音视频领域的开发高手,不可不学 ffmpeg,一个完整的跨平台解决方案,用于录制,转换和流式传输音频和视频的技术。
    2.腾讯视频、爱奇艺、阿里影音、均有大量 音视频开发工程师的需求。
    3.ffmpeg 源代码 采用 c 编写

    2.ffmpeg 音视频编/解码 流程图

    如下所示流程图:

    如上图所示,音视频文件已流形式经编码 encode 之后成为 packet packet 被解码之后成为 视频帧frame

    3.ffmpeg 常用 struct

    AVFormatContext

    AVFormatContext 主要存储视音频封装格式中包含的信息

    AVStream

    AVStream 存储一个视频/音频流的相关数据

    AVCodecContext

    流解码器容器-每个AVStream对应一个AVCodecContext,存储该视频/音频流使用解码方式的相关数据、如 codec_type 编码器类型。

    AVCodec

    解码器-每个AVCodecContext中对应一个AVCodec,包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

    AVPacket

    视频,每个结构一般是存一帧;音频可能有好几帧

    关注+私信可以免费领取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,协程,DPDK,嵌入式等。。。。。相关资料,

    帧(stream)数据编码后的数据,或解码为 帧(stream) 数据前的数据存储格式为AVPacket

    AVFrame

    包(Packet)数据解码之后以帧(frame)的结构存在。

    4.ffmpeg 常用Api

    av_register_all()

    注册所有 ffmpeg 解码器, 如果需要使用支持特定类型音视频解码的解码器则需要使用 void av_register_input_format(AVInputFormat * format);

    avformat_alloc_output_context2()

    初始化输出码流的AVFormatContext。

    avio_open()

    创建并初始化AVIOContext以访问 url 指示的资源。

    av_new_stream()

    创建新流,此新流用于添加到新的媒体文件

    avcodec_find_encoder()

    查找编码器,一般是用来将数据帧进行编码,并生成新的输出文件。

    avcodec_open2()

    打开编码器

    avformat_write_header()

    写文件头(对于某些没有文件头的封装格式,不需要此函数。比如说MPEG2TS)。

    avcodec_encode_video2()

    将 frame 进行编码,并转化为 packet 进行存储

    av_write_frame()

    Write a packet to an output media file. 将编码后的视频码流写入文件

    flush_encoder()

    Write the stream trailer to an output media file and free the file private data。
    将流预告片写入输出媒体文件并释放文件私人数据。

    其实上述常用Api 是一个视频流文件进行编码并输出编码后文件常用的Api

    ffmpeg编码视频的流程图

    如下所示:

    ffmpeg解码视频的流程图

    4 分享-解决问题的思路

    最近接触 ffmpeg 是因为部门业务需要,之前个人从未接触过 ffmpeg。

    4.1 业务目标

    通过调用 ffmpeg Api 实现截取视频任意一帧。

    4.2 出现的问题

    1.个人对视频当中某一帧获取流程不是很了解;
    2.读源码过程中 有些 ffmpeg Api 看不懂;

    4.3 问题的根本原因

    1.对视频播放的本质不清楚,其实视频的本质是一帧一帧的图片拼接起来的结果;
    2.没有耐心读 ffmpeg 源码,因为没学过c ;
    3.对未知的从未尝试过的事情有些许排斥。

    4.4 解决问题的方案

    1.了解视频播放原理-知道了解码、编码等问题 (完成100%)
    2.了解ffmpeg、解码、编码(所以解决方案的第一步是前提)、学习编码/解码相关流程,(毕竟视频的生成、播放与编解码是分不开的)、以及相关Api (完成100%)
    3.尝试读前辈代码、并提取实现业务的 keycode、文档输出等。(2018-10-23日晚上下班前输出相关文档)

    关注+私信可以免费领取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,协程,DPDK,嵌入式等。。。。。相关资料,

    Ffmpeg音视频常用命令
  • 播放器架构
  • 同时还有音视频同步,这个是很重要的。

    • 渲染流程

    1、FFmpeg常用命令实战

    FFmpeg音视频处理流程讲解

    FFmpeg基本信息查询命令

    总结;关注+私信可以免费领取C/C++,Linux,golang,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,ffmpeg,TCP/IP,协程,DPDK,嵌入式等。。。。。相关资料,