直播涉及技术点

了解直播,就少不了一些关键字:推流 && 拉流 && 推流拉流使用的协议 && ffmpeg

什么是推流

  • 推流是把采集阶段封包好的内容传输到服务器的过程
  • 要想用于推流还必须把音视频数据使用传输协议进行封装,变成流数据
  • 常用的流传输协议有 RTSP、RTMP、HLS 等

什么是拉流

  • 拉流是从服务器获取音频,视频数据过程
  • 根据协议类型(如 RTMP、RTP、RTSP、HTTP 等 ),与服务器建立连接并接收数据,进行 CDN 节点服务器拉取的过程

ffmpeg

  • FFmpeg 既是一款音视频编解码工具,同时也是一组音视频编解码开发套件,作为编解码开发套件,它为开发者提供了丰富的音视频的调用接口。
    • 提供了多种媒体格式的封装和解封装,包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等;
    • 提供了多种丰富的插件模块,包含封装与解封装的插件、编码与解码的插件等

直播流程图



直播常用的协议

三种常用的协议

  • RTMP(Real Time Messaging Protocol,实时消息传送协议)是Adobe公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。RTMP协议比较全能,既可以用来推送,又可以用来直播。
  • HTTP-FLV 协议由 Adobe 公司主推。格式极其简单,只是在大块的视频帧和音视频头部加入一些标记头信息,由于这种极致的简洁,在延迟表现和大规模并发方面都很成熟。唯一的不足就是在手机浏览器上的支持非常有限,但是用作手机端App直播协议却异常合适。
  • HLS (HTTP Live Streaming) 是苹果推出的解决方案。将视频分成5秒10秒的视频小分片,然后用m3u8索引表进行管理。由于客户端下载到的视频都是5秒10秒的完整数据,故视频的流畅性很好,但也同样引入了很大的延迟(HLS的一般延迟在10秒~30秒左右)。相比于FLV、HLS在iPhone和大部分Android手机浏览器上的支持非常足,所以常用于QQ和微信朋友圈的URL分享。

常用协议对比

协议类型 传送方式 延时 优点 缺点 适合端 场景推荐
RTMP TCP 1s~3s
- 延时低

- 高并发下不稳定
- iOS平台要开发支持相关协议的播放器
- 使用非标准TCP端口

- PC

- 实时性要求不高的直播
HTTP-FLV HTTP 长链接 1s~3s
- 延时低
- 可通过HTML5解封包播放

- 需要集成 SDK 才能播放

- PC
- 移动端

- 实时性要求不高的直播
HLS HTTP 短连接 >10s
- iOS、Android和H5原生支持良好
- 可通过HTML5解封包播放

- 延时高

- PC
- 移动端
- web端

- 实时性要求不高的直播
- 移动端和H5端
- QQ和微信朋友圈 URL 分享

其他

  • ARTC 是阿里云提供的低延迟直播 RTS(Real-time Streaming)解决方案使用的协议头。该方案参考 WebRTC 交互方式,采用 UDP 传输协议打造,实现可以承载大规模并发,端到端延时1秒内的低延时直播体验,同时对交互流程做了秒开优化,以及兼容更多的直播音视频特性例如AAC解码、B帧。RTS服务部署于阿里云直播节点,在接入成本、节点覆盖、承载能力上实现了平衡,大幅优化直播体验
  • WebRTC (Web Real-Time Communication)网页即时通信,是一个支持网页浏览器进行实时语音对话或视频对话的API
  • RTP (Real-time Transport Protocol) 用于Internet上针对多媒体数据流的一种传输层协议,实际应用场景下经常需要 RTCP(RTP Control Protocol)配合来使用,可以简单理解为RTCP传输交互控制的信令,RTP传输实际的媒体数据。RTP在视频监控、视频会议、IP电话上有广泛的应用,因为视频会议、IP电话的一个重要的使用体验:内容实时性强。
  • RTSP (Real-time Transport Streaming Protocol) 是一种双向实时数据传输协议,它允许客户端向服务器端发送请求,如回放、快进、倒退等操作。而且,RTSP 可基于RTP 来传送数据,还可以选择 TCP、UDP、组播 UDP 等通道来发送数据,具有很好的扩展性

APP 视频直播技术方案

参考