在過去的2016和2017年，相信大家都能明顯感覺到，大眾對直播的熱情依然有增無減，單從下載量就可以看出來，抖音、快手、花椒、映客、斗魚、奇秀、YY、騰訊、虎牙等等以及好多后起之秀的直播軟件，基本年輕人的手機都至少有一兩個。直播將我們的交友從傳統(tǒng)的二維空間直接進化到現(xiàn)在的三維，直播平臺真實展現(xiàn)出的主播們所處的生活場景，也會讓觀眾有身臨其境的感覺。這種實時社交緩解了用戶面對移動設備時的空虛、孤獨感。彈幕這種即時聊天方式，所有用戶都能收看和參與，就像線上的集體party，讓年輕人更樂于參與。

作為一個直播軟件開發(fā)行業(yè)的從業(yè)人員來講，要想把憑借個人能力把直播軟件從零開始做出來，絕對算的上是大牛中的大牛，因為直播中運用到的技術難點非常之多，視頻/音頻處理，圖形處理，視頻/音頻壓縮，CDN分發(fā)，即時通訊等技術，每一個技術都夠學幾年的。

一個完整直播APP原理

把主播錄制的視頻，推送到服務器，在由服務器分發(fā)給觀眾觀看。

推流端（采集、美顏處理、編碼、推流）、服務端處理（轉碼、錄制、截圖、鑒黃）、播放器（拉流、解碼、渲染）、互動系統(tǒng)（聊天室、禮物系統(tǒng)、贊）

一個完整直播APP實現(xiàn)流程

1.采集視頻、音頻

AVFoundation:是用來播放和創(chuàng)建實時的視聽媒體數據的框架，同時提供Objective-C接口來操作這些視聽數據，比如編輯，旋轉，重編碼

CCD:圖像傳感器： 用于圖像采集和處理的過程，把圖像轉換成電信號。

拾音器:聲音傳感器： 用于聲音采集和處理的過程，把聲音轉換成電信號。

音頻采樣數據:一般都是PCM格式

視頻采樣數據: 一般都是YUV,或RGB格式，采集到的原始音視頻的體積是非常大的，需要經過壓縮技術處理來提高傳輸效率

2.視頻處理（美顏，水?。?/span>

視頻處理原理:因為視頻最終也是通過GPU，一幀一幀渲染到屏幕上的，所以我們可以利用OpenGL ES，對視頻幀進行各種加工，從而視頻各種不同的效果，就好像一個水龍頭流出的水，經過若干節(jié)管道，然后流向不同的目標。

現(xiàn)在的各種美顏和視頻添加特效的app都是利用GPUImage這個框架實現(xiàn)的。

視頻處理的框架

GPUImage : GPUImage是一個基于OpenGL ES的一個強大的圖像/視頻處理框架,封裝好了各種濾鏡同時也可以編寫自定義的濾鏡,其本身內置了多達120多種常見的濾鏡效果。

OpenGL:OpenGL（全寫Open Graphics Library）是個定義了一個跨編程語言、跨平臺的編程接口的規(guī)格，它用于三維圖象（二維的亦可）。OpenGL是個專業(yè)的圖形程序接口，是一個功能強大，調用方便的底層圖形庫。

OpenGL ES:OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三維圖形 API 的子集，針對手機、PDA和游戲主機等嵌入式設備而設計。

3.音視頻編碼解碼

視頻壓縮編碼標準：對視頻進行壓縮(視頻編碼)或者解壓縮（視頻解碼）的編碼技術,比如MPEG，H.264,這些視頻編碼技術是壓縮編碼視頻的

MPEG:一種視頻壓縮方式，它采用了幀間壓縮，僅存儲連續(xù)幀之間有差別的地方 ，從而達到較大的壓縮比

H.264/AVC:一種視頻壓縮方式,采用事先預測和與MPEG中的P-B幀一樣的幀預測方法壓縮，它可以根據需要產生適合網絡情況傳輸的視頻流,還有更高的壓縮比，有更好的圖象質量。

H.265/HEVC:一種視頻壓縮方式,基于H.264，保留原來的某些技術，同時對一些相關的技術加以改進，以改善碼流、編碼質量、延時和算法復雜度之間的關系，達到最優(yōu)化設置。

音頻編碼技術

AAC，mp3：這些屬于音頻編碼技術,壓縮音頻用

碼率控制

多碼率:觀眾所處的網絡情況是非常復雜的，有可能是WiFi，有可能4G、3G、甚至2G，那么怎么滿足多方需求呢？多搞幾條線路，根據當前網絡環(huán)境自定義碼率。

視頻封裝格式

TS : 一種流媒體封裝格式，流媒體封裝有一個好處，就是不需要加載索引再播放，大大減少了首次載入的延遲，如果片子比較長，mp4文件的索引相當大，影響用戶體驗

FLV: 一種流媒體封裝格式,由于它形成的文件極小、加載速度極快，使得網絡觀看視頻文件成為可能,因此FLV格式成為了當今主流視頻格式

4.推流

推流，就是將采集到的音頻，視頻數據通過流媒體協(xié)議發(fā)送到流媒體服務器。

選擇流媒體協(xié)議

現(xiàn)在直播應用，采用RTMP協(xié)議居多，也有部分使用HLS協(xié)議。

采用RTMP協(xié)議，就要看下它與流媒體服務器交互的過程，RTMP協(xié)議的默認端口是1935，采用TCP協(xié)議。并且需要了解FLV的封裝格式。

采用HLS協(xié)議，因為涉及到切片，延時會比較大，需要了解TS流。

采集音視頻數據

做直播，數據的來源不可缺少，就是采集攝像頭，麥克風的數據。

iOS平臺上采集音視頻數據，需要使用AVFoundation.Framework框架，從captureSession會話的回調中獲取音頻，視頻數據。

5.流媒體服務器

常用服務器

SRS：一款國人開發(fā)的優(yōu)秀開源流媒體服務器系統(tǒng)

BMS:也是一款流媒體服務器系統(tǒng)，但不開源，是SRS的商業(yè)版，比SRS功能更多

nginx:免費開源web服務器，常用來配置流媒體服務器

6.拉流

直播協(xié)議選擇:

即時性要求較高或有互動需求的可以采用RTMP,RTSP

對于有回放或跨平臺需求的，推薦使用HLS

HLS:由Apple公司定義的用于實時流傳輸的協(xié)議,HLS基于HTTP協(xié)議實現(xiàn)，傳輸內容包括兩部分，一是M3U8描述文件，二是TS媒體文件。可實現(xiàn)流媒體的直播和點播，主要應用在iOS系統(tǒng)

7.解碼

使用相關硬件或軟件對接收到的編碼后的音視頻數據進行解碼，得到可以直接顯示的圖像/聲音。

涉及技術或協(xié)議：

一般對應的編碼器都會帶有相應的解碼器，也有一些第三方解碼插件等

8.播放

ijkplayer:一個基于FFmpeg的開源Android/iOS視頻播放器

API易于集成；

編譯配置可裁剪，方便控制安裝包大??；

支持硬件加速解碼，更加省電

簡單易用，指定拉流URL，自動解碼播放.

9.聊天互動

IM:(InstantMessaging)即時通訊:是一個實時通信系統(tǒng)，允許兩人或多人使用網絡實時的傳遞文字消息、文件、語音與視頻交流.

IM在直播系統(tǒng)中的主要作用是實現(xiàn)觀眾與主播、觀眾與觀眾之間的文字互動.

第三方SDK

騰訊云：騰訊提供的即時通訊SDK，可作為直播的聊天室

融云：一個比較常用的即時通訊SDK，可作為直播的聊天室

 最近我在研究這一塊,如果你有更好的建議或者對這篇文章有不滿的地方, 請聯(lián)系我, 我會進行修改，共同學習進步。

祝大家學習愉快。