當前位置:編程學習大全網 - 腳本源碼 - 如何實時h264編碼及aac編碼

如何實時h264編碼及aac編碼

1. 簡單介紹

首先是捕獲,這裏采用了DirectShow的方式,對它進行了壹定程度的封裝,包括音視頻。好處是直接使用native api,妳可以做想做的任何修改,壞處是,不能跨平臺,采集音視頻這種應用,linux平臺也是需要滴呀。有跨平臺的做法,對視頻,可以使用OpenCV,對音頻,可以使用OpenAL或PortAudio等,這樣就行了。

編碼可以選擇的余地比較大,對視頻來講,有H264, MPEG-4, WebM/VP8, Theora等,音頻有Speex, AAC, Ogg/Vorbis等,它們都有相應的開源項目方案,我采用的是x264進行H264編碼,libfaac進行aac編碼,之後是否更改編碼方案,等具體項目需求再說了。這裏提壹下WebM,Google牽頭的項目,完全開放和自由,使用VP8和Vorbis編碼,webm(mkv)封裝,有多家巨頭支持,目的是想要取代當前的H264視頻編碼,號稱比後者更加優秀,我沒有測試過實際效果。不過有商業公司牽頭就是不壹樣,各項支持都很全面,有時間了關註壹下。

2. 邏輯和流程

基本的思想是實現dshow ISampleGrabberCB接口,通過回調來保存每壹個buffer。除了界面線程和dshow自己的線程之外,我們啟動了兩個線程,AudioEncoderThread和VideoEncoderThread,分別從SampleGrabber中取出數據,調用編碼器進行編碼,編碼後的文件可以直接輸出。看圖:

程序是用VS2010構建的,看張工程截圖:

Base下面的是對系統API的壹些簡單封裝,主要是線程和鎖。我這裏簡單也封裝的了壹下dshow的捕獲過程,包括graph builder的創建,filter的連接等。directshow是出了名的難用,沒辦法,難用也得用。因為是VS2010,調用的Windows SDK 7.1中的dshow,沒有qedit.h這個文件,而它正式定義ISampleGrabberCB的。不急,系統中還是有qedit.dll的,我們要做的就是從Windows SDK 6.0中,把它拷過來,然後在stdafx.h中加入這幾行代碼,就可以了

1 #pragma include_alias( "dxtrans.h", "qedit.h" )

2 #define __IDxtCompositor_INTERFACE_DEFINED__

3 #define __IDxtAlphaSetter_INTERFACE_DEFINED__

4 #define __IDxtJpeg_INTERFACE_DEFINED__

5 #define __IDxtKey_INTERFACE_DEFINED__

6 #include "qedit.h"

3. 音視頻編碼

相關文件:

Encoder下就是音視頻編碼相關的代碼。X264Encoder封裝了調用x264編碼器的操作,FAACEncoder封裝了調用libfaac編碼器的操作,VideoEncoderThread和AudioEncoderThread負責主要的流程。下面我把關鍵代碼貼出來,大家可以參考壹下。

A. 視頻編碼線程

主要流程是首先初始化x264編碼器,然後開始循環調用DSVideoGraph,從SampleGrabber中取出視頻幀,調用x264進行編碼,流程比較簡單,調用的頻率就是妳想要獲取的視頻幀率。要註意的壹點是,x264進行編碼比較耗時,在計算線程Sleep時間時,要把這個過程消耗的時間算上,以免采集的視頻幀率錯誤。

B. 音頻編碼線程

主要流程和視頻編碼線程相同,也是初始化FAAC編碼器,然後循環調用DSAudioGraph,從SampleGrabber中取出視頻幀,調用faac進行編碼。和視頻不同的是,音頻的sample的頻率是非常快的,所以幾乎要不斷的進行采集,但前提是SampleGrabber中捕獲到新數據了才行,不然妳的程序cpu就100%了,下面代碼中IsBufferAvailaber()就是做這個檢測的。

調用faac進行編碼的時候,有點需要註意,大家特別註意下,不然編碼出來的音頻會很不正常,搞不好的話會很頭疼的。先看下faac.h的相關接口

1 faacEncHandle FAACAPI faacEncOpen(unsigned long sampleRate, unsigned int numChannels,2 unsigned long *inputSamples, unsigned long *maxOutputBytes);3 4 int FAACAPI faacEncEncode(faacEncHandle hEncoder, int32_t * inputBuffer, unsigned int samplesInput,5 unsigned char *outputBuffer, unsigned int bufferSize);

faacEncEncode第三個參數指的是傳入的sample的個數,這個值要和調用faacEncOpen返回的inputSamples相等。要做到這點,就要在dshow中設置好buffsize,公式是:

BufferSize = aac_frame_len * channels * wBytesPerSample// aac_frame_len = 1024

  • 上一篇:無盡之劍2 2的3次方是什麽意思
  • 下一篇:歌曲《神話》原唱
  • copyright 2024編程學習大全網