一.音視頻同步的原理 mp4v2內(nèi)部采用一套時(shí)間刻度基準(zhǔn)，由我們自己設(shè)定，不一定是采用我們常用的1秒有1000個(gè)單位（毫秒）?？赡苁?秒里有90000個(gè)單位或80000個(gè)單位。音頻和視頻可以采用不同的時(shí)間刻度基準(zhǔn)，只是為方便區(qū)分，大都采用不同的刻度。 我們在每次向mp4文件寫數(shù)據(jù)時(shí)（調(diào)用函數(shù)MP4WriteSample），就需要考慮上一次寫數(shù)據(jù)和這一次寫數(shù)據(jù)之間的時(shí)間間隔，把這個(gè)間隔換算成mp4v2內(nèi)部的時(shí)間刻度基準(zhǔn)間隔值（duration），然后mp4v2按照這個(gè)刻度基準(zhǔn)間隔值（duration）把這一次數(shù)據(jù)放在對(duì)應(yīng)的位置上。例子說明：用時(shí)間戳實(shí)時(shí)修改mp4v2里的上下幀間隔對(duì)應(yīng)的ticks值。1.mp4v2庫初始化時(shí)?音頻使用48000刻度基準(zhǔn)，視頻使用90000刻度基準(zhǔn)。不采用固定幀間隔對(duì)應(yīng)的ticks（duration）。①H264--視頻初始化 MP4AddH264VideoTrack(MP4File,TimeScale, MP4_INVALID_DURATION,width, height, spsBuf[1], spsBuf[2], spsBuf[3], 3); 第二個(gè)參數(shù)TimeScale的值是90000（也可以是別的值，在計(jì)算上下幀對(duì)應(yīng)的ticks值時(shí)，需要使用這個(gè)刻度基準(zhǔn)）。第三個(gè)參數(shù)值采用MP4_INVALID_DURATION，意思是我們使用變化的ticks，也就是函數(shù)MP4WriteSample里的第5個(gè)參數(shù)。如果幀與幀間隔值比較固定，也可以把第三個(gè)參數(shù)值寫成固定的對(duì)應(yīng)ticks，比如每秒固定有25幀數(shù)據(jù)，那么第三個(gè)參數(shù)值可以是：duration= (1/25)秒/(1/90000) = 36000;duration = (timestamp-lasttimestamp)/(1/timescale)②.Audio--音頻初始化 MP4AddAudioTrack(MP4File, TIMESCALE,MP4_INVALID_DURATION , MP4_MPEG4_AUDIO_TYPE); 第二個(gè)參數(shù)TIMESCALE的值是48000（也可以是別的值，在計(jì)算上下幀對(duì)應(yīng)的ticks值時(shí)，需要使用這個(gè)刻度基準(zhǔn)。很多人用采樣率，雖然是建議，但容易產(chǎn)生概念混淆。這個(gè)值我們把它設(shè)置成1000都可以）。第三個(gè)參數(shù)值采用MP4_INVALID_DURATION，同理①。2.在向mp4文件實(shí)時(shí)寫數(shù)據(jù) 利用音視頻的時(shí)間戳間隔換算來變化的ticks。（向文件寫的第一幀數(shù)據(jù)需再優(yōu)化處理，否則mp4文件無法單個(gè)循環(huán)播放）。我使用AudioDuration代表音頻數(shù)據(jù)上下幀對(duì)應(yīng)的ticks值；使用VideoDuration代表視頻數(shù)據(jù)上下幀對(duì)應(yīng)的ticks值。 ①向mp4文件寫的第一幀數(shù)據(jù)需要注意。 我寫第一幀數(shù)據(jù)的ticks值采用了固定值（隨意的經(jīng)驗(yàn)值）： vedio使用MP4WriteSample(MP4File, VideoId, (const uint8_t *)buf, (int)(pbuf - buf),3600,0,true)； audio使用MP4WriteSample(MP4File, VideoId, (const uint8_t *)buf, (int)(pbuf - buf), 400+VideoDuration,0,true) ②.向mp4文件寫其他幀數(shù)據(jù)時(shí)，視頻和音頻上下幀間隔對(duì)應(yīng)的ticks值使用公式： Duration = (timestamp-lasttimestamp)/(1/timescale)二.備注： ①.模數(shù)轉(zhuǎn)換，在模擬采樣音頻的時(shí)候，1幀（數(shù)據(jù)包）音頻包含1024（1024是底層硬件進(jìn)行模數(shù)轉(zhuǎn)換時(shí)使用的固定值，大都用這個(gè)數(shù)值）個(gè)采樣。例如使用48k的音頻采樣，那么1秒就有48000/1024個(gè)幀，約47幀。這些數(shù)據(jù)包按時(shí)間先后順序和視頻數(shù)據(jù)包安放在一起。所以會(huì)發(fā)現(xiàn)一包音視頻數(shù)據(jù)中，有1幀視頻和2-3幀音頻。 而在嵌入式內(nèi)部對(duì)這些數(shù)據(jù)處理(比如向mp4文件寫數(shù)據(jù))是一種純數(shù)字化的處理，和采樣率關(guān)系已經(jīng)不大。 ②.在使用時(shí)間戳實(shí)時(shí)修改mp4v2里的上下幀間隔對(duì)應(yīng)的ticks值這種方式時(shí)，發(fā)現(xiàn)在關(guān)閉文件時(shí)需要等很久才成功、形成可播放的mp4文件（或形成的mp4文件無法播放）。我們可以參照mp4v2庫的源碼添加打印，依次跟蹤，解決問題。 但我發(fā)現(xiàn)在移植mp4v2源碼到嵌入式海思平臺(tái)時(shí)，修改配置項(xiàng)時(shí)使用命令CC=arm-hisiv100nptl-linux-gcc CXX=arm-hisiv100nptl-linux-g++ ./configure --host=arm-hisiv100nptl-linux --prefix=/usr/local/mp4v2 --disable-option-checking --disable-debug --disable-optimize --disable-fvisibility --disable-gch --disable-largefile --disable-util --disable-dependency-tracking --disable-libtool-lock，編譯生成的庫用到設(shè)備里，就不會(huì)產(chǎn)生無法立刻形成mp4文件問題。具體移植方法參考我另一個(gè)博客文章“mp4v2源碼編譯并移植到海思平臺(tái)”.三.其他函數(shù)說明 許多函數(shù)說明可以參考File.h中的注釋解釋。 ①創(chuàng)建文件時(shí)， tsThis->m_pMP4File = MP4CreateEx(filename,MP4_CREATE_64BIT_DATA,1,1,0,0,0,0); MP4CreateEx的第二個(gè)參數(shù)，標(biāo)記允許文件總大小超過64位的數(shù)據(jù)。我理解的是，允許單個(gè)mp4文件的容量超過2^32KB=4GB。 ②關(guān)閉文件時(shí)， MP4Close(tsThis->m_pMP4File,MP4_CLOSE_DO_NOT_COMPUTE_BITRATE); 第二個(gè)參數(shù)，在關(guān)閉文件時(shí)，不計(jì)算整個(gè)文件的大小，這樣可以更快關(guān)閉文件。