视音频数据处理入门:PCM音频采样数据处理
=====================================================
視音頻數據處理入門系列文章:
視音頻數據處理入門:RGB、YUV像素數據處理
視音頻數據處理入門:PCM音頻采樣數據處理
視音頻數據處理入門:H.264視頻碼流解析
視音頻數據處理入門:AAC音頻碼流解析
視音頻數據處理入門:FLV封裝格式解析
視音頻數據處理入門:UDP-RTP協議解析
=====================================================
上一篇文章記錄了RGB/YUV視頻像素數據的處理方法,本文繼續上一篇文章的內容,記錄PCM音頻采樣數據的處理方法。音頻采樣數據在視頻播放器的解碼流程中的位置如下圖所示。
? 分離PCM16LE雙聲道音頻采樣數據的左聲道和右聲道
? 將PCM16LE雙聲道音頻采樣數據中左聲道的音量降一半
? 將PCM16LE雙聲道音頻采樣數據的聲音速度提高一倍
? 將PCM16LE雙聲道音頻采樣數據轉換為PCM8音頻采樣數據
? 從PCM16LE單聲道音頻采樣數據中截取一部分數據
? 將PCM16LE雙聲道音頻采樣數據轉換為WAVE格式音頻數據
注:PCM音頻數據可以使用音頻編輯軟件導入查看。例如收費的專業音頻編輯軟件Adobe Audition,或者免費開源的音頻編輯軟件Audacity。
函數列表
(1)分離PCM16LE雙聲道音頻采樣數據的左聲道和右聲道
本程序中的函數可以將PCM16LE雙聲道數據中左聲道和右聲道的數據分離成兩個文件。函數的代碼如下所示。
/** * Split Left and Right channel of 16LE PCM file. * @param url Location of PCM file. * */ int simplest_pcm16le_split(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_l.pcm","wb+"); FILE *fp2=fopen("output_r.pcm","wb+"); unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){ fread(sample,1,4,fp); //L fwrite(sample,1,2,fp1); //R fwrite(sample+2,1,2,fp2); } free(sample); fclose(fp); fclose(fp1); fclose(fp2); return 0; }調用上面函數的方法如下所示。
simplest_pcm16le_split("NocturneNo2inEflat_44.1k_s16le.pcm");從代碼可以看出,PCM16LE雙聲道數據中左聲道和右聲道的采樣值是間隔存儲的。每個采樣值占用2Byte空間。代碼運行后,會把NocturneNo2inEflat_44.1k_s16le.pcm的PCM16LE格式的數據分離為兩個單聲道數據:
output_l.pcm:左聲道數據。output_r.pcm:右聲道數據。
注:本文中聲音樣值的采樣頻率一律是44100Hz,采樣格式一律為16LE?!?6”代表采樣位數是16bit。由于1Byte=8bit,所以一個聲道的一個采樣值占用2Byte?!癓E”代表Little Endian,代表2 Byte采樣值的存儲方式為高位存在高地址中。下圖為輸入的雙聲道PCM數據的波形圖。上面的波形圖是左聲道的圖形,下面的波形圖是右聲道的波形。圖中的橫坐標是時間,總長度為22秒;縱坐標是取樣值,取值范圍從-32768到32767。
下圖為分離后左聲道數據output_l.pcm的音頻波形圖。
?
下圖為分離后右聲道數據output_r.pcm的音頻波形圖。
?
(2)將PCM16LE雙聲道音頻采樣數據中左聲道的音量降一半
本程序中的函數可以將PCM16LE雙聲道數據中左聲道的音量降低一半。函數的代碼如下所示。
/** * Halve volume of Left channel of 16LE PCM file * @param url Location of PCM file. */ int simplest_pcm16le_halfvolumeleft(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_halfleft.pcm","wb+"); int cnt=0; unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){ short *samplenum=NULL; fread(sample,1,4,fp); samplenum=(short *)sample; *samplenum=*samplenum/2; //L fwrite(sample,1,2,fp1); //R fwrite(sample+2,1,2,fp1); cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0; } 調用上面函數的方法如下所示。simplest_pcm16le_halfvolumeleft("NocturneNo2inEflat_44.1k_s16le.pcm");
從源代碼可以看出,本程序在讀出左聲道的2 Byte的取樣值之后,將其當成了C語言中的一個short類型的變量。將該數值除以2之后寫回到了PCM文件中。下圖為輸入PCM雙聲道音頻采樣數據的波形圖。
下圖為輸出的左聲道經過處理后的波形圖??梢钥闯鲎舐暤赖牟ㄐ畏冉档土艘话?。
(3)將PCM16LE雙聲道音頻采樣數據的聲音速度提高一倍
本程序中的函數可以通過抽象的方式將PCM16LE雙聲道數據的速度提高一倍。函數的代碼如下所示。
/** * Re-sample to double the speed of 16LE PCM file * @param url Location of PCM file. */ int simplest_pcm16le_doublespeed(char *url){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_doublespeed.pcm","wb+"); int cnt=0; unsigned char *sample=(unsigned char *)malloc(4); while(!feof(fp)){ fread(sample,1,4,fp); if(cnt%2!=0){ //L fwrite(sample,1,2,fp1); //R fwrite(sample+2,1,2,fp1); } cnt++; } printf("Sample Cnt:%d\n",cnt); free(sample); fclose(fp); fclose(fp1); return 0; } 調用上面函數的方法如下所示。simplest_pcm16le_doublespeed("NocturneNo2inEflat_44.1k_s16le.pcm");
從源代碼可以看出,本程序只采樣了每個聲道奇數點的樣值。處理完成后,原本22秒左右的音頻變成了11秒左右。音頻的播放速度提高了2倍,音頻的音調也變高了很多。下圖為輸入PCM雙聲道音頻采樣數據的波形圖。
下圖為輸出的PCM雙聲道音頻采樣數據的波形圖。通過時間軸可以看出音頻變短了很多。
(4)將PCM16LE雙聲道音頻采樣數據轉換為PCM8音頻采樣數據
本程序中的函數可以通過計算的方式將PCM16LE雙聲道數據16bit的采樣位數轉換為8bit。函數的代碼如下所示。
調用上面函數的方法如下所示。
simplest_pcm16le_to_pcm8("NocturneNo2inEflat_44.1k_s16le.pcm");PCM16LE格式的采樣數據的取值范圍是-32768到32767,而PCM8格式的采樣數據的取值范圍是0到255。所以PCM16LE轉換到PCM8需要經過兩個步驟:第一步是將-32768到32767的16bit有符號數值轉換為-128到127的8bit有符號數值,第二步是將-128到127的8bit有符號數值轉換為0到255的8bit無符號數值。在本程序中,16bit采樣數據是通過short類型變量存儲的,而8bit采樣數據是通過unsigned char類型存儲的。下圖為輸入的16bit的PCM雙聲道音頻采樣數據的波形圖。
?
(5)將從PCM16LE單聲道音頻采樣數據中截取一部分數據
本程序中的函數可以從PCM16LE單聲道數據中截取一段數據,并輸出截取數據的樣值。函數的代碼如下所示。
/** * Cut a 16LE PCM single channel file. * @param url Location of PCM file. * @param start_num start point * @param dur_num how much point to cut */ int simplest_pcm16le_cut_singlechannel(char *url,int start_num,int dur_num){ FILE *fp=fopen(url,"rb+"); FILE *fp1=fopen("output_cut.pcm","wb+"); FILE *fp_stat=fopen("output_cut.txt","wb+"); unsigned char *sample=(unsigned char *)malloc(2); int cnt=0; while(!feof(fp)){ fread(sample,1,2,fp); if(cnt>start_num&&cnt<=(start_num+dur_num)){ fwrite(sample,1,2,fp1); short samplenum=sample[1]; samplenum=samplenum*256; samplenum=samplenum+sample[0]; fprintf(fp_stat,"%6d,",samplenum); if(cnt%10==0) fprintf(fp_stat,"\n",samplenum); } cnt++; } free(sample); fclose(fp); fclose(fp1); fclose(fp_stat); return 0; } 調用上面函數的方法如下所示。simplest_pcm16le_cut_singlechannel("drum.pcm",2360,120);
本程序可以從PCM數據中選取一段采樣值保存下來,并且輸出這些采樣值的數值。上述代碼運行后,會把單聲道PCM16LE格式的“drum.pcm”中從2360點開始的120點的數據保存成output_cut.pcm文件。下圖為“drum.pcm”的波形圖,該音頻采樣頻率為44100KHz,長度為0.5秒,一共包含約22050個采樣點。
下圖為截取出來的output_cut.pcm文件中的數據。
下面列出了上述數據的采樣值。
4460, 5192, 5956, 6680, 7199, 6706, 5727, 4481, 3261, 1993, 1264, 747, 767, 752, 1248, 1975, 2473, 2955, 2952, 2447, 974, -1267, -4000, -6965,-10210,-13414,-16639,-19363,-21329,-22541, 23028,-22545,-21055,-19067,-16829,-14859,-12596, -9900, -6684, -3475, -983, 1733, 3978, 5734, 6720, 6978, 6993, 7223, 7225, 7440, 7688, 8431, 8944, 9468, 9947, 10688, 11194, 11946, 12449, 12446, 12456, 11974, 11454, 10952, 10167, 9425, 8153, 6941, 5436, 3716, 1952, 236, -1254, -2463, -3493, -4223, -4695, -4927, -5190, -4941, -4188, -2956, -1490, -40, 705, 932, 446, -776, -2512, -3994, -5723, -7201, -8687,-10157,-11134,-11661,-11642,-11168,-10155, -9142, -7888, -7146, -6186, -5694, -4971, -4715, -4498, -4471, -4468, -4452, -4452, -3940, -2980, -1984, -752, 257, 1021, 1264, 1032, 31,(6)將PCM16LE雙聲道音頻采樣數據轉換為WAVE格式音頻數據
WAVE格式音頻(擴展名為“.wav”)是Windows系統中最常見的一種音頻。該格式的實質就是在PCM文件的前面加了一個文件頭。本程序的函數就可以通過在PCM文件前面加一個WAVE文件頭從而封裝為WAVE格式音頻。函數的代碼如下所示。
/** * Convert PCM16LE raw data to WAVE format * @param pcmpath Input PCM file. * @param channels Channel number of PCM file. * @param sample_rate Sample rate of PCM file. * @param wavepath Output WAVE file. */ int simplest_pcm16le_to_wave(const char *pcmpath,int channels,int sample_rate,const char *wavepath) { typedef struct WAVE_HEADER{ char fccID[4]; unsigned long dwSize; char fccType[4]; }WAVE_HEADER; typedef struct WAVE_FMT{ char fccID[4]; unsigned long dwSize; unsigned short wFormatTag; unsigned short wChannels; unsigned long dwSamplesPerSec; unsigned long dwAvgBytesPerSec; unsigned short wBlockAlign; unsigned short uiBitsPerSample; }WAVE_FMT; typedef struct WAVE_DATA{ char fccID[4]; unsigned long dwSize; }WAVE_DATA; if(channels==0||sample_rate==0){ channels = 2; sample_rate = 44100; } int bits = 16; WAVE_HEADER pcmHEADER; WAVE_FMT pcmFMT; WAVE_DATA pcmDATA; unsigned short m_pcmData; FILE *fp,*fpout; fp=fopen(pcmpath, "rb"); if(fp == NULL) { printf("open pcm file error\n"); return -1; } fpout=fopen(wavepath, "wb+"); if(fpout == NULL) { printf("create wav file error\n"); return -1; } //WAVE_HEADER memcpy(pcmHEADER.fccID,"RIFF",strlen("RIFF")); memcpy(pcmHEADER.fccType,"WAVE",strlen("WAVE")); fseek(fpout,sizeof(WAVE_HEADER),1); //WAVE_FMT pcmFMT.dwSamplesPerSec=sample_rate; pcmFMT.dwAvgBytesPerSec=pcmFMT.dwSamplesPerSec*sizeof(m_pcmData); pcmFMT.uiBitsPerSample=bits; memcpy(pcmFMT.fccID,"fmt ",strlen("fmt ")); pcmFMT.dwSize=16; pcmFMT.wBlockAlign=2; pcmFMT.wChannels=channels; pcmFMT.wFormatTag=1; fwrite(&pcmFMT,sizeof(WAVE_FMT),1,fpout); //WAVE_DATA; memcpy(pcmDATA.fccID,"data",strlen("data")); pcmDATA.dwSize=0; fseek(fpout,sizeof(WAVE_DATA),SEEK_CUR); fread(&m_pcmData,sizeof(unsigned short),1,fp); while(!feof(fp)){ pcmDATA.dwSize+=2; fwrite(&m_pcmData,sizeof(unsigned short),1,fpout); fread(&m_pcmData,sizeof(unsigned short),1,fp); } pcmHEADER.dwSize=44+pcmDATA.dwSize; rewind(fpout); fwrite(&pcmHEADER,sizeof(WAVE_HEADER),1,fpout); fseek(fpout,sizeof(WAVE_FMT),SEEK_CUR); fwrite(&pcmDATA,sizeof(WAVE_DATA),1,fpout); fclose(fp); fclose(fpout); return 0; }調用上面函數的方法如下所示。
simplest_pcm16le_to_wave("NocturneNo2inEflat_44.1k_s16le.pcm",2,44100,"output_nocturne.wav"); WAVE文件是一種RIFF格式的文件。其基本塊名稱是“WAVE”,其中包含了兩個子塊“fmt”和“data”。從編程的角度簡單說來就是由WAVE_HEADER、WAVE_FMT、WAVE_DATA、采樣數據共4個部分組成。它的結構如下所示。WAVE_HEADER |
WAVE_FMT |
WAVE_DATA |
PCM數據 |
其中前3部分的結構如下所示。在寫入WAVE文件頭的時候給其中的每個字段賦上合適的值就可以了。但是有一點需要注意:WAVE_HEADER和WAVE_DATA中包含了一個文件長度信息的dwSize字段,該字段的值必須在寫入完音頻采樣數據之后才能獲得。因此這兩個結構體最后才寫入WAVE文件中。
typedef struct WAVE_HEADER{ char fccID[4]; unsigned long dwSize; char fccType[4]; }WAVE_HEADER; typedef struct WAVE_FMT{ char fccID[4]; unsigned long dwSize; unsigned short wFormatTag; unsigned short wChannels; unsigned long dwSamplesPerSec; unsigned long dwAvgBytesPerSec; unsigned short wBlockAlign; unsigned short uiBitsPerSample; }WAVE_FMT; typedef struct WAVE_DATA{ char fccID[4]; unsigned long dwSize; }WAVE_DATA; 本程序的函數執行完成后,就可將NocturneNo2inEflat_44.1k_s16le.pcm文件封裝成output_nocturne.wav文件。下載
Simplest mediadata test
項目主頁
SourceForge:https://sourceforge.net/projects/simplest-mediadata-test/
Github:https://github.com/leixiaohua1020/simplest_mediadata_test
開源中國:http://git.oschina.net/leixiaohua1020/simplest_mediadata_test?(1)像素數據處理程序。包含RGB和YUV像素格式處理的函數。
?(2)音頻采樣數據處理程序。包含PCM音頻采樣格式處理的函數。
?(3)H.264碼流分析程序??梢苑蛛x并解析NALU。
?(4)AAC碼流分析程序。可以分離并解析ADTS幀。
?(5)FLV封裝格式分析程序??梢詫LV中的MP3音頻碼流分離出來。
?(6)UDP-RTP協議分析程序。可以將分析UDP/RTP/MPEG-TS數據包。
雷霄驊 (Lei Xiaohua)
leixiaohua1020@126.com
http://blog.csdn.net/leixiaohua1020
總結
以上是生活随笔為你收集整理的视音频数据处理入门:PCM音频采样数据处理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 最简单的基于FFMPEG+SDL的视频播
- 下一篇: 视音频数据处理入门:AAC音频码流解析