|
Firelight Technologies FMOD Ex
|
術(shù)語 / 基本原理
導(dǎo)言
下文中的術(shù)語和原理將貫穿整個FMOD文檔，本節(jié)對部分術(shù)語和原理進行解釋，以免混淆。
Samples vs bytes vs milliseconds
在很多FMOD函數(shù)中都會提到PCM的samples、bytes和milliseconds。
要理解它們有什么區(qū)別，請看下圖。下圖描述了原始PCM采樣數(shù)據(jù)在FMOD緩沖中的存儲方式：
從圖中可以看出立體聲音頻由左/右聲道的數(shù)據(jù)交替組成。
. 一對左/右聲道(雙聲道)數(shù)據(jù)稱為一個sample。
. 因為是16bit的數(shù)據(jù)，所以1 sample = 4 bytes。
. 如果采樣率是44.1khz或者或回放頻率是44100 采樣/秒，那么1個采樣是1/44100秒，或者1/44毫秒。因此44100個采樣就等于1秒鐘的數(shù)據(jù)。
下面的公式可以用來在不同的術(shù)語間進行轉(zhuǎn)換：
. ms = samples * 1000 / samplerate.
. samples = ms * samplerate / 1000.
. samplerate = samples * 1000 / ms.
. bytes = samples * bits * channels / 8.
. samples = bytes * 8 / bits / channels.
一些函數(shù)如Sound::getLength
提供了以毫秒、字節(jié)和采樣為單位的長度值，這樣就不必再使用上述公式計算了。
聲音——采樣 vs 壓縮采樣 vs 流
加載聲音有三種方式：一是將靜態(tài)幀解壓后以PCM格式裝入內(nèi)存；二是以其原始格式裝入內(nèi)存，并在運行時解壓；三是將聲音流化后并從外部媒介(如硬盤或CD)實時(in
chunks)解碼。
. "Samples" 適合那些需要多次播放的小的聲音片段，例如音效。它播放時占用很少的CPU，并且能使用硬件加速。參見FMOD_CREATESAMPLE。
. "Streams" 適合那些因為太大而無法載入內(nèi)存的聲音，聲音會被流化并裝入到一小段由FMOD管理的環(huán)形緩沖中。這會占用少量CPU和硬盤帶寬，具體視文件格式而定。舉個例子，實時解碼MP3會比播放一個PCM(未壓縮WAV)文件占用更多的CPU。一個流式的聲音只能播放一次，因為一個流只有一個文件句柄和一個環(huán)形緩沖。參見FMOD_CREATESTREAM.
. "Compressed samples" 是一個新的高級選項，它允許用戶將一個確定格式的壓縮文件裝載到內(nèi)存中，并且不需要對其解壓。用CPU進行軟件混合，沒有stream的只能播放一次的限制。它比標準的PCM采樣占用更多的CPU，但由于不需要訪問硬盤且使用更少的緩沖，因此比stream對CPU的占用更少。參見FMOD_CREATECOMPRESSEDSAMPLE.
你可能注意到術(shù)語"Sample"和"Stream"都沒有對應(yīng)的類名，那是因為所有的FMOD APIs 都統(tǒng)一使用"Sound"類型。
默認情況下，System::createSound
會將整個聲音文件解碼到內(nèi)存中。
要使用流進行實時播放且節(jié)約內(nèi)存的話，創(chuàng)建聲音時使用FMOD_CREATESTREAM標記，或者使用helper函數(shù)System::createStream，其本質(zhì)和System::createSound相同，只是自動使用了FMOD_CREATESTREAM標記。
要創(chuàng)建一個壓縮采樣則在System::createSound中使用FMOD_CREATECOMPRESSEDSAMPLE標記。
硬件 vs 軟件
FMOD Ex支持通過DirectSound或者控制臺硬件API對音頻回放使用硬件加速，但也可以使用自己的軟件混合機制。
由于基于硬件和軟件的音頻回放的某些特征，所以通常硬件和軟件交替使用。
Hardware sounds(使用FMOD_HARDWARE創(chuàng)建，CPU占用率低，響應(yīng)時間短，可以訪問硬件混響)，例如EAX4。
Hardware sounds在某些方式下也有其局限性，例如DirecSound就僅限于Windows，靜態(tài)采樣不支持任意位置的循環(huán)點(循環(huán)播放整個sound或者不循環(huán))， 不能播放非混響音效(例如chorus, distortion, lowpass etc)。
Software sounds (使用FMOD_SOFTWARE創(chuàng)建，雖然有時會占用更多的CPU，但它能做更多的事，如復(fù)雜循環(huán)、實時解析、音效和采樣精確同步)。
Hardware vs Software.
Hardware 優(yōu)點
. Usually lower latency. (Although on consoles
or ASIO output in windows, using FMOD_SOFTWARE can have extremely low latency
as low as 2-5ms)
. Less CPU time. (Although on Windows software is a lot
faster due to bad hardware sound card driver design, and inefficiencies in the
DirectSound API).
. On Windows, access to EAX2, EAX3, EAX4, I3DL2 reverb
per voice. (FMOD Ex has its own high quality I3DL2 reverb solution in software,
but may not be as flexible or have the quality of EAX4 for example.).
. Free hardware obstruction / occlusion (this is usually
equivalent to a lowpass filter or reverb attenuation which can also be
performed in software at some expense to the CPU), but only on EAX compatible
sound cards on Windows. FMOD_SOFTWARE is cross platform.
. On PS2, PSP, XBox, GameCube, Wii, hardware voices can
play back ADPCM compressed sound data with no cpu hit.
. On a limited number of soundcards, hardware 3d sounds
will be realtime encoded into an AC3 Dolby Digital stream via a digital /
optical output on the card so an amplifier can play it in 3D surround sound.
FMOD software mixing now supports 5.1 and 7.1 mixing at slightly higher CPU
expense, and will work via analog outputs such as soundcards with 3 stereo
jacks to run to a 5.1 speaker setup.
Hardware 缺點
. 在Win32平臺上不支持點到點循環(huán)，XBox和GameCube平臺支持點到點循環(huán)，而PS2上僅支持循環(huán)起點，所以不具有跨平臺兼容性。
. No access to hardware effects per voice. 大多數(shù)PC聲卡和控制臺都不支持如lowpass、distortion、flange、chorus
etc.等硬件加速音效。
. 沒有循環(huán)計數(shù)控制。一個聲音要么被無限次地循環(huán)，要么就不循環(huán)。
. 特性支持不一致。例如PS2不支持EAX混響，且3D音效的執(zhí)行通常聽上去不同。
. 有時比FOMD在Windows上的軟件混合速度慢許多。虛擬聲音在換進/出時導(dǎo)致的大量狀態(tài)變化會帶來很大的硬件開銷(明顯的幀率下降)，而軟件卻不會。
Software 優(yōu)點
. Consistent sound on every platform, there is
no variation in playback.
. Sample accurate synchronization callbacks and events.
. Compressed sample playback support without using
streams.
. Cross platform reverb.
. Complex looping and loop counts.
. Reverse sample playback.
. Spectrum analysis.
. Filters per channel or for the global mix, to perform
effects such as lowpass, distortion, flange, chorus etc.
. Complex DSP network construction for realtime sound
synthesis.
. Access to final mix buffer to allow analyzing, drawing
to screen, or saving to file.
Software 缺點
. 某些音頻設(shè)備的響應(yīng)時間(如win32的waveout輸出)可能會很長。
. 內(nèi)存占用量更大(分配混合單元和混合緩沖，或?qū)⒙曇魞Υ嬖谥鞔娑锹暱ň彺嬷?span lang="EN-US">)。
Channels and sounds.
當你加載完你的聲音后就須要播放，這時會用到System::playSound函數(shù)，它返回一個Channel /
FMOD_CHANNEL句柄。
參數(shù)channelid通常設(shè)為FMOD_CHANNEL_FREE，表示FMOD將自動選擇一個未使用的通道來播放。
2D vs 3D.
A 3D sound source is a channel that has a position
and a velocity. When a 3D channel is playing, its volume, speaker placement and
pitch will be affected automatically based on the relation to the listener.
A listener is the player, or the game camera. It has a position,
velocity like a sound source, but it also has an orientation.
listener和source間的相對距離決定音量。
listener和source 間的相對速度決定音調(diào)(多普勒現(xiàn)象)。
listener相對于source
的方位決定左右聲道平衡或揚聲器位置。
2D sound不受3D sound中listener的影響 ,沒有多普勒現(xiàn)象，不衰減，也不受揚聲器位置影響。
創(chuàng)建2D sound可以調(diào)用Channel::setSpeakerMix、Channel::setSpeakerLevels或Channel::setPan。
創(chuàng)建3D sound可以調(diào)用所有函數(shù)名中含有3D的函數(shù).
For a more detailed description of 3D sound, read the tutorial in the
documentation on 3D sound.
(譯)[FMOD編程指南]2.GETTING STARTED
GETTING STARTED.
導(dǎo)言
FMOD Ex API被設(shè)計得非常直觀和靈活，本教程將簡要介紹引擎的使用方法，并對使用中涉及的相關(guān)問題做出解釋。
配置——What to include and what to link.
查閱文檔中的"Platform specific issues"，找出指定平臺上要使用FMOD Ex函數(shù)所需鏈接的文件。
在C/C++中，如果只須使用C接口，則包含"fmod.h"，要使用C++接口則須包含"fmod.hpp"。
注意：常量、回調(diào)函數(shù)、宏定義和枚舉類型都在fmod.h中，所以fmod.hpp也包含fmod.h，如果你使用C++的話就必須交叉使用。
對于Delphi、C#和Visual Basic，都有其對應(yīng)的頭文件可供在程序中使用。
初始化
要初始化fmod，最簡單的方法就是調(diào)用System::init函數(shù),FMOD會使用默認參數(shù)來配置聲卡和其他設(shè)置。
在查看文檔中的System::init函數(shù)時，要記住maxchannels參數(shù)是你在游戲中可以同時播放聲音的最大數(shù)量，該數(shù)與聲卡或軟件混合器無關(guān)。
這些聲音是 虛擬聲音(virtual voices)。這意味著你可以同時播放任意多的聲音，而不用擔心硬件或軟件資源問題。
你可以在游戲中安全地播放每個聲音，而無須擔心System::playSound超出播放上限或搶占其它聲音。因此只要你喜歡，你可以將maxchannels設(shè)置為任意大的數(shù)，如1，100，200，1000。
注意：同時播放1000個聲音并不會音像性能，因為它們中的大部分是聽不見的 (聽不見的聲音被“虛擬化”了)。而FMOD Ex虛擬聲音管理器決定哪些聲音能聽見，哪些聽不見只需要很小的系統(tǒng)開銷。
下面我們看一個初始化FMOD Ex的例子。
FMOD_RESULT result;
FMOD::System *system;
result =system); // 創(chuàng)建主system對象
if (result != FMOD_OK)
{
printf("FMOD error! (%d) %s\n", result,
FMOD_ErrorString(result));
exit(-1);
}
result = system->init(100, FMOD_INIT_NORMAL, 0); //
初始化FMOD
if (result != FMOD_OK)
{
printf("FMOD error! (%d) %s\n", result,
FMOD_ErrorString(result));
exit(-1);
}
這是最基本的初始化FOMD引擎的方法，使用了100個虛擬聲音。
注意：mod、s3m、xm、it和midi格式的文件播放時只使用一個聲音，不要以為在這里增大數(shù)量就可以使用多個聲音來播放這些格式的文件。這些格式的都使用它們自己的internal pool voices。
配置選項
如果你不想使用默認設(shè)置的話，可以自行設(shè)定輸出硬件、FOMD資源使用和其他配置選項。
這些操作都必須在System::init函數(shù)調(diào)用前進行。
常用配置如下：
. System::setOutput
– 選擇輸出方式。例如你可以在Windows上選擇DirectSound、WinMM、ASIO、no-sound、wave-writer或其他輸出選項，每個平臺都有不同的選擇。如果你只是要使用默認配置，就不需要調(diào)用它。
. System::setDriver
– 選擇用于播放的設(shè)備驅(qū)動。當你擁有不止一塊聲卡并且不想使用默認聲卡的時候，這個函數(shù)就很有用了。你需要用System::getNumDrivers函數(shù)來獲取設(shè)備數(shù)，用System::getDriverName函數(shù)來獲取驅(qū)動名稱以供用戶選擇。
. System::setHardwareChannels
– 使用這個函數(shù)來限制硬件聲音的數(shù)量，或設(shè)定在reverting to 100%
software mixed voice support之前的最小硬件聲音數(shù)量。“minimum”選項用于保證同時至少能聽到的聲音數(shù)量。
. System::setSoftwareChannels
– 使用這個函數(shù)來設(shè)定FMOD通道使用的軟件混合聲音的數(shù)量。 This will be purely for polyphony reasons or CPU / memory resource
usage reasons. 使用mod/s3m/xm/it/midi這些格式時，不要指望使用它來增加聲音的數(shù)量，它們不使用通道的pool而使用自己的。
. System::setSoftwareFormat
– 用于改變FMOD軟件混合器的設(shè)置。包括采樣率、輸出模式(如integer vs float)、輸出通道數(shù)(如multi-output channel ASIO devices)、內(nèi)存使用和混合質(zhì)量。
. System::setDSPBufferSize
– 如果在很慢的機器上或非良好的聲卡驅(qū)動上出現(xiàn)聲音抖動，就需要使用這個函數(shù)。它可以改變軟件混合器的響應(yīng)時間，但誤用的話也可能影響性能。一些人可能想讓用戶在“低響應(yīng)時間”和“高兼容性”兩種模式間做出選擇，可以通過調(diào)整緩沖大小來達到犧牲響應(yīng)時間換取穩(wěn)定性的目的。
. System::setSpeakerMode
– 設(shè)置揚聲器輸出模式。此函數(shù)只對FMOD軟件混合引擎起作用，默認值為stereo (5.1 on xbox and xbox360 and 7.1 on ps3)，可以按需要任意更改。注意：聲道數(shù)越多，占用的內(nèi)存也越多。
下面的例子使用了一些配置項來初始化FMOD。 要記住這些選項都是可選的，如果不需要就不用設(shè)置，在你沒有弄懂其真正含義前，千萬不要僅僅將下面的代碼復(fù)制再粘貼！
例如，如果用戶沒有5.1聲道的系統(tǒng)，你就不能僅僅將揚聲器模式設(shè)定為5.1。
FMOD_RESULT result;
FMOD::System *system;
result =system); //創(chuàng)建主system對象
ERRCHECK(result);
// 設(shè)置揚聲器模式為5.1聲道
result = system->setSpeakerMode(FMOD_SPEAKERMODE_5POINT1);
ERRCHECK(result);
// 允許同時播放100個軟件混合聲音
result = system->setSoftwareChannels(100);
ERRCHECK(result);
// 要求聲卡至少要有32個2D和3D硬件聲音，如果聲音數(shù)超過64，就限制為64
result = system->setHardwareChannels(32, 64, 32, 64);
ERRCHECK(result);
// 初始化FOMD，使用100個虛擬聲音
result = system->init(200, FMOD_INIT_NORMAL, 0);
ERRCHECK(result);
加載與播放
要播放聲音，你必須先加載！
使用System::createSound或System::createStream就可以完成這項工作。
默認情況下，系統(tǒng)會嘗試將整個聲音解壓到內(nèi)存中(如果使用 System::createSound函數(shù))，而和sample不同的是stream(用
System::createStream創(chuàng)建)是在運行時解碼，僅使用很少的內(nèi)存作為緩沖，這就是為什么大文件最好用stream的原因。
更多請參見術(shù)語/基本原理。
下面是一個加載MP3文件的例子，默認條件下System::createSound函數(shù)將整個MP3解壓成16bit的PCM格式，這就意味著將占用比文件本身大許多倍的內(nèi)存。
FMOD::Sound *sound;
// FMOD_DEFAULT等效于FMOD_LOOP_OFF
| FMOD_2D | FMOD_HARDWARE.
result = system->createSound("../media/wave.mp3",
FMOD_DEFAULT, 0, &sound);
ERRCHECK(result);
下面是一個用stream打開MP3文件的例子。System::createStream函數(shù)將打開文件并預(yù)緩沖小部分數(shù)據(jù)，然后就可以在System::playSound調(diào)用時直接播放了。
FMOD::Sound *sound;
// FMOD_DEFAULT等效于FMOD_LOOP_OFF
| FMOD_2D | FMOD_HARDWARE.
result = system->createStream("../media/wave.mp3",
FMOD_DEFAULT, 0, &sound);
ERRCHECK(result);
指定用軟件混合就必須使用FMOD_SOFTWARE標記。如果你想要使用如DSP effects、spectrum analysis、getwavedata、point to point looping和其它更多的高級技術(shù)，就必須使用軟件混合。
FMOD::Sound *sound;
// 使用軟件混合
result = system->createSound("../media/wave.mp3", FMOD_SOFTWARE,
0, &sound);
ERRCHECK(result);
下一個例子是將MP3以sample的形式載入內(nèi)存而不解壓，使用
FMOD_CREATECOMPRESSEDSAMPLE標記。此時如果沒有指定FMOD_HARDWARE或FMOD_SOFTWARE，將默認為軟件混合。硬件聲音回放不支持這個標記，除非格式為ADPCM on Xbox、VAG on PS2/PSP或GCADPCM on Gamecube/Wii。 Platforms like PS3
and Xbox 360 are all done one the cpu (usually a different core to the main cpu
so it does not affect performance).
FMOD::Sound *sound;
// FMOD_CREATECOMPRESSEDSAMPLE標記讓sample先嘗試直接播放(不解壓到內(nèi)存)，但僅限于IMA ADPCM、MP2、MP3和XMA格式
result = system->createSound("../media/wave.mp3", FMOD_CREATECOMPRESSEDSAMPLE,
0, &sound);
ERRCHECK(result);
警告! 必須謹慎使用這種模式，它看上去和PCM sample很相似，但它會在運行時導(dǎo)致巨大CPU開銷。FMOD按照聲音的壓縮格式，在播放時對其進行解碼。
現(xiàn)在，要播放sound或stream只需簡單地調(diào)用System::playSound就行了。
FMOD::Channel *channel;
result = system->playSound(FMOD_CHANNEL_FREE, sound, false,
&channel);
ERRCHECK(result);
此時，聲音已經(jīng)在后臺播放了！而你的程序?qū)⒗^續(xù)執(zhí)行。
關(guān)于playSound的注意事項：
. 如果不需要的話，可以不必獲取channel句柄，可以將其設(shè)為0或NULL。如果你不需要更改這個sound實例，或者這個聲音很短(不循環(huán))，就可以省去它。例如：
result = system->playSound(FMOD_CHANNEL_FREE, sound, false, 0);
ERRCHECK(result);
. 可以在開始播放時暫停，這樣就可以更改聲音的屬性而不會被用戶聽見，這就是“paused”參數(shù)的用處所在。例如，如果你將paused設(shè)為true，再設(shè)置音量為0.5，然后解除暫停，此時聲音就會一一般的音量播放。但如果你是將paused設(shè)為false，而其它操作相同的話，你會聽見聲音開始時瞬間是全音量播放的，用戶可不希望聽到。
result = system->playSound(FMOD_CHANNEL_FREE, sound, true,
&channel);
ERRCHECK(result);
// 暫停時設(shè)定音量
result = channel->setVolume(0.5f);
ERRCHECK(result);
// 聲音從這里才開始播放
result = channel->setPaused(false);
ERRCHECK(result);
. 一個“channel”就是一個聲音的實例。一個聲音你可以同時播放多次，每次播放都會得到一個新的channel句柄,但stream除外，它只能同時播放一次，如果你嘗試多次播放，只會重復(fù)播放當前stream并返回同上次一樣的channel句柄。這是因為stream只有一個緩沖和一個文件句柄。要同時播放兩個stream就必須打開兩次再播放兩次。
. 始終使用FMOD_CHANNEL_FREE。FMOD會使用通道管理器自動為你選擇一個未使用的channel。如果希望使用一個現(xiàn)有的channel來播放，就使用FMOD_CHANNEL_REUSE標記，這樣可以避免每次調(diào)用System::playSound函數(shù)都產(chǎn)生一個新的實例。
. 不需要“free”或“release”一個channel句柄。所有的channel都位于你使用System::init所創(chuàng)建的一個pool中。當聲音停止后，channel可以被復(fù)用；如果所有的channel都處于播放狀態(tài)，那么其中一個優(yōu)先級最低的會被搶占。其實只需增大System::init中的通道數(shù)就可以避免發(fā)生這樣的情況。
. 一個channel會在播放結(jié)束時即刻失效。這意味著你不能再對其進行更改，即使做了也沒有實際意義，因為它不可能再播放了。絕大多數(shù)情況下，引用一個已失效的channel會導(dǎo)致一個FMOD_ERR_INVALID_HANDLE錯誤。
Update. (This is important!)
在每一幀中調(diào)用System::update函數(shù)是很重要的，但不需要多次調(diào)用，那樣只會影響效率。
該函數(shù)用于更新FMOD Ex的以下內(nèi)容：
. Platform specific routines 例如向PS2的IOP發(fā)送一個frame
command packet。在這個平臺上，不調(diào)用update的話就聽不到聲音。
. Virtual voice emulation 不調(diào)用update，虛擬聲音就不會播放。
. 3D voice calculation 如果不調(diào)用update，就算channel或listener已經(jīng)正確設(shè)置，也無法聽到聲音移動的3D音效。
. Geometry engine FMOD的polygon/geometry引擎需要通過update來啟用。否則用戶定義的occlusion/obstruction特性將無法呈現(xiàn)。
. Non realtime output FMOD_OUTPUTTYPE_NOSOUND_NRT和FMOD_OUTPUTTYPE_WAVWRITER_NRT標記需要此函數(shù)才能更新到輸出(如用FMOD_OUTPUTTYPE_WAVWRITER_NRT寫出到文件)。
. Streaming engine 如果指定了FMOD_INIT_STREAM_FROM_UPDATE標記，如果用戶希望在主線程中自己驅(qū)動流引擎，就必須有規(guī)律地調(diào)用update，否則會導(dǎo)致抖動和緩沖溢出。
關(guān)閉
調(diào)用System::release函數(shù)來關(guān)閉輸出設(shè)備并釋放對象關(guān)聯(lián)的內(nèi)存。
你不必人工關(guān)閉channel和sound，這些都在System::release中自動完成。
當然，你也可以手動關(guān)閉它們，這是個很好的編程練習(雖然是多余的)。
如果你要釋放system對象就不需要調(diào)用System::close函數(shù)了，在System::release中已經(jīng)包含了對System::close的調(diào)用。
資源使用配制
在程序開發(fā)中，一些開發(fā)人員希望和其它程序一樣用自己的函數(shù)來訪問所有的磁盤或內(nèi)存。
在FMOD Ex中你可以通過System::setFileSystem函數(shù)來設(shè)置FMOD文件系統(tǒng)使你自己的文件程序。
要讓FMOD使用你的內(nèi)存系統(tǒng)，或?qū)?span lang="EN-US">FMOD限制在一個內(nèi)存塊中，使用Memory_Initialize。
注意! 在Xbox和XBox 360中，必須給FMOD提供一個塊內(nèi)存。Xbox 360上必須使用XPhysicalAlloc來分配這塊內(nèi)存。更多參見"Platform specific issues"。