Audio Clip の Load Typeはデフォルトだと"Decompress On Load"なんですが，
これはメモリ消費の点で非常にまずい設定になっています．

Audio Clip の Load Type

ランタイム時に音声をどのように読み込むかの設定です．

docs.unity3d.com

Decompress On Load

オーディオファイルは読み込まれるとすぐに展開されます。サイズの小さい圧縮サウンドにこのオプションを使えば、その場での展開に伴うパフォーマンスのオーバーヘッドを防ぐことができます。ただし、Vorbis でエンコードされたサウンドを読み込み時に展開すると、圧縮されたままの場合の10倍程（ADPCM エンコーディングでは約3.5倍）のメモリーを使用するので、サイズの大きいファイルにはこのオプションを使用しないでください。

この設定，実は結構メモリを食います．圧縮しない状態で読み込んでいるためです．
しかし，何故かこれがデフォルト設定になってます．これからは以下のどちらかの設定にするとよい感じです．

Compressed In Memory

サウンドはメモリ中では圧縮されたままで、再生中に展開されます。このオプションは若干のパフォーマンスオーバーヘッドが発生します（特に Ogg/Vorbis 圧縮ファイルの場合）ので、メモリー使用量が大きすぎて読み込み時に展開できないファイルにのみに使用してください。展開はミキサースレッドで行われ、Profiler ウィンドウ内の Audio ペインにある “DSP CPU” のセクションでモニタリングできます。

圧縮状態でメモリ読込を行うので，メモリ消費は少ないです．SFXは殆どこの設定にする．

Streaming

サウンドをその場でデコードします。この方式では、圧縮データのバッファーのための使用メモリーが最小限に抑えられます。データはディスクから段階的に読み込まれて必要に応じてデコードされます。展開は別のストリーミングスレッドで行われますが、その CPU 使用量は Pofiler ウィンドウ内の Audio ペインにある “Streaming CPU” のセクションでモニタリングできます。

ロードしながら再生を行っている（ストリーミング）ため，メモリはあまり使わない．BGMはこの設定推奨．