1 音声の物理的性質
1.1 音波の基本的特性
1.1.1 周波数と振幅
音波は縦波であり、媒質の粒子が振動方向に粗密を繰り返しながら伝播する。周波数は1秒間あたりの振動回数を示し、ヘルツ(Hz)で表される。人間の可聴周波数範囲は一般的に20Hzから20kHzである。振幅は媒質粒子の変位の大きさを表し、音の大きさに直接関係する。
1.1.2 波形とスペクトル
音波の波形は時間領域における圧力変動の形状である。純音は正弦波として表されるが、実際の音声は複数の周波数成分からなる複合波である。スペクトル解析により、音声信号を周波数成分に分解することができ、フォルマントなどの特徴を抽出できる。
1.1.3 音の強度と音圧レベル
音の強度は単位面積あたりの音響電力で表され、単位はW/m²である。音圧レベル(SPL)は基準音圧(20μPa)に対する比をデシベル(dB)で表現したものである。人間の聴覚閾値は約0dB SPL、痛みの閾値は約120dB SPLである。
1.2 音速と伝搬
1.2.1 媒質の影響
音速は媒質の密度と弾性率に依存する。空気中では約340m/s(20℃)、水中では約1500m/s、鋼中では約5000m/sである。気温が1℃上昇するごとに音速は約0.6m/s増加する。湿度も音速に影響を与え、湿度が高いほど音速はわずかに速くなる。
1.2.2 反射・屈折・回折
音波は障害物に当たると反射し、異なる媒質の境界では屈折する。回折により、音波は障害物の背後にも回り込んで伝播する。これらの現象は室内音響や騒音伝搬の理解に重要である。反射を利用した残響や、屈折による音の遠距離伝搬(気温逆転層)は実用的な応用例である。
1.3 騒音と残響
1.3.1 暗騒音
暗騒音は対象とする音がない状態での周囲の騒音レベルである。空調、交通、電気機器などから発生する。音声伝送品質の評価や録音環境の設定において、暗騒音の管理は重要である。暗騒音が高いと音声の明瞭度が低下する。
1.3.2 残響時間
残響時間は音源が停止した後、音圧レベルが60dB減衰するまでの時間である。残響時間は部屋の容積と吸音率に依存する。適切な残響時間は用途によって異なり、音声通信用の部屋では短め(0.3〜0.6秒)、音楽用では長め(1.0〜2.0秒)に設計される。
2 音声の電気的変換
2.1 電気音響変換器
2.1.1 マイクロホン
2.1.1.1 動電型・コンデンサ型
動電型マイクロホンは振動板に取り付けられたコイルが磁界中で振動し、電磁誘導により電気信号を生成する。堅牢で取扱いが容易であり、高音圧にも耐えられる。コンデンサ型マイクロホンは振動板と固定電極間の静電容量変化を利用する。感度が高く周波数特性が平坦で、特にスタジオ用途で広く使用される。
2.1.1.2 指向特性
指向特性はマイクロホンの入射角度に対する感度の変化を示す。無指向性は全方向に均一な感度を持ち、単一指向性(カーディオイド)は正面方向に最も感度が高く、背面の音を減衰させる。双指向性(8の字型)は正面と背面に感度が高く、側面を減衰する。用途に応じて適切な指向性が選択される。
2.1.2 スピーカ
2.1.2.1 構造と動作原理
スピーカは電気信号を音波に変換する電気音響変換器である。一般的な動電型スピーカは、磁気回路、ボイスコイル、振動板、エッジ、ダンパーで構成される。入力された電気信号がボイスコイルに流れると、磁界中で力が発生し振動板が振動して音波を放射する。
2.1.2.2 周波数特性
スピーカの周波数特性は出力音圧レベルが周波数によって変化する様子を示す。一般に単一のスピーカでは全可聴域をカバーすることは困難であり、ウーハー(低音用)、スコーカー(中音用)、ツイーター(高音用)を組み合わせたマルチウェイシステムが用いられる。クロスオーバーネットワークによって各スピーカに適切な周波数帯域が割り当てられる。
2.2 信号レベルとインピーダンス
音声信号のレベルは通常、電圧で表され、マイクロホンレベル(数mV〜数十mV)、ラインレベル(0.775V〜1.23V)、スピーカレベル(数V〜数十V)に分類される。インピーダンス整合は信号伝送の効率と品質に影響する。低インピーダンス(600Ω以下)の機器はノイズの影響を受けにくく、長距離伝送に適している。
3 デジタル音声処理
3.1 標本化と量子化
3.1.1 標本化定理
標本化定理(ナイキスト・シャノンの定理)は、連続時間信号をデジタル信号に変換する際に必要な最小標本化周波数を定める。元の信号の最大周波数の2倍以上の標本化周波数が必要であり、これを満たさない場合エイリアシング歪みが発生する。音声用途では通常8kHz(電話)、44.1kHz(CD)、48kHz(業務用)などが使用される。
3.1.2 量子化ビット数とSN比
量子化ビット数は振幅の分解能を決定する。ビット数が大きいほど量子化誤差が小さくなり、信号対量子化雑音比(SN比)が向上する。理論上のSN比は6.02×ビット数+1.76 dBで表される。電話では8ビット(約50dB)、CDでは16ビット(約98dB)、ハイレゾ音源では24ビット(約146dB)が一般的である。
3.2 音声圧縮技術
3.2.1 可逆圧縮と非可逆圧縮
可逆圧縮(ロスレス圧縮)は元のデータを完全に復元できる圧縮方式であり、FLACやALACが代表例である。非可逆圧縮(ロッシー圧縮)は人間の聴覚特性を利用して知覚的に重要でない情報を削除することで高い圧縮率を実現する。音声通信では非可逆圧縮が広く用いられ、数十分の一から百分の一の圧縮が行われる。
3.2.2 代表的なコーデック
3.2.2.1 PCM
PCM(パルス符号変調)は最も基本的なデジタル音声表現方式である。アナログ信号を一定間隔で標本化し、各標本値を離散的な量子化レベルに対応する符号に変換する。PCMは非圧縮であり、CDやDAT、WAVファイルで使用される。電話回線のG.711規格もPCMの一種である。
3.2.2.2 MP3
MP3(MPEG Audio Layer-3)は1990年代に開発された非可逆圧縮コーデックである。心理音響モデルを用いて聴覚的に重要な周波数成分を優先的に符号化する。128kbpsでCDに近い品質を実現し、音楽配信の普及に大きく貢献した。現在でも広く使用されている。
3.2.2.3 AAC
AAC(Advanced Audio Coding)はMP3の後継として開発された非可逆圧縮コーデックである。MP3と比較して同ビットレートでより高品質な音声が得られる。MPEG-4規格の一部として標準化され、iTunes、YouTube、デジタルラジオなど多くのプラットフォームで採用されている。
3.3 音声信号の分析
3.3.1 時間領域分析
時間領域分析では音声信号の時間的変化を直接観察する。ゼロ交差数、短時間エネルギー、自己相関関数などが基本的な特徴量である。有声/無声の判別や基本周波数(F0)の推定に用いられる。
3.3.2 周波数領域分析
周波数領域分析ではフーリエ変換を用いて音声信号を周波数成分に分解する。短時間フーリエ変換(STFT)により、時間と周波数の両方の情報を得ることができる。フォルマント周波数の抽出や音素認識の基礎となる。
3.3.3 ケプストラム分析
ケプストラム分析は音声信号のスペクトルをさらにフーリエ変換したものである。スペクトルの微細構造(基本周波数成分)とスペクトル包絡(声道特性)を分離することができる。MFCC(メル周波数ケプストラム係数)は音声認識において広く使用される特徴量である。
4 音声の知覚と品質
4.1 聴覚の生理学
4.1.1 外耳・中耳・内耳
外耳は耳介と外耳道からなり、音波を集めて中耳に伝える。中耳は鼓膜と耳小骨(ツチ骨、キヌタ骨、アブミ骨)で構成され、空気の振動を内耳の液体の振動に効率的に変換する。内耳の蝸牛内部には基底板があり、周波数に応じて異なる位置が振動する。有毛細胞が振動を電気信号に変換する。
4.1.2 聴神経と大脳皮質
有毛細胞で変換された電気信号は聴神経を通じて脳幹、中脳、視床を経由し、大脳皮質の一次聴覚野に到達する。聴覚野では周波数、強度、時間的な情報が統合され、音の認識が行われる。左右の耳からの情報は上オリーブ核で比較され、音源定位に利用される。
4.2 聴覚の心理特性
4.2.1 ラウドネスとマスキング
ラウドネスは音の大きさの主観的感覚であり、音圧レベルと周波数に依存する。等ラウドネス曲線(フレッチャー・マンソン曲線)は同じ大きさに感じられる音圧レベルの組み合わせを示す。マスキングはある音(マスカー)が別の音(ターゲット)を聞こえにくくする現象であり、周波数領域での同時マスキングと時間領域での継時マスキングがある。
4.2.2 臨界帯域
臨界帯域は聴覚フィルタの帯域幅を示す概念である。人間の聴覚は周波数軸上で約24の臨界帯域に分割されており、各帯域内の音は独立して処理される。マスキング効果は同じ臨界帯域内で最も強く現れる。心理音響モデルにおける圧縮符号化の基礎となる。
4.2.3 音色とピッチ
ピッチは音の高さの主観的感覚であり、基本周波数に対応する。音色は同じピッチとラウドネスでも異なる音源を区別できる属性であり、スペクトル包絡によって決定される。フォルマント構造は母音の音色を特徴づけ、時間的変化は子音の識別に重要である。
4.3 音声品質評価
4.3.1 主観評価
主観評価は人間の聴取実験による品質評価である。代表的な方法としてMOS(Mean Opinion Score)がある。被験者が音声の品質を1(不良)から5(優良)の5段階で評価し、その平均値を品質指標とする。ACR(Absolute Category Rating)法やDCR(Degradation Category Rating)法などがある。
4.3.2 客観評価
4.3.2.1 PESQ
PESQ(Perceptual Evaluation of Speech Quality)はITU-T勧告P.862で標準化された客観評価手法である。原音と処理音を比較し、聴覚知覚モデルに基づいて品質スコアを算出する。主観評価との相関が高く、音声コーデックや伝送システムの評価に広く用いられる。
4.3.2.2 POLQA
POLQA(Perceptual Objective Listening Quality Assessment)はPESQの後継としてITU-T勧告P.863で標準化された評価手法である。超広帯域音声や高ノイズ環境での評価精度が向上している。最新の音声通信システムの品質評価に適している。
5 通信技術における応用
5.1 電話システム
5.1.1 アナログ電話
アナログ電話システムでは音声信号をそのまま電気信号に変換し、銅線を通じて伝送する。PSTN(公衆交換電話網)では300Hz〜3400Hzの帯域を音声伝送に割り当てている。交換機による回線交換方式で通信回線を占有するため、高品質な通信が保証されるが、回線利用効率は低い。
5.1.2 デジタル電話
デジタル電話システムでは音声信号をデジタル信号に変換し、ISDN(統合サービスデジタル網)や携帯電話網で伝送する。PCMによる標本化と非可逆圧縮コーデック(AMR、EVRCなど)の使用により、限られた帯域で効率的な通信が可能となる。デジタル化により誤り訂正や暗号化も容易に行える。
5.2 VoIP
5.2.1 プロトコル
VoIP(Voice over IP)はインターネットプロトコルを用いて音声通信を行う技術である。シグナリングプロトコルとしてSIP(Session Initiation Protocol)やH.323が使用される。音声データの転送にはRTP(Real-time Transport Protocol)が用いられ、RTCP(Real-time Transport Control Protocol)が品質管理を担当する。コーデックとしてはG.711、G.729、Opusなどが一般的である。
5.2.2 品質保証
VoIPの品質はパケット損失、遅延、ジッターによって影響を受ける。QoS(Quality of Service)技術としてDiffServやRSVPが用いられ、音声パケットに優先的な帯域割り当てを行う。バッファリングによりジッターを吸収し、FEC(前方誤り訂正)やPLC(パケット損失補完)によりパケット損失に対処する。一般的に片方向遅延150ms以下、パケット損失1%以下が良好な品質の目安である。
5.3 音声認識
5.3.1 隠れマルコフモデル
隠れマルコフモデル(HMM)は従来の音声認識システムの中核技術である。音声信号を短時間フレームに分割し、各フレームから抽出した特徴量をHMMでモデル化する。HMMは音素の時間的変動を確率的に表現でき、ビタビアルゴリズムにより最適な単語列を探索する。混合ガウスモデル(GMM)と組み合わせたGMM-HMMが標準的な手法であった。
5.3.2 ディープラーニング
ディープラーニングにより音声認識の性能は大幅に向上した。DNN(深層ニューラルネットワーク)が従来のGMMに代わり、音響モデルとして使用される。さらに、LSTM(長期短期記憶)やTransformerなどの系列モデルが時間的依存関係を効果的にモデル化する。エンドツーエンドモデル(CTC、RNN-T、Attention)では、音響モデルと言語モデルを統合した学習が可能となっている。
5.4 音声合成
5.4.1 波形接続合成
波形接続合成は録音された音声波形の断片(ダイフォンやトライフォン)を接続して音声を生成する手法である。高い自然性が得られるが、大規模な音声データベースが必要である。PSOLA(Pitch Synchronous Overlap and Add)により基本周波数や継続時間の制御が可能である。ユニット選択合成は最適な波形断片を選択する手法である。
5.4.2 統計的パラメトリック合成
統計的パラメトリック合成はHMMなどの統計モデルを用いて音声パラメータ(スペクトル、基本周波数、継続時間)を生成し、そのパラメータから音声波形を合成する手法である。少ないデータ量で柔軟な音声生成が可能だが、自然性に課題があった。STRAIGHTやWORLDなどの分析合成モデルが使用される。
5.4.3 ニューラルネットワーク合成
ニューラルネットワーク合成は深層学習を用いた音声合成手法である。WaveNetは自己回帰型のニューラルネットワークにより生波形を直接生成し、高い自然性を実現した。TacotronやFastSpeechはテキストから音声特徴量への変換を学習する。さらに、End-to-End型モデル(Text-to-Wave)も開発されている。近年では少数話者データからの適応や多様な感情表現も可能となっている。