1 音声信号の基礎
1.1 音声の物理的特徴
音声信号は空気の振動として伝搬する音波であり、その物理的性質は周波数、振幅、位相の三つの基本要素によって記述される。音声は一般に80〜8000Hzの周波数範囲を持つが、電話通信では300〜3400Hzに帯域制限されることが多い。振幅は音の強さ（音圧レベル）を表し、デシベル（dB）単位で測定される。位相は波形の時間的なずれを示す。
1.1.1 時間領域表現
時間領域では、音声信号は時間の関数としての振幅変化として表現される。波形の形状は有声区間（周期的な波形）と無声区間（不規則な波形）で大きく異なり、母音は明瞭な周期性を示す一方、子音（特に摩擦音）はランダム性の高い波形となる。時間領域解析では、ゼロ交差率、短時間エネルギー、自己相関関数などの指標が用いられる。
1.1.2 周波数領域表現
周波数領域では、音声信号を構成する周波数成分の強度分布として表現する。フーリエ変換により時間領域信号を周波数領域に変換すると、音声のスペクトル特性が明らかになる。有声区間では基本周波数（F0）とその倍音（フォルマント）が観測され、フォルマント周波数は声道の形状に依存して母音の識別に重要な役割を果たす。
1.2 音声の生成機構
1.2.1 声道モデル
声道は喉頭から唇までの空気通路であり、咽頭、口腔、鼻腔から構成される。声道の形状変化（舌、顎、唇の動き）により、さまざまな音韻が生成される。声道は長さ約17cmの不均一な音響管としてモデル化でき、その共振特性がフォルマントを決定する。声道断面積関数は音声生成の重要なパラメータであり、MRIやX線撮影により観測可能である。
1.2.2 音源・フィルタモデル
音源・フィルタモデル（Source-Filter Model）は、音声生成を独立した音源とフィルタ（声道）の直列接続として表現する。音源には、声帯振動による周期的パルス列（有声音源）と、狭窄部での乱流による雑音（無声音源）の二種類がある。声道フィルタは音源信号のスペクトル包絡を整形し、最終的な音声波形を生成する。このモデルは線形予測符号化（LPC）やボコーダ方式の理論的基盤となっている。
1.3 ディジタル音声表現
1.3.1 サンプリングと量子化
アナログ音声信号をデジタル化するには、時間軸上のサンプリングと振幅軸上の量子化の二段階が必要である。サンプリングは一定時間間隔で信号値を抽出する操作であり、量子化は抽出された値を離散的な数値に丸める操作である。標準的な電話品質では8kHzサンプリング、8ビット量子化（64kbps）が用いられ、CD品質では44.1kHzサンプリング、16ビット量子化（705.6kbps）が採用される。
1.3.2 標本化定理と折り返し雑音
標本化定理（ナイキスト定理）は、サンプリング周波数が信号の最高周波数の2倍以上である必要があることを示す。この条件を満たさない場合、高周波成分が低周波成分に折り返される折り返し雑音（エイリアシング）が発生する。折り返し雑音を防ぐため、サンプリング前にアナログローパスフィルタ（アンチエイリアシングフィルタ）で帯域制限を行うことが必須である。
2 音声分析と特徴抽出
2.1 短時間フーリエ変換
音声信号は非定常であるため、短時間フーリエ変換（STFT）を用いて時間と周波数の両方の情報を同時に取得する。STFTは信号を短い時間フレーム（通常20〜40ms）に分割し、各フレームに窓関数（ハミング窓など）を適用してフーリエ変換を行う。時間分解能と周波数分解能はトレードオフの関係にあり、窓の長さによって調整される。
2.1.1 スペクトログラム
スペクトログラムはSTFTの結果を可視化したもので、横軸に時間、縦軸に周波数、色や濃淡で振幅強度を表示する。音声分析においてスペクトログラムは「音の指紋」とも呼ばれ、フォルマントの軌跡、基本周波数の変動、過渡的な雑音成分を直感的に観察できる。狭帯域スペクトログラム（長窓）は周波数分解能が高く倍音構造が観察でき、広帯域スペクトログラム（短窓）は時間分解能が高く声帯パルスが見える。
2.1.2 ケプストラム分析
ケプストラムはスペクトルの対数を逆フーリエ変換したもので、音源成分と声道フィルタ成分の分離に用いられる。ケプストラム上では、声道フィルタのスペクトル包絡は低ケフレンシー領域に、基本周波数とその倍音は高ケフレンシー領域に現れるため、リフタリング（フィルタリング）により両者を分離できる。ケプストラム分析はMFCCやピッチ推定の基礎となる。
2.2 線形予測符号化
線形予測符号化（LPC）は、音声サンプルが過去のサンプルの線形結合で近似できるという仮定に基づく。LPC分析では、予測誤差の二乗和を最小化する線形予測係数を計算する。この係数は声道の共振特性を表現し、音声符号化や認識において特徴量として利用される。
2.2.1 LPC係数
LPC係数（線形予測係数）は、現在のサンプルをp個の過去のサンプルから予測する際の重み係数である。次数pは通常8〜16が用いられ、pが大きいほど声道モデルの精度が向上する。LPC係数からフォルマント周波数を推定することも可能であり、ピークピッキング法により共振周波数を求める。ただし、LPC係数は量子化誤差に敏感であるため、伝送時には他の表現形式に変換されることが多い。
2.2.2 PARCOR係数
PARCOR（Partial Correlation）係数はLPC係数を等価変換したもので、偏自己相関係数とも呼ばれる。PARCOR係数は-1から1の範囲に収まり、量子化や安定性の判定に適している。LPC係数と比較して、PARCOR係数は量子化誤差に対するロバスト性が高く、格子型フィルタの実装とも整合性が良い。
2.3 メル周波数ケプストラム係数
2.3.1 メル尺度変換
メル尺度（Mel Scale）は人間の聴覚特性に基づく周波数尺度であり、低周波数領域で高分解能、高周波数領域で低分解能となるように設計されている。メル周波数は以下の式で近似される：Mel(f)=2595×log10(1+f/700)。この変換により、聴覚的に等間隔と感じられる周波数帯域（メルフィルタバンク）が構成される。
2.3.2 MFCCの計算手順
メル周波数ケプストラム係数（MFCC）の計算手順は以下の通りである：(1)音声信号を短時間フレームに分割し、窓関数を適用する。(2)各フレームに対してFFTを実行する。(3)パワースペクトルを計算する。(4)メルフィルタバンク（通常20〜40チャネル）を適用して対数エネルギーの和を算出する。(5)離散コサイン変換（DCT）を適用して最終的な係数列を得る。通常、12〜13次元のMFCCが用いられ、動的特徴量（差分係数）も合わせて使用される。
2.4 ピッチ推定
ピッチ（基本周波数）は有声区間における声帯振動の周波数であり、韻律情報の基本要素である。ピッチ推定は音声分析の重要なタスクであり、話者の性別や感情状態の推定、音声合成における韻律制御に利用される。
2.4.1 自己相関法
自己相関法は、信号とその時間シフト版との相関を計算し、ピーク位置から基本周期を求める方法である。自己相関関数は周期成分に対して強いピークを示すが、有声区間では基本周期の整数倍にもピークが現れるため、ピーク選択には注意が必要である。計算効率のため、短時間フレーム内の平均振幅差関数（AMDF）や正規化相互相関関数（NCCF）のバリエーションも用いられる。
2.4.2 ケプストラム法
ケプストラム法では、ケプストラム上の高ケフレンシー領域に現れるピークの位置から基本周期を推定する。この方法は声道フィルタの影響を受けにくく、比較的ロバストな推定が可能である。ただし、短い分析フレームでは周波数分解能が不足し、低ピッチ（男性話者など）の推定精度が低下する傾向がある。
3 音声符号化
3.1 波形符号化
波形符号化は、音声波形をそのままの形でデジタル表現する方式である。目標は波形の忠実な再現であり、ビットレートに応じて品質が向上する。
3.1.1 パルス符号変調
パルス符号変調（PCM）は最も基本的な波形符号化方式であり、アナログ音声をサンプリングし、各サンプルを量子化してデジタル値に変換する。電話品質ではG.711規格（8kHz、8ビット、μ-lawまたはA-law圧伸）が標準であり、CD品質ではリニアPCM（44.1kHz、16ビット）が用いられる。PCMは非圧縮であるため、品質は高いがビットレートも高い。
3.1.2 適応差分PCM
適応差分PCM（ADPCM）は隣接サンプル間の差分を量子化する方式であり、PCMより低ビットレート（32kbpsなど）で同等の品質を実現する。量子化ステップサイズを信号の振幅に応じて適応的に変化させることで、広いダイナミックレンジに対応する。ITU-T G.726規格が代表例であり、16〜40kbpsのビットレートをサポートする。
3.2 パラメトリック符号化
パラメトリック符号化は、音声生成モデル（音源・フィルタモデル）に基づいて少数のパラメータで音声を表現する方式である。極低ビットレート（2〜4kbps）での音声伝送を可能にするが、波形品質は波形符号化に劣る。
3.2.1 ボコーダ方式
ボコーダ（Voice Coder）は、音声を音源情報（有声/無声判定、ピッチ）と声道情報（スペクトル包絡）に分離して符号化する。チャネルボコーダはフィルタバンクでスペクトルを分析し、各帯域のエネルギーを符号化する。ホルマントボコーダはフォルマント周波数を直接抽出して符号化する。いずれも合成音は機械的な品質となるが、非常に低いビットレート（数百bps〜数kbps）を実現する。
3.2.2 混合励振線形予測
混合励振線形予測（MELP）は、従来のLPCボコーダに複数の励振源（周期パルス、雑音、およびそれらの混合）を導入することで、自然性を向上させた方式である。MELPは米国国防総省の標準方式（MIL-STD-3005）として2.4kbpsで動作し、雑音環境下でも比較的良好な品質を維持する。
3.3 ハイブリッド符号化
ハイブリッド符号化は波形符号化とパラメトリック符号化の利点を組み合わせた方式であり、中ビットレート（4〜16kbps）で高い音質を実現する。分析合成（Analysis-by-Synthesis）の枠組みを採用し、符号化側で合成された信号と原信号との誤差を最小化する。
3.3.1 CELP符号化
符号励振線形予測（CELP）は、コードブックに格納された励振ベクトルから最適なものを選択し、LPC合成フィルタを通して音声を再現する方式である。分析合成ループにおいて、各励振ベクトルの重み付け合成誤差を計算し、最も誤差の小さいベクトルのインデックスとゲインを符号化する。CELPはGSM（13kbps）やITU-T G.728（16kbps）などで採用され、広く普及した。
3.3.2 AMR符号化
適応マルチレート（AMR）符号化は、複数のビットレート（4.75〜12.2kbps）を選択可能なCELPベースの方式であり、3GPPで標準化された。チャネル状態に応じてビットレートを動的に切り替えることで、限られた帯域を効率的に利用する。AMR-WB（Wideband、16kHzサンプリング）は広帯域音声に対応し、高品質な通話を実現する。
3.4 低ビットレート符号化の応用
3.4.1 携帯電話音声コーデック
携帯電話では限られた無線帯域を効率的に利用するため、低ビットレート音声コーデックが不可欠である。2GではGSM HR（Half Rate、5.6kbps）やEFR（Enhanced Full Rate、12.2kbps）、3GではAMR、4G/5GではEVS（Enhanced Voice Services）が標準化されている。EVSはWB（16kHz）とSWB（Super Wideband、32kHz）をサポートし、音楽信号にも対応する。
3.4.2 VoIP向けコーデック
VoIP（Voice over IP）では、インターネット経由での音声伝送に適したコーデックが用いられる。オープンソースのOpus（6〜510kbps）は、音声と音楽の両方に優れた品質を提供し、WebRTCで標準採用されている。iLBC（Internet Low Bitrate Codec、13.33/15.2kbps）はパケット損失耐性に優れ、Skypeの初期バージョンで使用された。Speexはノイズ低減機能を内蔵したオープンソースコーデックである。
4 音声認識
4.1 認識の枠組み
音声認識システムは、音声信号をテキストに変換する処理を行う。一般的な枠組みは、音響モデル（音響的特徴と言語単位の対応）、言語モデル（単語列の確率和）、デコーディング（最適な単語列の探索）の三つの主要コンポーネントから構成される。
4.1.1 音響モデル
音響モデルは、音声信号の特徴量と音素やサブワード単位との対応関係を統計的に表現する。従来は隠れマルコフモデル（HMM）とガウス混合モデル（GMM）の組み合わせが主流であったが、現在では深層ニューラルネットワーク（DNN）が標準となっている。音響モデルの訓練には、大量のラベル付き音声データ（音声とその書き起こし文のペア）が必要である。
4.1.2 言語モデル
言語モデルは、ある単語列が言語としてどの程度自然であるかを確率で表現する。n-gramモデル（直前のn-1個の単語から次の単語の出現確率を推定）が長年使用されてきたが、近年はTransformerベースの大規模言語モデル（LLM）が高精度を実現している。言語モデルは語彙に含まれない未知語（OOV）への対処や、特定ドメインへの適応が課題となる。
4.1.3 デコーディング
デコーディングは、音響モデルと言語モデルのスコアを統合し、与えられた音声に対して最も確率の高い単語列を探索するプロセスである。ビームサーチ（Beam Search）が一般的な手法であり、各タイムステップで確率の高い上位N個の仮説（ビーム）を保持しながら探索を進める。WFST（Weighted Finite State Transducer）を用いた効率的なデコーディングも広く実装されている。
4.2 隠れマルコフモデル
隠れマルコフモデル（HMM）は、観測系列の背後に隠れた状態系列がマルコフ過程に従うという確率モデルである。音声認識では、各状態が音素の一部（サブフォニック単位）に対応し、状態遷移確率と出力確率（観測確率）を学習する。
4.2.1 前向き・後ろ向きアルゴリズム
前向きアルゴリズムは、観測系列が与えられたとき、各時刻における各状態の前向き確率（部分観測系列と現在状態の同時確率）を計算する。後ろ向きアルゴリズムは、各時刻における各状態の後ろ向き確率（残りの観測系列の確率）を計算する。これらのアルゴリズムは、HMMパラメータの学習（Baum-Welchアルゴリズム）の基盤となる。
4.2.2 ビタビアルゴリズム
ビタビアルゴリズムは、観測系列に対して最尤状態系列（最も確率の高い隠れ状態の経路）を動的計画法により効率的に求める手法である。音声認識では、デコーディングにおいて単語境界を含む最適な状態遷移経路を探索するために使用される。ビタビアルゴリズムは前向きアルゴリズムと同様の計算構造を持つが、総和ではなく最大値の伝播を行う点が異なる。
4.3 深層学習ベースの手法
4.3.1 コネクショニスト時間分類
コネクショニスト時間分類（CTC）は、入力音声系列と出力ラベル系列の長さが異なる問題を解決するための手法である。CTCはブランクラベルを含む出力ラベルの全可能なアライメントを考慮し、総確率の最大化によりネットワークを訓練する。RNN（LSTM）やTransformerと組み合わせて用いられ、音声認識のエンドツーエンド学習を実現する。
4.3.2 エンドツーエンド認識
エンドツーエンド音声認識は、音響モデル、発音辞書、言語モデルを統合した単一のニューラルネットワークで認識を行う。主なアーキテクチャとして、CTCベースのモデル、RNNトランスデューサ（RNN-T）、注意機構付きエンコーダデコーダ（Listen, Attend and Spell）が挙げられる。これらのモデルは中間表現を介さずに音声から直接テキストを生成するため、システム全体の最適化が容易である。
4.4 話者適応と雑音下認識
4.4.1 マルチスタイル学習
マルチスタイル学習（Multi-Style Training）は、様々な雑音環境や話者特性を含む多様な訓練データを用いて、ロバストな認識モデルを構築する手法である。データ拡張技術（雑音重畳、声道長摂動、音量変動など）により、限られたクリーン音声データから擬似的な多様性を生成する。これにより、実環境での認識性能が大幅に向上する。
4.4.2 ビームフォーミング
ビームフォーミングは、複数のマイクロホンからの信号を位相制御により合成し、特定方向からの音声を強調する技術である。遅延和ビームフォーマ（Delay-and-Sum）は最も基本的な方式であり、目的方向への感度を最大化する。適応ビームフォーミング（GSC、MVDRなど）は、環境騒音をリアルタイムで推定・抑圧する。これらの前処理により、雑音環境下での認識精度が改善される。
5 音声合成
5.1 波形接続合成
波形接続合成は、あらかじめ録音された実際の音声波形を接続して目的の音声を生成する方式である。自然な音質が得られるが、大規模な音声データベースが必要であり、柔軟性に欠ける。
5.1.1 単位選択法
単位選択法（Unit Selection）は、大規模な音声コーパスから最適な音声単位（音素、二音素、半音節など）を選択し接続する方式である。選択基準は、ターゲットコスト（目的の音響特性との一致度）と接続コスト（接続点での不連続性の評価）の重み付き和で定義される。高品質な合成音が得られる一方、コーパスにない表現（感情やスタイル）の生成は難しい。
5.1.2 PSOLA方式
PSOLA（Pitch Synchronous Overlap and Add）は、時間領域でのピッチ操作と継続時間操作を可能にする方式である。音声波形をピッチ周期で分割し、各セグメントを台形窓で重畳加算することで、ピッチの変更（声の高さの調整）や時間スケーリング（話速変更）を行う。波形接続合成における韻律調整の標準的な手法であり、多くの商用システムで使用された。
5.2 統計的パラメトリック合成
統計的パラメトリック合成は、音声の音響パラメータを統計モデルで生成し、そのパラメータから音声波形を合成する方式である。波形接続合成に比べて柔軟性が高く、モデルサイズが小さい。
5.2.1 HMMベース合成
HMMベース合成は、音素コンテキスト（前後の音素、アクセント位置など）に依存した音響パラメータの時系列をHMMでモデル化する方式である。訓練時には音声データから抽出したスペクトルパラメータ（MFCCなど）と励振パラメータ（F0、非周期性指標）を学習し、合成時にはHMMから最尤パラメータ系列を生成して波形を再構築する。STRAIGHTボコーダと組み合わせることで、高品質な合成が可能である。
5.2.2 深層学習によるパラメトリック合成
深層学習によるパラメトリック合成は、DNNやRNNを用いてテキスト特徴量から音響パラメータを直接予測する方式である。従来のHMMベース合成を上回る自然性を達成し、特に音素継続時間の予測精度が向上した。TacotronやTacotron2はこの代表的なアーキテクチャであり、注意機構付きのシーケンス・ツー・シーケンスモデルでテキストからメルスペクトログラムを生成する。
5.3 ニューラルボコーダ
ニューラルボコーダは、深層学習を用いて音響パラメータから高品質な音声波形を生成する方式である。従来のボコーダに比べて、より自然でノイズの少ない合成音が得られる。
5.3.1 WaveNet
WaveNetは、Googleが開発した深層ニューラルネットワークベースの波形生成モデルである。自己回帰モデルとして、過去のサンプル値から現在のサンプル値を逐次的に予測する。ダイレーション（拡張）畳み込みを用いた大きな受容野により、長距離の音響依存性をモデル化できる。高い音質を実現するが、逐次生成のためリアルタイム処理には適さない。
5.3.2 HiFi-GAN
HiFi-GANは、生成的対抗ネットワーク（GAN）を用いた高品質なニューラルボコーダである。マルチスケールおよびマルチピリオドの判別器を導入することで、高周波数成分の詳細な再現を実現する。WaveNetに比べて高速な生成が可能であり、リアルタイム音声合成システムに適している。多くの音声合成フレームワークで標準的なボコーダとして採用されている。
5.4 感情音声合成とスタイル変換
5.4.1 韻律制御
韻律制御は、ピッチパターン、継続時間、振幅の動的変化を調整することで、音声の感情表現や意図を操作する技術である。感情音声合成では、怒り、喜び、悲しみなどの基本感情に対応する韻律パラメータをモデル化する。統計的アプローチでは、感情ラベル付きデータを用いて感情別の韻律モデルを構築し、合成時に遷移を制御する。
5.4.2 スタイル埋め込み
スタイル埋め込みは、音声の話者特性や発話スタイルを低次元のベクトル表現としてネットワークに組み込む手法である。グローバルスタイルトークン（GST）は、参照音声から抽出したスタイル情報を注意機構により重み付けして合成音声に反映する。これにより、少ないデータからでも多様な発話スタイル（朗読調、会話調、感情表現など）の制御が可能となる。
6 音声強調とノイズ低減
6.1 スペクトルサブトラクション
6.1.1 基本原理
スペクトルサブトラクションは、雑音のスペクトル特性が定常的であるという仮定に基づき、観測信号のパワースペクトルから雑音スペクトルの推定値を減算する手法である。雑音推定は無音区間の平均スペクトルから行い、減算後のスペクトルに位相情報（観測信号の位相）を適用して時間波形を再構成する。実装が簡単で効果的なため、古くから広く使用されている。
6.1.2 音楽ノイズ問題
スペクトルサブトラクションの主な問題は、減算処理により生じる残留雑音（「音楽ノイズ」と呼ばれる断続的な人工的な音）である。これはスペクトル推定の誤差が原因であり、特に低SNR環境で顕著となる。対策として、フロアリング処理（減算結果の負値を小さな正の値に置き換える）、スペクトル平滑化、非線形減算関数の導入などが提案されている。
6.2 ウィーナーフィルタ
6.2.1 線形最小平均二乗誤差
ウィーナーフィルタは、所望信号とフィルタ出力の平均二乗誤差を最小化する線形フィルタである。周波数領域では、信号のパワースペクトルと雑音のパワースペクトルの比に基づいてゲインが決定される。ウィーナーフィルタは理論的に最適なフィルタであるが、信号と雑音の統計的性質が既知であることが必要であり、実用上は推定値に基づく近似フィルタが用いられる。
6.2.2 非定常雑音への拡張
実環境の雑音は時間的に変動する非定常雑音であることが多い。ウィーナーフィルタを非定常雑音に適用するため、雑音の時間変動を追跡する手法（逐次的な雑音パワースペクトル推定）や、事前SNR（Signal-to-Noise Ratio）の推定方法の改善（決定的事前SNR推定など）が開発されている。レカージ（漏れ）係数を導入した適応型ウィーナーフィルタも広く使用される。
6.3 深層学習による雑音除去
6.3.1 DNNベースのマスキング
深層ニューラルネットワーク（DNN）を用いた雑音除去では、音声信号の時間周波数表現（スペクトログラム）上の各セルに対して、音声成分の割合を推定するマスキング手法が主流である。理想的な二値マスク（IBM）や理想的な比率マスク（IRM）を目標とし、DNNが観測信号の特徴からマスク値を予測する。Wave-U-Netのようなエンコーダデコーダ構造も有効である。
6.3.2 生成的対抗ネットワークの応用
生成的対抗ネットワーク（GAN）を用いた雑音除去は、生成器が雑音除去音声を生成し、判別器がクリーン音声と雑音除去音声を識別するという枠組みで学習する。これにより、従来の二乗誤差最小化では再現が難しい高周波数の微細構造や過渡成分の復元が改善される。条件付きGAN（cGAN）の枠組みや、マルチスケール判別器の導入により、高品質な雑音除去が実現されている。
6.4 マイクロホンアレイ処理
6.4.1 ビームフォーミング
ビームフォーミングは、複数のマイクロホンで収録した信号を適切に遅延・重み付けして加算することで、特定方向からの音声を強調し、他の方向からの干渉音を抑圧する技術である。固定ビームフォーミング（遅延和法）に加え、適応ビームフォーミング（Frostアルゴリズム、MVDR、GSCなど）が開発されている。近年では、深層学習とビームフォーミングを統合したニューラルビームフォーミングも研究されている。
6.4.2 独立成分分析による分離
独立成分分析（ICA）は、複数のマイクロホンで観測された混合信号から、統計的独立性を仮定して元の音源信号を分離する手法である。音声分離の文脈では、周波数領域ICAが一般的であり、各周波数ビンで独立にICAを適用した後、周波数間のパーミュテーション問題を解決する。補助関数型ICA（AuxIVA）は収束の安定性が改善された手法として知られる。
7 応用分野と動向
7.1 遠隔通信とVoIP
7.1.1 音声パケット損失補償
IPネットワーク上の音声通信では、パケット損失が音質劣化の主要因となる。パケット損失補償（PLC）技術には、欠落パケットを直前のパケットで置き換える単純な繰り返し法、波形パターンの周期性を利用して欠落部分を補間する波形補間法、コーデックと連携した隠蔽処理（G.711標準PLCなど）が含まれる。深層学習を用いたPLCも開発されており、従来手法を上回る品質を達成している。
7.1.2 エコーキャンセレーション
通信回線のインピーダンス不整合やスピーカー・マイクロホン間の音響結合により、自分の声が遅延して戻ってくるエコーが発生する。適応フィルタを用いたエコーキャンセラは、受信信号（参照信号）