1 曖昧性の種類

1.1 語彙的曖昧性

語彙的曖昧性は、単一の語形が複数の意味を持つことによって生じる。言語の基本的な多義性に起因し、解消には文脈情報が不可欠である。

1.1.1 同音異義語

同音異義語は、発音や表記が同じでありながら、語源や意味が全く異なる語を指す。例として「くも」(雲/蜘蛛)が挙げられる。これらの語は文脈がなければ意味を特定できない。

1.1.2 多義語

多義語は、一つの語が関連性のある複数の意味を持つ場合である。「頭」(かしら/あたま/長)のように、語源的に派生した意味が存在する。同音異義語と異なり、意味間に関連性があることが特徴である。

1.1.3 指示語の曖昧性

指示語(代名詞や指示詞)が指す対象が文脈で一意に定まらない現象を指す。「彼がそれを渡した」という文では「彼」や「それ」の指示対象が複数考えられる場合がある。

1.2 構文的曖昧性

構文的曖昧性は、文の構造が複数の解釈を許すために生じる。単語の並びや係り受けの関係が一意でない場合に発生する。

1.2.1 係り受けの曖昧性

係り受け関係が複数解釈できる場合を指す。「美しい花の絵」では、「美しい」が「花」にかかるか「絵」にかかるかが曖昧である。構文解析の主要な問題の一つである。

1.2.2 句構造の曖昧性

句全体の統語構造が複数存在する場合を示す。「I saw a man with a telescope」は、「望遠鏡を持った男を見た」と「望遠鏡で男を見た」の2通りの解釈が可能である。

1.3 語用論的曖昧性

語用論的曖昧性は、発話の意図や文脈上の解釈が一意に定まらない状況を指す。話し手の意図背景知識が関与する。

1.3.1 含意の曖昧性

発話の字義通りの意味から推論される含意(暗黙の意味)が複数存在する場合である。「窓を開けてくれないか」は、依頼と疑問の両方に解釈できる。

1.3.2 照応の曖昧性

前後の文脈にある名詞句や事象を指す表現(照応表現)が複数の候補を持ちうる現象である。「太郎は花子に会った。彼女は嬉しそうだった」における「彼女」が太郎か花子か(文脈上は花子)が、機械的には曖昧になりうる。

2 解消手法の基礎

2.1 知識ベース手法

事前に構築された言語知識や世界知識を利用して曖昧性を解消する手法。解釈の選択肢を知識ベースと照合して絞り込む。

2.1.1 辞書・シソーラス

語義の定義や類義語・上位語・下位語の関係を記述した辞書やシソーラスを用いる。例えば、WordNetのような語彙データベースを参照し、文脈と最も適合する語義を選択する。

2.1.2 オントロジー

概念間の関係を体系的に定義したオントロジー(例:DBpedia、ConceptNet)を利用する。単語をオントロジー上のノードにマッピングし、ドメイン知識に基づいて一貫した解釈を導く。

2.2 統計的手法

大規模なコーパスから統計的なパターンを学習し、曖昧性を確率的に解消する手法。

2.2.1 教師あり学習

人手で曖昧性が解消されたデータセット(アノテーション済みコーパス)を用い、特徴量に基づいて分類器を訓練する。代表的なアルゴリズムにナイーブベイズ、サポートベクターマシンなどがある。

2.2.2 教師なし学習

アノテーションなしのコーパスから、単語の共起パターンやクラスタリングを利用して語義を自動的に区別する手法。語義の数を事前に与える必要がある場合と、自動決定する場合がある。

2.2.3 半教師あり学習

少数のラベル付きデータと大量のラベルなしデータを組み合わせて学習する手法。自己学習や協調学習を用いて、ラベルなしデータからも情報を獲得する。

2.3 ニューラルネットワーク手法

深層学習モデルを利用し、文脈の分散表現を獲得することで曖昧性を解消する。

2.3.1 文脈化表現

ELMoやBERT以前の埋め込みWord2VecGloVe)は静的であったが、文脈化表現は単語の周辺文脈に応じてベクトルが変化する。各語義を区別するための強力な特徴量を提供する。

2.3.2 トランスフォーマー型モデル

BERT、RoBERTa、GPTなどのトランスフォーマーモデルは、大規模コーパスで事前学習され、ファインチューニングにより語義曖昧性解消に用いられる。文の全単語間の注意機構により高精度な解消が可能となった。

3 主要な評価とデータセット

3.1 評価指標

曖昧性解消システムの性能を測る基本的な指標。正解ラベルと予測ラベルの比較に基づく。

3.1.1 精度

正しく解消された事例のうち、システムが正解と判定した割合。ただし全事例に対する正解数ではない点に注意。通常はPrecisionとして定義される。

3.1.2 再現率

実際に正解である事例のうち、システムが正しく検出できた割合。Recallと呼ばれる。

3.1.3 F1スコア

精度と再現率の調和平均。両者のバランスを評価するための標準的な指標であり、多くの研究で用いられる。

3.2 代表的なデータセット

曖昧性解消の研究を促進するために構築されたベンチマークデータセット。

3.2.1 SemEval関連

SemEval(Semantic Evaluation)ワークショップで毎年提供されるタスクの一つとして、語義曖昧性解消(WSD)タスクがある。英語だけでなく多言語のデータセットも含まれる。

3.2.2 Senseval関連

SensevalはSemEvalの前身であり、1998年から2004年にかけて開催された語義曖昧性解消評価ワークショップ。英語の他、日本語やイタリア語などのデータセットが存在する。

4 応用分野

4.1 機械翻訳

翻訳元言語の多義語を正しい訳語に変換するために曖昧性解消が不可欠である。例えば、英語の"bank"を日本語に翻訳する際、「銀行」と「堤」のどちらかを文脈から判断する。

4.2 情報検索と知識グラフ

検索クエリの曖昧性を解消し、ユーザーの意図に合致した文書を検索する。知識グラフにおけるエンティティリンキング(entity linking)では、テキスト中の言及を知識ベースの正しいノードに紐付ける。

4.3 対話システムとチャットボット

ユーザーの発話に含まれる曖昧な表現を解消し、適切な応答を生成する。例えば、「東京行きの便を予約したい」の「便」が「飛行機の便」か「バスの便」かを特定する。

4.4 音声認識

音声認識結果(テキスト)に含まれる同音異義語やポリフォニー(複数読み)を、音韻以外の情報(構文や意味)を用いて解消する。日本語では「橋」と「箸」のアクセントが異なるが、テキストのみでは曖昧な場合がある。

5 課題と将来展望

5.1 希少語とゼロショット問題

学習データに出現頻度の低い語や未知の語に対する曖昧性解消が困難である。ゼロショット(訓練時に見たことのない語義を扱う)の性能向上が求められる。

5.2 多言語・クロスリンガル対応

英語中心の研究に比べ、他の言語(特に資源の少ない言語)への適用が進んでいない。多言語間で共有できる知識表現や転移学習の開発が課題である。

5.3 説明可能性と解釈性

ニューラルモデルの判断根拠を人間が理解できる形で提示することが難しい。高い精度を維持しつつ、なぜその語義を選んだかを説明できる手法の研究が進められている。