1 質問設計の目的と基本原則
質問設計とは、調査・面接・アンケート・ユーザーテスト等の場面で、回答者から必要な情報を引き出すための「問い」を体系的に組み立てることである。文言、形式、順序、選択肢、回収方法までを一つの設計対象として扱い、場当たり的な作問を避ける。
1.1 測定したい概念の明確化
まず、測定対象となる概念を言語化し、何をどの性質として捉えるのかを定義する。概念の定義は、理論的背景(何を表す指標か)と実務的要件(どの判断や行動に利用するか)の両方に結び付けるとブレが減る。併せて、関連概念との境界も整理し、別の性質を誤って同じ質問で測らないようにする。
1.2 信頼性と妥当性の考え方
信頼性は、測定結果が状況や偶然の影響で大きく変わらない程度を指す。妥当性は、質問が意図した概念を実際に測れているかどうかを表す。質問設計では、読み取りのばらつき、解釈の多様化、回答負担による途中離脱といった要因が信頼性・妥当性を損ねる経路を特定し、文言や手順で抑制することが求められる。
1.3 回答負担と可用性の両立
回答負担は、手間や心理的負荷(記憶想起の難しさ、判断コストなど)によって増える。設計上は、必要十分な精度を維持しつつ、回答完了までの導線を確保することが重要である。可用性の観点では、回答者が迷わず進められることに加え、運用側が回収後に分析できる形でデータが得られることも含む。
2 質問の形式と構成要素
質問は、文としての設計と、回答データとしての設計が結び付いて初めて機能する。形式は尺度の種類や選択肢の構造に影響し、順序は回答への準備状態や先行情報の影響を左右する。
2.1 質問文の設計
質問文の良否は、内容の正確さだけでなく、理解プロセスの設計によっても決まる。回答者が最初に読む文、途中で解釈する要素、回答を確定する際の参照点を見通し、構造を明確にする。
2.1.1 文の長さと読みやすさ
文は短く、情報は過不足なく配置する。長文化は、読解負荷の増加だけでなく、どの条件を満たすかの見落としを誘発しやすい。句読点や箇条書きによる分割も有効だが、過度な断片化は文脈喪失を招くためバランスを取る。
2.1.1.1 用語選択と専門度の調整
専門用語は、対象者の知識水準に合わせて調整する。専門度を上げる場合は定義や補足を添え、一般語に置き換える場合はニュアンスの差が概念測定に影響しないよう注意する。特に、同じ語が分野ごとに別の意味で用いられる場合は、意図した定義に寄せる必要がある。
2.1.2 一意性(解釈のばらつき)への配慮
解釈のばらつきは、曖昧語や主語の省略、基準の不明確さから生じる。例えば「よくある」「十分」「改善」などの評価語は、基準が見えないと回答が人により異なる。基準を数値化できない場合でも、具体例や判断の観点を提示して統一する。
2.1.3 時制・期間指定(いつのことか)
期間指定は、回答の参照点を固定する要である。「最近」や「いつも」のような表現は、個人の想起範囲が異なりやすい。可能であれば「過去3か月」「直近の利用回」など、時間窓を明確にし、面接やテストでは実施時点との対応関係も整理する。
2.2 回答形式(尺度・選択肢)
回答形式は、測定したい性質と分析手段の整合で決める。形式によって得られるデータの性質が変わり、統計処理の可否や解釈の妥当性も左右される。
2.2.1 選択肢の設計(網羅性と相互排他性)
選択肢は、対象範囲を漏れなくカバーし、複数選択が許容されるかどうかも含めて設計する。相互排他性が必要な場面では、カテゴリの境界が重ならないように言語化する。網羅性が必要な場面では、「その他」だけに依存せず、想定外をどのように扱うか(記述欄、詳細分岐)を決める。
2.2.2 評定尺度(順序尺度・間隔尺度の扱い)
評定尺度は、順序として意味があるのか、差の大きさまで扱うのかを区別する。たとえば「まったくそう思わない」から「強くそう思う」へと並ぶ場合、少なくとも順序は保証されることが多いが、間隔の等間隔性は設計と検証次第である。分析方針(平均の解釈、順位比較など)に合わせ、尺度の扱いを慎重に決める。
2.2.3 自由回答の位置づけと使いどころ
自由回答は、選択肢で表現しきれない理由や具体例の収集に向く。設計では、回答者の文章作成負担を踏まえ、求める粒度を示す(短く理由のみ、具体例を一つ、など)。また分析のためのコーディング可能性を考え、後処理で分類しやすい問いの設計に寄せる。
2.3 質問の順序と導入文
順序は、回答者の準備状態を変える。導入文は、答える目的や参照条件を共有し、回答の一貫性を高める。
2.3.1 順序効果とウォームアップ
順序効果とは、先行する質問が後続の回答に影響する現象である。ウォームアップとして軽い質問や一般的な状況確認を置くことで、理解の定着を促せる場合がある。ただし、後続にとって不利な方向づけが生じないよう、導入の内容と順番を検討する。
2.3.2 フィルタ設問(該当者のみ回答)
フィルタ設問は、対象者の条件に合う人だけに次の質問を提示し、無関係な回答を減らす。設計では、分岐条件が明確であり、判定が回答者にとって解釈しやすいことが必要である。誤判定が起きるとサンプルの偏りにつながるため、条件文の明確化が重要になる。
2.3.3 参照情報・説明文の与え方
説明文は、理解の前提を揃えるために用いる。ただし情報過多は読解負荷を増やす。説明は必要最小限にし、質問文のどこを見ればよいかが分かるよう配置する。ユーザーテストでは、画面や手順の提示タイミングを最適化し、参照可能性が損なわれないようにする。
3 バイアスと誤りの予防
質問設計の目的は、単に答えを集めることではなく、誤差や偏りの発生源を制御することにある。以下では、誘導、曖昧さ、回答破綻といった典型的な失敗を扱う。
3.1 誘導・フレーミングの影響
誘導やフレーミングは、回答者が意図せず特定の答え方を選ぶ状況を作る。表現の選択、文の順序、肯定・否定の強調は、判断の枠組みを変えうる。
3.1.1 好ましさバイアスへの対策
好ましさバイアスは、社会的に望ましい回答を選びやすくなる現象である。対策として、評価の言及を避け、中立的な語彙に置換すること、回答の匿名性や利用目的を明確化することが挙げられる。質問の粒度を適切にし、過度な正解探索を生みにくい設計にすることも効果がある。
3.1.2 反対語・否定表現の扱い
否定表現は理解コストを増やし、誤読につながる場合がある。設計では、否定を必要とする理由を吟味し、可能なら肯定形に再構成する。再構成できない場合は強調箇所を明確にし、負荷が高い文脈での連続使用を避ける。
3.2 曖昧さと理解度のばらつき
曖昧さは回答のばらつきを増やす。特に用語の解釈や判断の基準が一致していないと、同じ選択肢でも意味が違うデータが混入する。
3.2.1 用語の具体化と例示
抽象的な語は具体化によって安定する。「収入」でも、税引前か手取りか、「満足」でも評価対象(価格、サービス、対応)を明確にする。例示を加える際は、例が例外的に感じられないよう、典型ケースの提示に寄せると誤解が減る。
3.2.2 集団差(年齢・経験)への配慮
年齢や経験の差は、参照知識や記憶範囲に影響する。設計では、共通に経験しやすい文脈を基準にする、回答者に選択の自由度を持たせる(該当しない場合の扱いを用意する)などの工夫が有効である。特定集団だけに不利な言い回しを避け、読みやすさを優先する。
3.3 回答の破綻(不整合・欠測)
破綻は、回答の途中で成立しなくなる、あるいは条件間で矛盾が生じることで現れる。欠測は分析不能を招き、整合性はデータ品質の指標となる。
3.3.1 回答不能の設計(「わからない」の扱い)
「わからない」は必ずしもノイズではなく、無知や未経験を反映する情報として扱える場合がある。設計では、選択肢として明示するか、質問条件を調整して無理に答えさせないかを決める。曖昧な「どちらでもない」との区別も明確にし、意図する意味が取れるようにする。
3.3.2 ルール設計(整合性チェック)
整合性チェックは、回答後に破綻を検出するだけでなく、入力段階で抑えることもできる。例えば、分岐条件に基づき選択肢を変える、矛盾が出やすい組み合わせには注意喚起を入れる、入力形式で制約をかけるといった手段がある。面接でも、確認質問を用意し、途中での理解ズレを修正する。
4 実装と検証(設計から改善まで)
質問設計は一度作って終わりではない。現場の運用データや理解状況に基づき、改善のサイクルを回すことが品質を高める。
4.1 パイロットテストと認知的インタビュー
本調査の前に、少数の参加者で動作確認を行う。さらに認知的インタビューを通じて、回答者が質問をどう解釈し、どの情報を参照し、どう選択したかを把握する。
4.1.1 質問理解の確認
理解の確認では、回答者が質問文の条件や期間を正しく捉えているかを確認する。参加者の発話や手戻りから、読み違いが起きる箇所を特定し、文言の修正へつなげる。特に難所がある場合は、導入文や選択肢の構成から見直す。
4.1.2 設問の改善サイクル
改善サイクルでは、変更が意図した品質向上をもたらしたかを評価する。変更点と結果を対応づけ、改善と悪化の両方を記録することで、次の設計判断が合理化される。テストは単発でなく反復し、収束基準(許容できる誤解率など)を事前に置くと運用しやすい。
4.2 回収設計(媒体・手順)
回収は、質問の意味とデータ化の橋渡しである。媒体の違いにより回答体験や入力行動が変わるため、手順も設計対象になる。
4.2.1 オンライン調査の注意点
オンラインでは、画面サイズや入力方式により、質問の視認性や選択のしやすさが変わる。ページ遷移による文脈断絶、回答完了までの進捗提示不足、タイムアウトや離脱などが品質を下げる。設計では、表示順や固定情報(注意書き、定義)を視認可能な場所に置き、入力負荷を抑える。
4.2.2 面接・チャット型の運用
面接では質問の柔軟な確認が可能だが、確認の仕方が回答を変える危険もある。チャット型では、1メッセージごとの情報量が重要で、長文を避けつつ順序を崩さない設計が必要になる。応答遅延や途中退出が起きやすいため、分岐と復帰動線を用意する。
4.3 分析可能性の確保
分析可能性は、回収後にデータがどのように利用できるかを先回りして整えることで担保される。データの型、カテゴリ構造、欠測の扱いを設計段階で決める。
4.3.1 コーディングとカテゴリ設計
自由回答や「その他」の記述は、分類のためのコード体系が必要になる。カテゴリは概念の境界に沿って定め、複数ラベルの扱いが必要かどうかも決める。コーディング手順(判断基準、例外ルール)を明文化し、担当者間の差が出ないようにする。
4.3.2 欠測・偏りの評価
欠測は単なる欠けではなく、特定の設問で起きやすいなら設計の弱点を示す。偏りは、特定集団だけが回答しにくい場合に生じる。分析側では欠測率や分布の歪みを確認し、必要なら追加の回収設計や質問の再調整を行う。
4.4 継続運用とバージョン管理
質問は継続的に使うほど改善余地が見つかる。変更の管理は比較可能性の維持につながるため、運用ルールを整える。
4.4.1 改訂履歴と比較可能性
改訂履歴は、文言変更や尺度の入れ替えの記録として残す。比較可能性を保つには、変更の目的と影響範囲を明確にし、同一期間でのデータを混ぜない判断基準を設ける。可能であればアンカー設問を残し、傾向比較を支える。
4.4.2 定期的な見直し基準
見直し基準は、古さ(新しい状況に適合しない)、理解困難の増加、分析上の不都合(欠測増、解釈の揺れ)などを根拠に設定する。定期点検に加え、運用で問題が報告された場合は臨時のレビューを行う。こうした仕組みが品質の安定と改善を両立させる。