1 基本概念
1.1 定义
信度是指测量工具在相同或相近条件下，重复测量同一对象时所得结果的一致程度。它主要反映结果的稳定性与可重复性，常用于评价问卷、量表、测试和观察记录等工具是否足够可靠。
1.2 核心特征
1.2.1 稳定性
稳定性强调测量结果不会因时间推移或情境轻微变化而发生明显波动。若同一对象多次接受测量，得分大体相近，通常说明工具具有较好的稳定性。
1.2.2 一致性
一致性指测量工具内部各部分，或不同评分者、不同形式的测量结果之间保持相近。它关注的是结果之间是否协调，而不仅是单次测量是否有效。
1.2.3 可重复性
可重复性强调在相似条件下，测量过程能够被再次实施并获得相近结论。对于社会科学研究而言，可重复性有助于提升研究结果的可信度。
1.3 信度与效度的区别
信度关注“测得稳不稳”，效度则关注“测得准不准”。一个工具如果结果很稳定，但测量对象与研究目标并不吻合，仍然可能效度不足。一般而言，信度是效度的重要前提，但高信度并不自动意味着高效度。
1.4 信度在社会科学中的作用
在社会科学研究中，信度是工具开发、研究设计和结果解释的重要依据。它帮助研究者判断数据是否具有足够的稳定性，进而决定测量工具是否可用于正式调查、实验或评估。信度不足时，研究结论往往会因误差较大而变得不稳妥。
2 信度的主要类型
2.1 重测信度
2.1.1 概念
重测信度是指同一组被试在不同时间接受同一测量后，结果之间的一致程度。它主要用来考察测量结果是否具有时间上的稳定性。
2.1.2 适用场景
这种方法常用于测量相对稳定的特质，如某些能力、人格倾向或长期态度。若研究对象本身变化较快，重测信度的解释就会受到限制。
2.1.3 局限性
重测信度容易受到记忆效应、练习效应和真实变化的影响。时间间隔过短，可能使被试记住前次答案；间隔过长，则可能因对象状态变化而降低相关程度。
2.2 复本信度
2.2.1 平行复本
平行复本是指设计两份内容、难度和结构尽量相当的测量工具，再对同一对象施测，比较两者得分的一致性。它能减少单次作答记忆的影响。
2.2.2 复本编制原则
复本应在测量目标、题项分布和难度水平上保持尽量一致，同时避免题目过于相似导致重复记忆。编制时还需注意两份工具在形式上的独立性。
2.2.3 适用条件
复本信度适用于能够较容易编制两套平行工具的情形，如标准化测验或某些技能测试。若题项资源有限，制作质量较高的复本会较为困难。
2.3 评分者信度
2.3.1 一致率
一致率是指多个评分者对同一材料做出相同判断的比例。它直观但较为粗略，容易受类别数量和随机一致影响。
2.3.2 评定者间一致性
评定者间一致性更重视评分者之间判断是否稳定相合，常用于作文评分、行为观察和内容编码等工作。它反映的是评分结果是否具有较好的可比性。
2.3.3 训练与校准
提高评分者信度通常需要统一评分标准、开展样例练习并定期校准。通过反复比对分歧案例，可以减少主观理解差异带来的误差。
2.4 内部一致性信度
2.4.1 同质性
内部一致性主要考察一组题项是否共同测量同一潜在特征。若各题项围绕同一构念展开，通常更容易形成较高的一致性。
2.4.2 项目间相关
项目间相关用于描述题项之间的联动程度。相关过低说明题项可能测量了不同内容，相关过高则可能意味着题项重复过多。
2.4.3 常见适用量表
内部一致性常用于态度量表、人格量表、满意度问卷和心理测验等。凡是由多个题项共同构成单一得分的工具，通常都需要关注这一指标。
2.5 分半信度
2.5.1 奇偶分半法
奇偶分半法将题目按奇数和偶数分成两半，分别计算两部分得分的一致性。它常用于题量较多、结构较稳定的测验。
2.5.2 折半校正
由于分半后相当于缩短了测验长度，所得相关往往需要通过折半校正进行调整。这样可以更接近原始量表整体的信度水平。
2.5.3 适用局限
分半法的结果会受到分组方式影响，不同切分方法可能得到不同估计。对于结构复杂或题目较少的工具，其适用性相对有限。
3 信度的估计方法
3.1 相关系数法
3.1.1 Pearson相关
Pearson相关常用于衡量两次测量或两份平行工具得分之间的线性关系。它适用于数据近似连续、分布条件较为合适的情形。
3.1.2 Spearman相关
Spearman相关基于秩次，适合等级资料或不满足正态假设的数据。它在某些非参数条件下比Pearson相关更稳妥。
3.1.3 适用前提
相关系数法通常要求两组数据具有可比性，且测量对象在两次测量间没有明显真实变化。若对象本身发生变化，则相关值未必能准确反映信度。
3.2 经典测量理论方法
3.2.1 真分数与误差分数
经典测量理论认为，观测到的分数由真实水平和误差共同构成。真实分数代表被测特征，误差分数则来自测量工具和情境的不稳定因素。
3.2.2 观测分数分解
观测分数分解为真实成分与误差成分后，研究者便可分析误差对结果的影响。该思路构成了传统信度分析的重要理论基础。
3.2.3 信度公式
在经典测量理论框架下，信度通常表示真实变异占总变异的比例。该比例越高，说明误差相对越小，测量越稳定。
3.3 项目分析方法
3.3.1 项目总分相关
项目总分相关用于考察单个题项与总分之间的一致程度。若某题项与总分关系很弱，往往提示该题可能与量表主体不够协调。
3.3.2 删除项目后的信度变化
通过比较删除某一题项前后的信度变化，可以判断该题是否拖累整体一致性。若删除后信度上升，说明该题可能需要修订。
3.3.3 题项优化
项目分析不仅用于筛选题目，也用于识别表述模糊、难度异常或区分度不足的内容。经过优化后，工具整体质量通常会更稳定。
3.4 一致性系数法
3.4.1 Cronbach's alpha
Cronbach's alpha是最常见的内部一致性指标之一，适用于多项式量表或连续评分工具。它反映各题项之间的整体协调程度。
3.4.2 Kuder-Richardson系数
Kuder-Richardson系数多用于二分计分题目，如对错题或是非题。它可视为特定题型下的一致性估计方法。
3.4.3 ICC与Kappa
ICC常用于连续型评分的一致性评估，Kappa则常用于分类判断的一致性分析。两者都常见于评分者信度和观察研究中。
4 影响信度的因素
4.1 测量工具设计
4.1.1 题项表述
题项表达如果含糊、冗长或带有双重含义，容易引发不同理解，进而降低一致性。清晰、单一的表述有助于提升稳定性。
4.1.2 题项数量
一般来说，题项数量适度增加有助于提高信度，但并非越多越好。若题目重复或冗余过多，也可能造成疲劳和反应机械化。
4.1.3 题项同质性
题项越围绕同一构念展开，内部一致性通常越高。若量表内部包含过多异质内容，信度往往会受到影响。
4.2 被试特征
4.2.1 个体差异
被试在能力、经验或态度上的差异，会影响分数分布和一致程度。若差异过大或过小，都可能改变信度估计。
4.2.2 作答状态
疲劳、情绪波动、注意力不足等状态，会使回答更不稳定。对于涉及自陈的工具，这类因素尤其明显。
4.2.3 样本同质性
样本过于同质时，得分范围可能收缩，导致相关和一致性系数偏低。样本构成是否适当，会直接影响信度结果的解释。
4.3 测量情境
4.3.1 时间间隔
在重测信度中，时间间隔过短或过长都不理想。前者容易受记忆影响，后者则可能引入真实变化。
4.3.2 环境干扰
噪音、打断、光线不足等环境因素会影响被试表现。稳定的施测环境有助于减少外部误差。
4.3.3 实施方式
纸笔、线上、面对面或设备辅助等不同实施方式，可能带来不同的作答体验。若方式不一致，结果的可比性也会受到影响。
4.4 评分过程
4.4.1 评分标准
标准不清晰会使评分者在判断时出现偏差，降低评分一致性。统一而明确的规则是控制误差的重要前提。
4.4.2 主观判断偏差
在开放式回答、观察记录和内容编码中，主观判断几乎不可避免。若缺少规范，评分者容易受先入为主印象影响。
4.4.3 评分者培训
通过培训和样例演练，可以提升评分者对标准的理解一致性。持续校准还能减少不同批次评分之间的漂移。
5 信度分析的应用
5.1 问卷调查
问卷研究常借助信度分析检查题项是否协调一致。对于正式调查前的修订阶段，信度检验尤其重要。
5.2 心理测验
心理测验通常要求较高的稳定性，因为其结果常被用于个体比较或分类判断。信度不足会直接影响解释的稳妥性。
5.3 教育评估
在考试和课堂评估中，信度关系到成绩是否能真实反映学生水平。题目设置、评分规则和施测条件都会影响最终结果。
5.4 行为观察研究
行为观察常依赖观察者记录，因此需要关注观察者之间是否判断一致。若一致性不高，观察结论的可信度会下降。
5.5 内容分析与编码研究
内容分析和编码研究常涉及文本归类、标签赋值和类别判定，评分者信度十分关键。统一编码手册和多轮校正通常是必要步骤。
6 信度结果的解释
6.1 信度系数的含义
信度系数通常表示测量结果中稳定成分所占比例的大小。系数越接近1，说明误差越少，结果越一致。
6.2 常见判断标准
不同研究领域对信度的要求并不完全相同。一般而言，探索性研究可接受的标准可能略低，而正式应用或高风险决策通常要求更高。
6.3 高信度与低信度的解释
高信度说明工具输出较为稳定，但仍需结合效度判断其是否测到了目标内容。低信度则意味着结果波动较大，可能不足以支持稳健分析。
6.4 信度不足时的处理
当信度偏低时，研究者通常需要检查题项设计、评分标准和施测流程，并考虑修订工具。若问题来自样本或情境，也应重新评估研究安排。
7 提高信度的方法
7.1 优化题项设计
7.1.1 明确措辞
题项语言应尽量具体清楚，避免让被试产生多种解释。表述越直接，作答越容易保持一致。
7.1.2 减少歧义
含糊词语、抽象说法和过长句式都会增加理解分歧。通过简化表达，可以减少无关误差。
7.1.3 避免双重问题
一个题目若同时包含两个以上判断点，被试可能只能部分同意或部分反对。拆分双重问题有助于提升测量质量。
7.2 增加测量项目
在内容覆盖合理的前提下，适当增加题项数量通常有助于提高信度。更多题项可以分散偶然误差，使总分更稳定。
7.3 改进施测流程
统一指导语、控制环境、规范时间安排，都能减少施测过程中的随机波动。流程越稳定，结果越容易重复。
7.4 加强评分者培训
评分者若对标准理解一致，评分结果通常更稳定。通过训练、讨论和校准，可以降低主观差异。
7.5 进行预测试与修订
预测试可以及早发现题目含糊、难度不均或结构混乱等问题。根据试测反馈修订后，正式工具的信度往往更有保障。
8 相关概念与延伸
8.1 内部一致性与同质性
内部一致性反映题项之间的协调程度，同质性则强调题目是否共同指向同一特征。二者关系密切，但并不完全等同。
8.2 误差来源
误差可来自题项设计、被试状态、环境变化和评分过程等多个方面。识别误差来源，是理解信度问题的重要步骤。
8.3 测量误差控制
通过标准化程序、优化题项和改进培训，可以减少测量误差。控制误差并不意味着消除一切波动，而是尽量降低不必要的随机影响。
8.4 信度与重复性研究
重复性研究关注不同研究者或不同条件下能否得到相近结果，与信度在理念上相通。二者都强调结果的稳定与可再现。
8.5 现代测量学中的信度观念
在现代测量学中，信度不再只被看作单一数字，而是与测量模型、样本结构和使用目的结合起来理解。不同工具和情境下，信度的评价方式也更为细致。