对数几率 - Ciallo Wiki

概念与定义

二元概率到对数几率的映射

对数几率（log-odds）用于把二元事件的概率 \(p\) 映射到实数轴上。对数几率定义为 \[ \text{log-odds}(p)=\log\left(\frac{p}{1-p}\right), \] 其中 \(p\in(0,1)\)。当 \(p\) 变化时，该变换把原本被限制在 \((0,1)\) 的“概率尺度”扩展到不受上下界限制的“线性尺度”，从而便于与线性模型相结合。

logit 与 log-odds 的关系

logit（对数几率函数）通常指从概率到对数几率的变换，即 \[ \text{logit}(p)=\log\left(\frac{p}{1-p}\right). \] 因此在多数统计与机器学习教材中，“logit”和“对数几率”之间常被视为同一类映射：logit把 \(p\) 送入对数几率空间；相反方向的逆变换用于把实数还原为概率。

取值范围与边界行为

当 \(p\to 1\) 时，\(\frac{p}{1-p}\to \infty\)，故 \(\text{log-odds}(p)\to +\infty\)。当 \(p\to 0\) 时，\(\frac{p}{1-p}\to 0\)，从而 \(\text{log-odds}(p)\to -\infty\)。在数值实现上，这意味着概率靠近 0 或 1 时，对数几率会出现极端值；在工程实践中通常需要额外的数值保护。

与比值（odds）的对应关系

“几率（odds）”常定义为 \[ \text{odds}(p)=\frac{p}{1-p}. \] 对数几率则是对该比值取对数： \[ \text{log-odds}(p)=\log(\text{odds}(p)). \] 因此，两者一一对应：对数几率是 odds 的对数刻度，便于将乘法效应转化为加法效应（进而适配线性建模）。

数学性质

单调性与可逆性

对数几率关于 \(p\) 在 \((0,1)\) 上严格单调。直观上，概率越大，事件越“更可能”，对应的对数几率也越大。同时，该变换可逆：给定任意实数 \(x\)，可通过逆 logit 得到概率 \[ p=\sigma(x)=\frac{1}{1+e^{-x}}, \] 其中 \(\sigma(\cdot)\) 是 sigmoid（逻辑函数）。

与 sigmoid（逻辑函数）的互逆关系

sigmoid 与对数几率互为逆函数：

\(\text{logit}(p)=\log\left(\frac{p}{1-p}\right)\) 将概率映射到实数；
\(\sigma(x)=\frac{1}{1+e^{-x}}\) 将实数映射回概率。

这套互逆结构是逻辑回归等模型中“用线性打分产出实数，再用 sigmoid 变回概率”的数学基础。

对数几率的线性化效果

许多模型假设对数几率可以表示为特征的线性组合，例如 \[ \text{logit}(p)=\beta_0+\beta^\top x. \] 这意味着概率本身通常呈现非线性（S 形）变化，但其背后的“打分量”在特征空间里是线性的。于是优化和参数解释都能在“线性空间”完成或更容易完成。

概率极限（接近 0 或 1）与数值稳定性

由于对数几率在 \(p\to 0\) 与 \(p\to 1\) 时分别趋于 \(-\infty\) 与 \(+\infty\)，在有限精度计算里会遇到溢出、下溢或梯度异常等问题。工程上常用对输入做裁剪、使用稳定的 log-sum-exp 形式，以及避免直接计算可能导致数值爆炸的中间量来缓解这些风险。

在统计模型中的作用

逻辑回归（Logistic Regression）

线性项到对数几率的连接

逻辑回归的核心假设是：样本的特征 \(x\) 经过线性打分后得到对数几率： \[ \text{logit}(p)=\beta_0+\beta^\top x. \] 因此，模型并不直接预测 \(p\) 的线性关系，而是预测“log-odds 的线性关系”。这种设定使得概率变化天然落在 \((0,1)\) 且具有平滑的 S 形曲线。

由对数几率恢复概率

一旦得到 \(x\) 对应的对数几率 \(z=\beta_0+\beta^\top x\)，就通过 sigmoid 恢复概率： \[ p=\sigma(z)=\frac{1}{1+e^{-z}}. \] 因此，模型输出通常经历“线性打分（实数）→ sigmoid（概率）”的两步流程。

广义线性模型（GLM）中的链接函数

在广义线性模型框架中，对数几率对应的是伯努利分布常用的一种“链接函数”。链接函数负责把期望响应（例如成功概率）与线性预测子联系起来。logit 链接将“概率期望”拉伸到实数空间，使得线性预测子可以更直接地与参数估计相结合。

判别建模视角：从 odds 比较到决策边界

从判别角度看，对数几率的大小可理解为对“事件发生与否”的相对倾向：若两类的 odds 差异更明显，则对应的对数几率差异也更大。当采用阈值决策（例如 \(p>0.5\) 判为正类）时，决策边界在对数几率尺度上通常表现为线性超平面：因为阈值对应于对数几率的某个固定值（如 \(p=0.5\) 时对数几率为 0）。

几何与解释

对数几率作为“证据强度”的直观理解

在许多解释场景中，对数几率可以被看作“证据强度”的刻度：它把概率的相对支持程度转换为实数增量，更容易与线性变化联系。虽然它并不等同于严格意义的“证据”度量，但在实践解释中常用于表达“支持程度增强了多少”。

系数可解释性：变化对 odds 的乘法效应

逻辑回归中，若某个特征 \(x_j\) 增加 1（其余特征不变），对数几率增加 \(\beta_j\)。由于 odds 与 log-odds 的关系是对数，则 odds 会按指数方式变化： \[ \text{odds} \text{ 乘以 } e^{\beta_j}. \] 因此系数具有“对 odds 的乘法效应”解释：\(\beta_j>0\) 表示该特征增加会让事件更可能，且影响以 odds 的倍数形式出现。

决策阈值在对数几率尺度下的表示

阈值判定常以概率阈值给出，例如 \(p>t\)。由于对数几率与概率单调对应，该阈值在对数几率上等价于 \[ \text{log-odds}(p)>\log\left(\frac{t}{1-t}\right). \] 当阈值为 0.5 时，右侧为 0，对数几率为正对应“倾向正类”。这使得在几何视角下，分界面可直接由对数几率的符号或与阈值常数的比较得到。

与校准（calibration）之间的联系

校准强调模型预测的概率是否与真实频率一致。因为对数几率是概率生成过程的中间表征，模型若在对数几率空间发生系统性偏移（例如整体过度自信或保守），就会表现为校准误差。常见的校准方法例如在对数几率上做单调修正或用额外参数调整，使得预测概率更贴近观测结果。

计算与工程实践

数值稳定的 logit/sigmoid 实现

计算 sigmoid 时，直接使用 \(\frac{1}{1+e^{-x}}\) 在 \(x\) 很大或很小时可能产生溢出或精度损失。工程实现通常使用等价但更稳定的形式，例如对正负 \(x\) 采取不同的代数变换，或调用数值库提供的稳定函数。

使用 log-sum-exp 等技巧避免溢出

在对数似然或交叉熵等涉及对数和指数的表达式中，经常需要避免“先指数后相加再取对数”的不稳定计算。log-sum-exp 技巧通过把最大项提取出来，降低溢出概率，同时保持计算的精度与可微性。

从模型输出到概率输出的常用流程

典型流程如下：

对输入特征计算线性预测子 \(z\)（得到实数）；
将 \(z\) 送入 sigmoid 得到概率 \(p\)；
如需阈值分类，再比较 \(p\) 或等价地比较对数几率与阈值对数比。

在多种框架中这套流程是标准输出逻辑。

置信区间与不确定性传播的基本方法

对数几率空间常用于近似不确定性传播，例如基于参数估计得到对 \(z=\beta_0+\beta^\top x\) 的不确定范围，然后再经 sigmoid 映射回概率。由于 sigmoid 是非线性的，概率区间通常不再是对称的，需要采用采样（如参数后验采样/引导法）或一阶近似等方法来估计置信区间。

常见应用场景

二分类任务与概率输出

在二分类问题中，模型常需要输出可用于排序、阈值决策或后续策略的概率。logit 对数几率与 sigmoid 概率映射使得模型能够在实数域进行线性学习，同时在输出端给出概率解释。

风险评估与生存/事件发生建模的直观类比

风险评估中，“事件发生概率随因素变化”的表达很常见。对数几率将“概率变化”转换为“线性变化”，使得可以用线性系数描述因素对事件倾向的影响幅度。某些事件建模任务也会使用 log-odds 相关的表征来表达条件发生倾向（尽管生存分析的正式建模形式可能更复杂）。

变量筛选与特征贡献的观察方式

在实践中，查看特征对应的系数符号与大小可以帮助理解变量作用方向与强度。由于系数对应对数几率的变化，它间接反映了对 odds 的倍数效应，因此常被用作特征筛选与贡献分析的基础线索之一。

术语与“梗”化理解（可选）

为什么叫“几率的对数”

因为它就是“odds（几率/比值）的对数”。把比值先取对数，乘法关系自然变成加法关系，听起来就更适合做“线性”的事情。

从“概率太黏”到“线性化更顺手”的比喻

概率永远被卡在 0 到 1 之间，做线性拟合时常觉得“卡手”。而对数几率把它拉到无限伸缩的实数线上，看起来更像是在做普通直线/超平面的建模，所以有“线性化更顺手”的感觉。

对数几率与阈值的“把门槛变成直尺”的联想

当你设定一个概率阈值时，它在对数几率空间会变成一个固定常数。比较大小就从“在 0 到 1 的概率刻度上门槛判断”变成“在实数尺度上用直线（或超平面）做切分”，于是阈值像是被“翻译成直尺刻度”。