1 术语与基本含义
归一化通常指将对象、数据、表达式或系统转换为某种标准形式、统一尺度或规范结构的过程。其目的在于降低差异带来的干扰，使后续比较、分析、推理或计算更加直接。该术语在不同学科中各有侧重，但都包含“统一”“简化”和“便于处理”的基本意图。
1.1 词源与概念演变
“归一化”中的“归”有回归、归拢之意，“一”则表示统一的标准或同一尺度。该词在现代学术语境中逐渐成为跨学科术语，用来描述各种形式的规范化处理。随着数学、计算机科学和统计学等学科的发展，其含义不断扩展，从单纯的数值缩放，延伸到结构整理、形式转换与规范表达。
1.2 不同学科中的含义差异
归一化并非单一概念，而是根据对象类型和应用目标而变化。某些场景下，它强调数值大小的统一；另一些场景下，则更关注结构上的标准形式或表达上的规范化。
1.2.1 数学中的归一化
在数学中，归一化常用于将向量、函数、概率分布或表达式转换为标准形式。例如，将向量缩放为单位长度，或将概率分布调整为总和为1。此类处理有助于建立统一的数学对象，便于比较、证明和进一步运算。
1.2.2 计算机科学中的归一化
在计算机科学中，归一化常指对数据、文本、字符串或特征值进行统一处理。它既可以是数值范围的压缩，也可以是字符编码、大小写、格式等方面的标准化，以适配程序处理、存储或检索需求。
1.2.3 统计学中的归一化
统计学中的归一化多用于数据预处理和指标比较。常见做法包括将变量缩放到统一尺度，或将频数、比例转化为可比较的相对量。这样可以减弱量纲差异对分析结果的影响。
1.2.4 数据库中的归一化
数据库中的归一化是一种关系模式设计方法，强调通过拆分数据表、减少重复字段和建立合理依赖关系来提高一致性。它更多关注数据结构与逻辑设计，而不单是数值上的处理。
1.3 归一化的共同特征
尽管学科背景不同，归一化通常都具有若干共同特征：统一尺度、增强可比性、改善处理效率，并使对象更接近某种规范状态。
1.3.1 标准化
归一化往往意味着朝着某一既定标准靠拢。这个标准可以是单位长度、固定范围、规定格式，或者符合某种理论规范的结构。
1.3.2 可比性
经过归一化处理后，不同对象之间更容易进行横向比较。无论是向量长度、数据值域，还是数据库结构，统一后的形式都能减少不必要的差异。
1.3.3 可处理性
归一化的另一个核心作用是让对象更易于计算机或数学方法处理。原本复杂、分散或不规则的信息，经由归一化后通常更稳定，也更适合算法运算。
2 数学中的归一化
数学中的归一化涉及多个层面，既包括几何与代数对象的尺度统一，也包括概率和表达式的规范处理。其共同目标是将对象转化为便于研究的标准形式。
2.1 向量归一化
向量归一化是将向量按其长度进行缩放，使其保持方向不变而长度变为1。该操作常见于几何计算、物理建模和数值分析。
2.1.1 单位向量
归一化后的向量通常称为单位向量。单位向量只保留方向信息，长度固定为1，因此在描述方向、法线或基向量时十分常用。
2.1.2 范数与长度
向量归一化依赖范数的概念。范数用于度量向量大小，最常见的是欧几里得范数。将向量除以其范数，即可得到归一化结果。
2.2 概率分布归一化
在概率论中，归一化常用于将非标准形式的权重或函数转化为合法的概率分布。其基本要求是所有概率值之和等于1。
2.2.1 概率和为1
一个有效的概率分布必须满足总和为1。若原始数据只是相对权重，则需要通过归一化把它们转换为概率值。
2.2.2 归一化常数
实现概率归一化时，常通过一个归一化常数对整体进行缩放。该常数通常是原始权重之和或积分值，用于保证结果满足概率公理。
2.3 函数与表达式归一化
在函数与符号表达中，归一化常表现为化简、重写或转换为统一的规范表达，以便识别等价关系或执行后续推导。
2.3.1 形式化简
形式化简强调减少冗余表达，使式子更简洁明了。例如，通过代数变换把复杂表达式整理成更易辨认的形式。
2.3.2 规范形式
规范形式是指在给定规则下具有唯一性或标准性的表达方式。若一个表达式被化到规范形式，通常更容易判断其与其他表达式是否等价。
2.4 线性代数中的归一化应用
线性代数中，归一化常作为预处理或中间步骤，用于改善向量组的性质，或便于后续求解。
2.4.1 正交化前处理
在正交化过程中，先对向量进行归一化可以帮助控制尺度，避免数值过大或过小影响运算稳定性。
2.4.2 特征向量归一化
特征向量常被归一化为单位长度，以便统一表示同一特征方向。由于特征向量可被任意非零倍数缩放，归一化有助于比较和展示。
3 计算机科学中的归一化
在计算机科学中，归一化既服务于数据处理，也服务于文本处理和机器学习建模。其核心在于让输入更统一，从而适配系统处理流程。
3.1 数据归一化
数据归一化通常指将数值映射到统一范围，以减少不同量级之间的差异。它在数据挖掘、特征工程和可视化中都很常见。
3.1.1 最大最小归一化
最大最小归一化会把数据线性映射到指定区间，如0到1。该方法简单直观，但结果受极值影响较大。
3.1.2 Z-score标准化
Z-score方法通过减去均值并除以标准差，使数据转化为以0为中心、以标准差为尺度的分布形式。它常用于需要比较偏离程度的场景。
3.1.3 小数定标法
小数定标法通过移动小数点位置来缩放数值，使其落入较小范围。该方法实现方便，适合快速处理数量级差异明显的数据。
3.2 文本与字符串归一化
文本归一化用于将形式不同但语义接近的字符串统一处理，以提高匹配、检索和分析效果。
3.2.1 大小写统一
在英文文本处理中，大小写统一是常见步骤。它可减少“A”和“a”被视为不同项的情况，提升统计和检索的一致性。
3.2.2 编码统一
不同编码方式可能导致同一字符以不同字节形式存在。编码统一有助于避免乱码与比较错误，是文本处理的基础环节。
3.2.3 特殊字符处理
标点、空格、控制符和其他特殊字符常在归一化中被清除、替换或规范化。这样可以减少噪声并提升模式识别效果。
3.3 机器学习中的归一化
在机器学习中，归一化通常是特征工程的重要组成部分。它影响模型的训练速度、数值稳定性以及不同特征之间的平衡。
3.3.1 特征缩放
特征缩放通过调整各变量的数值范围，使不同特征在训练中具有相近的量级。这样可以避免某些大数值特征在计算中占据不成比例的权重。
3.3.2 模型训练中的影响
归一化往往有助于加快梯度类算法的收敛，并降低数值不稳定的风险。对于依赖距离或梯度的模型，这一处理尤其常见。
3.3.3 归一化与标准化的区别
在机器学习语境中，归一化通常侧重把数据压缩到固定区间，而标准化更强调按照均值和方差调整分布。两者目标相近，但实现方式与适用场景并不相同。
4 数据库中的归一化
数据库归一化是关系数据库设计中的基础概念，强调通过合理拆分与组织表结构，减少重复存储并改善维护性。
4.1 关系数据库设计原则
关系数据库设计通常追求结构清晰、依赖明确和更新安全。归一化正是实现这些目标的重要手段之一。
4.1.1 消除冗余
通过归一化，可以减少同一信息在多个位置重复出现的情况。冗余降低后，存储更节省，维护也更方便。
4.1.2 保持数据一致性
当同一事实只在少数位置保存时，修改和同步更容易完成。这样能减少因重复数据不一致而带来的错误。
4.2 范式理论
范式理论是数据库归一化的核心框架。不同范式规定了不同层级的结构要求，层级越高，对表结构和依赖关系的约束通常越严格。
4.2.1 第一范式
第一范式要求字段具有原子性，即每个单元格中的内容应尽量不可再分。它是关系数据库规范化的起点。
4.2.2 第二范式
第二范式在满足第一范式的基础上，进一步要求非主属性完全依赖于主键，避免部分依赖造成的数据重复。
4.2.3 第三范式
第三范式要求非主属性之间不再存在传递依赖。其目标是进一步减少冗余并提升表结构的清晰度。
4.2.4 BCNF
BCNF是比第三范式更严格的约束形式，强调每一个决定因素都应为候选键。它常用于处理更复杂的依赖关系。
4.3 反归一化
反归一化是与归一化相对的设计策略，指有意引入部分冗余，以换取更高的查询效率或更低的联接成本。
4.3.1 性能优化
在某些高频查询场景中，过度拆分会增加连接操作的开销。反归一化可通过预先合并部分信息来提升读取速度。
4.3.2 冗余换效率
反归一化本质上是以额外存储和维护复杂度为代价，换取系统性能上的便利。其是否采用，取决于业务需求与系统负载。
5 逻辑与形式系统中的归一化
在逻辑学和形式系统中，归一化通常指通过一系列规则将表达式或证明转换为标准结果。这类过程对程序语言理论、自动推理和证明验证具有重要意义。
5.1 项重写与归一化
项重写系统通过规则不断替换表达式中的局部结构，使其逐步接近某种标准形式。归一化由此成为判断等价与简化推导的重要工具。
5.1.1 约简规则
约简规则决定了哪些表达式可以被替换或压缩。规则设计越明确，归一化过程就越可控。
5.1.2 终止性
终止性指归一化过程能否在有限步内结束。若系统不具终止性，重写可能陷入无限循环。
5.1.3 合流性
合流性表示不同的重写路径最终是否能够得到同一结果。若具有合流性，归一化结果通常更稳定，也更容易判断唯一性。
5.2 证明论中的归一化
在证明论中，归一化常指把证明转化为更简洁、更直接的形式，从而揭示其内在结构并去除多余步骤。
5.2.1 证明规范化
证明规范化强调消除绕行、冗余和不必要的中间步骤，使证明更符合逻辑展开的自然顺序。
5.2.2 归一化定理
归一化定理通常说明：在一定逻辑系统中，任意证明都可转换为某种规范证明形式。它是证明系统一致性和可分析性的重要基础。
5.3 λ演算中的归一化
λ演算是研究函数抽象与应用的形式系统，其中归一化关系到表达式是否能化简到稳定结果。
5.3.1 β归约
β归约是λ演算中最基本的化简规则，表示函数应用后将参数代入函数体并继续简化。它是归一化的核心步骤。
5.3.2 正规形
正规形是指一个表达式已无法再进行β归约的状态。若存在正规形，通常说明表达式已达到归一化结果。
5.3.3 强归一化与弱归一化
强归一化表示所有可能的化简路径都会终止；弱归一化则只要求存在至少一条化简路径能够终止。二者强度不同，适用的理论结论也不同。
6 统计学中的归一化
统计学中的归一化常服务于预处理和比较分析，特别是在多变量数据、不同单位数据和分布差异明显的数据中较为重要。
6.1 数据预处理
在统计建模之前，归一化有助于改善变量之间的尺度一致性，为后续分析建立更稳定的输入基础。
6.1.1 尺度统一
不同变量可能来自不同量纲或数量级。归一化可将它们调整到相近范围，避免某一变量因数值过大而主导分析。
6.1.2 异常值影响
统计归一化有时会受到异常值干扰。极端数据可能拉伸整体尺度，使常规样本的相对差异被压缩。
6.2 频数与比例归一化
在频数分析中，归一化常用于把绝对计数转为比例或密度，以便不同样本之间进行比较。
6.2.1 相对频率
相对频率是将某事件出现次数除以总次数得到的比例形式。它能更好地反映事件在样本中的占比。
6.2.2 密度归一化
密度归一化常见于连续型数据分布表示中，通过调整直方图或函数值，使总面积符合规范要求，便于比较不同样本。
6.3 指标比较中的归一化
当多个指标数值范围差异较大时，归一化可帮助形成统一比较框架，避免量纲干扰。
6.3.1 不同量纲比较
归一化能够将长度、时间、重量等不同单位的数据转到可比较的尺度上，使综合评价更合理。
6.3.2 指数化处理
在某些统计分析中，原始数据会被转换为指数或基期比值形式，以便展示变化趋势和相对水平。
7 相关概念与区分
归一化常与标准化、正规化和正则化等术语并列出现。它们有时在口语或工程语境中交叉使用，但严格来说并不相同。
7.1 归一化与标准化
两者都涉及数据或对象的统一处理，但侧重点不同。
7.1.1 定义差异
归一化通常强调把对象压缩到固定范围或统一形式；标准化则更强调按照某一标准统计量来调整数据分布。
7.1.2 应用场景差异
归一化常用于需要范围统一的场景，标准化则更常见于希望消除均值与尺度影响的统计分析和机器学习任务。
7.2 归一化与正规化
这两个词在中文中有时会被混用，但在不同语境下含义可能不完全一致。
7.2.1 术语混用
在部分资料中，“正规化”被用来表示形式上的规范整理，与“归一化”接近；但在另一些领域，它可能指更具体的理论过程。
7.2.2 语境辨析
判断术语含义时，需要结合学科背景。数学、数据库、逻辑学和工程领域对相关词汇的使用并不完全相同。
7.3 归一化与正则化
“正则化”与“归一化”常被误认为近义词，但二者主要关注点不同。
7.3.1 数学意义上的区别
归一化强调对象转为标准尺度或标准形态；正则化则常用于修正病态问题、增强解的稳定性，或通过附加条件改善模型性质。
7.3.2 机器学习中的区别
在机器学习中，正则化通常指对模型复杂度施加约束，而归一化则主要处理输入特征或中间表示的尺度问题。两者可同时使用，但作用不同。
8 应用场景
归一化广泛应用于需要统一尺度、提高一致性或增强可计算性的场合，是许多数据与符号处理流程中的基础步骤。
8.1 数据分析
在数据分析中，归一化用于统一变量范围，便于描述统计、相关分析和多指标综合评价。
8.2 信息检索
在信息检索中，归一化可用于词形统一、分数缩放和结果排序，使不同来源的信息更便于匹配与比较。
8.3 图像处理
图像处理中常通过归一化调整像素值范围或亮度分布，以便改善显示效果并增强后续识别性能。
8.4 自然语言处理
自然语言处理中，归一化有助于统一文本形式，例如处理大小写、全半角、标点和词形变化，从而提高模型识别一致性。
8.5 工程与科学计算
在工程与科学计算中，归一化可减少量纲影响、改善数值稳定性，并使不同物理量或计算变量更容易协同处理。
9 优点与局限
归一化作为基础性处理手段，在多种场景中都很实用，但并非总是无条件适用。其效果取决于数据性质、任务目标和具体实现方式。
9.1 优点
归一化能够提升数据和表达式的可用性，是连接原始信息与后续分析的重要桥梁。
9.1.1 简化比较
经过归一化后，不同对象更容易放在同一尺度下比较，避免原始量级差异造成误判。
9.1.2 提高稳定性
在数值计算和模型训练中，归一化常有助于减少数值波动，使计算过程更加稳定。
9.1.3 促进算法收敛
对于某些迭代算法，适当的归一化可以改善搜索过程，缩短收敛时间，并提升结果质量。
9.2 局限
尽管归一化有诸多优点，但它也可能带来新的问题，尤其是在数据分布复杂或异常值显著时。
9.2.1 信息损失
将数据压缩到统一范围后，原始数值间的绝对差异可能被削弱，某些细节信息因此难以保留。
9.2.2 对异常值敏感
部分归一化方法会受到极端值影响，导致大多数样本被压缩到较窄区间，影响整体效果。
9.2.3 依赖具体语境
归一化没有放之四海而皆准的统一做法。不同领域、不同任务和不同数据结构，对归一化的理解与实施方式都不相同。