语音合成（Text-to-Speech，简称TTS）是一种将书面文字自动转换为可听语音的人工智能技术。它通过分析文本的语义、语法和韵律特征，模拟人类发声机制，生成自然流畅的语音输出。TTS技术广泛应用于导航、虚拟助手、无障碍阅读、教育及娱乐等领域，是人机交互的关键组成部分。
1 发展历史
TTS技术的发展经历了从机械模拟到数字智能的漫长演变，反映了人类对声音复制与生成的持续追求。
1.1 早期机械合成阶段（18-20世纪初）
最早的可考语音合成尝试可追溯到18世纪。1779年，德国科学家克里斯蒂安·克拉岑施泰因（Christian Kratzenstein）通过共振腔模拟元音，成功制造出能够发出五个基本元音声的声学仪器。1791年，匈牙利发明家沃尔夫冈·冯·肯佩伦（Wolfgang von Kempelen）开发了“说话机器”（Speaking Machine），使用风箱、簧片和橡胶腔体模拟人的声道，能发出一些简单的单词和短句。这些机械装置虽然粗糙，但奠定了人类对语音生成机制的初步认识。19世纪，随着电力驱动的出现，人们开始尝试电动声波发生器，但离实用化仍有很大距离。
1.2 基于规则的合成阶段（1930s-1980s）
20世纪30年代，电子技术的进步使语音合成进入电子时代。这一时期的核心思想是通过预设的声学规则来合成语音，系统依赖于手工设计的参数和规则库。
1.2.1 共振峰合成
共振峰合成（Formant Synthesis）是一种通过控制代表声道共振特性的频率峰值（即共振峰）来生成语音的技术。系统根据音素对应的共振峰频率、带宽和振幅，人为地设定一系列滤波参数，从而合成出元音和辅音。1970年代，美国工程师丹尼斯·克拉特（Dennis Klatt）开发的Klatt合成器成为该领域的重要里程碑，其生成的语音虽带有明显的机械感，但在可懂度上有了显著提升。
1.2.2 串接合成
串接合成（Concatenative Synthesis）使用预录的真人语音片段库，通过切分和拼接这些最小单元（如音素、双音素或音节）来产生新句子。该方法保留了原始说话人的音色和自然度，但受限于语音库的覆盖范围，在遇到未收录的发音组合时容易出现拼接不连贯或失真的问题。1980年代，基于线性预测编码（LPC）的串接系统在小型设备中得到了初步应用。
1.3 统计参数合成阶段（1990s-2010s）
1990年代后，统计建模方法的引入使TTS技术迈入新阶段。系统不再依赖手工规则，而是从大量语音数据中学习语音参数的统计规律。最代表性的是隐马尔可夫模型（HMM），它使用概率模型来描述语音频谱、基频和时长等参数的动态变化。统计参数合成系统具有较好的泛化能力，能灵活适应不同的文本内容，但合成语音常带有“嗡嗡声”缺乏细节，自然度仍不如顶尖的串接系统。
1.4 深度学习合成阶段（2010s至今）
深度学习的爆发式发展彻底革新了TTS领域。神经网络凭借强大的表示能力，能够直接从大量文本-语音对中学习端到端的映射关系，生成的语音在自然度上几乎达到真人水平。
1.4.1 端到端模型（如Tacotron、WaveNet）
2016年，谷歌推出的WaveNet模型利用深度自回归网络直接生成原始音频波形，首次在音质上接近真人，但计算复杂度过高。2017年，Tacotron模型实现了文本到频谱的端到端映射，再通过声码器合成波形，极大简化了系统架构。后续的Tacotron 2则结合了WaveNet作为声码器，进一步提升了音质。端到端模型的出现标志着TTS进入“输入文字、输出语音”的傻瓜式时代。
1.4.2 多说话人与情感合成
深度学习还推动了对多风格、多说话人合成的探索。通过在训练中引入说话人嵌入（Speaker Embedding）和情感标签，系统能够在单一模型内学习几十甚至上百个不同说话人的音色，并控制合成语音的情感色彩（如高兴、悲伤、愤怒等）。这类技术被广泛用于虚拟角色配音、有声书制作和交互式对话场景。
2 技术原理
现代TTS系统通常由三个核心模块串联组成：文本前端分析、声学模型和声码器。它们分别负责将文字转换为语音描述、生成声学特征，以及最终合成波形。
2.1 文本前端分析
文本前端分析是TTS系统的第一道工序，负责将原始文本转换为一套可供声学模型使用的语言学特征序列。
2.1.1 文本正则化与分词
文本正则化处理文本中的非标准形式，如数字（“123” → “一百二十三”）、日期（“2024-03-15” → “二零二四年三月十五日”）、货币符号等。分词则根据语言规则将句子切分为词语或子词单元。对于中文，常见的分词工具（如jieba、THULAC）需要识别词边界，对英文则使用基于空格和标点的简单分词。此步骤的错误会直接导致后续发音出错（例如将“人行道”误读为“人/行道”而不是“人行/道”）。
2.1.2 音素转换与韵律预测
音素转换将分词后的文本映射为音素序列（如中文的拼音、英文的IPA或ARPAbet音标）。对于多音字和异读词，需要借助词典或上下文模型进行消歧。韵律预测则估计语音中的停顿、重音、语调变化等韵律特征。系统通常预测“韵律短语边界”（如逗号、句号对应的停顿层级）、重音标记和语速变化，使合成语音听起来有自然的节奏感。
2.2 声学模型
声学模型是整个TTS系统的核心，它根据前端分析得到的语言学特征，预测出对应的声学特征（通常是梅尔频谱、基频和时长等）。
2.2.1 传统模型：隐马尔可夫模型（HMM）
HMM将语音视为由一系列隐状态构成的马尔可夫链，每个状态对应一个声学分段（如音素），并从高斯混合分布中生成观测特征（频谱、基频等）。HMM模型能够捕捉语音的动态时间和谱变化，且参数显式、易于控制。但其假设过于简化，生成的特征往往平滑过度，缺少自然语音中的细节波动。
2.2.2 神经网络模型：RNN、Transformer等
深度神经网络提升了声学模型的建模能力。循环神经网络（RNN，特别是双向LSTM）能够捕捉长距离上下文依赖，对韵律和语调的连续变化建模更精细。自2019年以来，Transformer架构凭借自注意力机制的优势，逐步取代RNN成为主流。Transformer模型能够并行处理整个输入序列，训练效率高，并且在捕捉全局依赖关系上优于RNN。如今的Tacotron 2、FastSpeech 2等模型均基于Transformer或其变体。
2.3 声码器（Vocoder）
声码器是TTS系统的最后一环，负责将声学模型输出的频谱特征还原为可听的音频波形。
2.3.1 经典声码器：LPC、WORLD
线性预测编码（LPC）基于声道模型，通过预测当前采样值与过去若干采样值之间的关系来合成语音，计算效率高但音质一般。WORLD声码器由日本学者开发，通过分解基频、频谱包络和非周期性参数，能合成较为干净的语音，且实时性好，被广泛用于统计参数TTS系统中。
2.3.2 神经声码器：WaveGlow、HiFi-GAN
神经声码器使用生成式AI直接输出波形，大大提升音质。WaveGlow（2018年）基于流的生成模型，训练稳定但速度偏慢。HiFi-GAN（2020年）采用生成对抗网络，在极低延迟下生成高保真语音，成为近年来最常用的声码器之一。其他神经声码器如StyleGAN衍生品、MelGAN等也在不同应用场景中表现优异。
3 主要架构与模型
TTS系统经历了从“分离式”到“端到端”的架构演进，每种架构有其适用场景和利弊。
3.1 级联式TTS系统
级联式系统将文本前端分析、声学模型和声码器视为独立模块，各模块可分别开发和优化。例如，前端使用规则或小规模神经网络，“中间层”使用HMM或传统声码器。级联式的优势在于模块间解耦，便于调试和替换，且对低计算资源设备友好。缺点是模块之间的误差会累积，且整体流程较长，难以端到端地优化自然度。
3.2 端到端TTS系统
端到端系统将文本前端到语音输出的全部过程统一到一个神经网络中，直接从输入文字输出波形或频谱，极大简化了系统复杂度。
3.2.1 Tacotron系列
Tacotron（2017）开创了序列到序列的TTS范式，使用编码器-解码器架构和注意力机制，将文本映射为梅尔频谱。Tacotron 2（2018）在此基础上增强了解码器设计，并与WaveNet声码器结合，生成的语音在自然度上首次接近真人。该系列对长文本生成、多音字消歧等方面表现良好，但训练时需要对齐音频和文本，且注意力发散时会产生结巴或重复问题。
3.2.2 FastSpeech系列
FastSpeech（2019）和FastSpeech 2（2020）引入了非自回归（Non-Autoregressive）架构，不再逐帧生成，而是并行预测整个梅尔频谱序列，速度比Tacotron快数十倍。其核心创新在于“时长预测器”和“对齐矩阵”的显式建模，从而避免了自回归架构的注意力误差。FastSpeech 2进一步去除了复杂的对齐软约束，通过真实时长信息直接训练，合成音质与Tacotron 2持平且显著更快。
3.2.3 VITS及变体
VITS（2021）是一个完全端到端的文本-波形模型，它抛弃了显式的谱信号，直接用变分推断和流模型将文本映射为波形。VITS将声学模型和声码器合并为一个统一网络，训练效率高，合成音质自然，且支持特定说话人微调。其变体（如VITS2、YourTTS等）进一步支持多说话人和跨语言合成。
3.3 低资源与跨语言合成
低资源场景（如小语种、方言或冷门说话人）下，TTS面临训练数据不足的问题。常见解决方案包括迁移学习（用高资源语言模型预训练后微调）、数据增强（如文本加噪、合成伪数据）以及语音表示学习（如使用HuBERT、WavLM等自监督特征）。跨语言合成则通过共享语言无关的声学序列（如国际音标或监督特征），使模型能在不同语言间泛化，甚至让模型“说”自己从未见过的语言。
4 应用场景
TTS技术已渗透到现代生活的方方面面，改善了不同群体的信息获取和交互体验。
4.1 无障碍辅助
4.1.1 视障人士屏幕朗读
屏幕阅读软件（如苹果的VoiceOver、安卓的TalkBack）利用TTS将手机界面文字（包括按钮、菜单、正文）实时朗读出来，使视障人士能够独立操作智能设备。现代TTS的高自然度减轻了用户长时间听机械音效的疲劳感，提升了阅读体验。
4.1.2 语言障碍者沟通辅助
对于失语症、脑性瘫痪等语言障碍患者，TTS可以配合眼动追踪或触控板输入文字并代为发声。一些定制系统允许用户保存个人偏好的音色（如原声带音色或亲属的声音），增强沟通的亲近感。
4.2 智能交互
4.2.1 语音助手（如Siri、小爱同学）
智能助手依赖TTS将回复内容以语音形式反馈给用户。TTS的自然度和响应速度直接影响用户满意度。各厂商在音色个性化、情感控制上持续投入，使助手不再只是冷冰冰的机器声音。
4.2.2 车载导航与公共服务播报
车载导航系统使用TTS播报道路提示、限速信息和路况更新，低延迟和清晰度至关重要。高铁站、医院、商场中的自动广播系统也普遍运用TTS，支持多语种和实时内容更新，提高了公共信息触达效率。
4.3 内容创作与娱乐
4.3.1 有声书与播客自动生成
TTS技术可快速将图书、文章转化为有声读物。语音克隆技术甚至能模仿知名播主或作家的声音，极大降低创作门槛。但也引发了版权和深度伪造方面的争议。
4.3.2 虚拟主播与游戏角色配音
虚拟直播（VTuber）和游戏中NPC的对话大量使用TTS合成，支持多角色、多情绪切换，节省了真人配音成本和时间。超逼真的神经TTS让虚拟角色告别了曾经的机械音，获得了观众的广泛接纳。
5 评价与挑战
TTS系统的性能评估涉及主观听觉感受和客观技术指标，同时行业面临许多亟待攻克的难题。
5.1 评测指标
5.1.1 自然度（MOS评分）
自然度通常通过“平均意见分”（Mean Opinion Score，MOS）来衡量。由经过培训的听评人（通常为数十至数百人）对合成语音的听感质量打分，分值从1（完全不可理解、极度机械）到5（与真人说话无异）。MOS评分虽主观，但被公认为评估合成语音最关键的指标。目前最先进的神经TTS系统MOS已接近或超过4.5。
5.1.2 准确度与可懂度
准确度指合成语音中单词发音、重音和声调的正确率，可懂度则衡量听者是否能正确理解内容。常用测试包括“单词识别测试”（在噪声环境中听写单词）和“句子语义判断”。低质量TTS很容易在快速语速或带噪声环境下出现混淆（如“香蕉”误听为“香椒”）。
5.2 主要挑战
5.2.1 多变的韵律与情感表达
目前，TTS在标准朗读式语体上表现上佳，但遇到戏剧性台词、幽默语、讽刺、语速骤变等复杂韵律时，合成结果经常显得生硬或表达错误。如何让机器理解并生成恰到好处的情绪和语调，仍是重大挑战。
5.2.2 多语言与口音适应性
统一的TTS模型在处理方言、混合语言（如中英夹杂）或带地域口音时容易出错。训练数据量小的语种尤其困难，模型可能在非标准发音上产生“口音幻觉”或合成出无法理解的发音。跨语言韵律迁移也需要更精细的语言学建模。
5.2.3 实时性与计算资源平衡
面向用户时，TTS必须做到毫秒级响应和低功耗。高音质的神经模型（如使用Transformer加神经声码器）往往对GPU或边缘设备算力要求高，而轻量化模型（如某些小波声码器）又容易牺牲音质。在手机、物联网设备上平衡实时性与自然度是现实工程难题。
5.2.4 伦理问题：深度伪造与声音克隆
随着声音克隆技术的成熟（只需数秒到几十秒的音频样本即可模仿任意人讲话），利用TTS生成伪造语音进行诈骗、造谣、身份冒用的事件频发。这引发了强烈的伦理和法律担忧。尽管已有声纹检测、水印技术被部署，但对抗性攻击往往更强，技术监管与法律框架的构建刻不容缓。
6 未来趋势
TTS技术将朝着更智能、更可控、更负责的方向演进。
6.1 个性化与可控合成
未来的TTS将允许用户精细控制合成语音的“风格”参数：年龄感、性别特征、语气软硬、语速、方言口音甚至特定语气（如不耐烦、惊喜）。个性化合成可能允许用户创建专属的数字声音克隆，用于个人助手或社交场景。
6.2 多模态合成（结合面部动作）
TTS正与面部动画（如说话时嘴唇运动、表情变化）合并为单一生成模型。这类“说话头”（Talking Head）系统可同步生成语音和对应的3D人脸动画，应用于虚拟人陪聊、游戏过场动画、在线教学等。多模态合成要求模型理解声音与嘴唇、表情之间的物理和声学关系，难度极大但前景广阔。
6.3 无监督与自监督学习方法
为了减少对大量标注语音的依赖，研究者正借助无监督和自监督学习范式（如语音预训练模型HuBERT、wav2vec）来学习通用的语音表示。这些模型无需人工转录即可从海量语音中提取特征，再通过少量标注数据微调完成TTS。这有希望解决低资源语言和冷门说话人的合成难题。
6.4 伦理与监管框架建设
各国政府和行业协会正加快制定合成语音的监管法律，例如要求所有合成内容标注“AI生成”、限制声音克隆用于商业目的需获取授权、对欺诈性使用实施高额罚款等。技术层面，可追溯水印和防伪造检测系统将成为TTS产品的标配。未来的TTS开发必须将伦理合规贯穿于设计、训练和部署全流程。