GPT（Generative Pre-trained Transformer）是OpenAI开发的一系列基于Transformer架构的自回归语言模型，通过大规模无监督预训练和任务特定微调，能够生成连贯、上下文相关的自然语言文本。自2018年GPT-1发布以来，该系列不断迭代（GPT-2、GPT-3、GPT-4等），推动了大语言模型（LLM）的范式革新，广泛应用于文本生成、对话、代码编写、翻译等领域，成为生成式人工智能的标志性技术之一。
1 发展历程
1.1 GPT-1：奠基之作
GPT-1于2018年由OpenAI发布，是首个将Transformer解码器用于自回归语言生成的大规模预训练模型。其参数规模为1.17亿，在BooksCorpus数据集上进行无监督预训练，开创了“预训练+微调”的通用范式。
1.1.1 无监督预训练与有监督微调
GPT-1采用两阶段训练流程：首先在大规模纯文本语料上进行自监督的Next Token Prediction（下一个词预测）任务，使模型学习通用语言表示；然后针对特定任务（如文本分类、QA等）进行有监督微调，仅需少量标注数据即可达到当时最优性能。这一策略大幅降低了下游任务对标注数据的依赖。
1.1.2 核心创新：单向Transformer解码器
GPT-1的架构核心是单向Transformer解码器，仅保留Transformer中的解码器部分，并采用因果掩码（Causal Masking）确保每个位置只能关注其左侧的上下文。这种设计使其天然适合自回归生成任务，但无法像BERT那样同时利用双向上下文信息。
1.2 GPT-2：规模扩展与争议
2019年发布的GPT-2将参数规模提升至15亿，在更大的WebText数据集（约800万网页）上训练，首次展示了零样本（Zero-shot）迁移能力——无需微调即可完成阅读理解、翻译等任务，引发学界和公众广泛关注。
1.2.1 15亿参数与零样本能力
通过扩大模型规模，GPT-2在多项语言任务上表现出令人惊讶的零样本性能，甚至在某些场景下媲美有监督模型，验证了规模定律（Scaling Laws）的有效性，即模型性能随参数、数据量和计算量的增加而持续提升。
1.2.2 延迟发布与伦理讨论
由于担心模型可能被用于生成虚假新闻、恶意内容等，OpenAI最初仅发布较小版本（1.24亿参数），直到数月后才完整公开15亿参数版本。这一决定引发了关于AI安全、开放研究责任与审查制度的广泛伦理讨论，成为AI治理的重要案例。
1.3 GPT-3：里程碑式突破
2020年，GPT-3以1750亿参数规模震撼登场，成为当时最大的神经网络模型。其核心突破在于“提示学习”（Prompt Learning）范式，即通过精心设计的自然语言提示（Prompt）和少量示例（Few-shot Example）即可完成新任务，无需额外微调。
1.3.1 1750亿参数与提示学习
GPT-3在包括Common Crawl在内的超大规模语料上训练，模型容量大幅提升，使其理解复杂指令和上下文示例的能力显著增强。用户仅需提供几个示范（少样本提示）甚至零个示范（零样本提示），模型即可在翻译、问答、文案创作等任务上展现高水平表现。
1.3.2 少样本与零样本泛化
GPT-3的少样本泛化能力远超此前所有模型，其零样本和单样本性能也令人印象深刻。例如，仅需一句话描述就能生成对应风格的诗句或代码。这一特性使大语言模型从“专用工具”走向“通用能力平台”。
1.4 GPT-3.5与InstructGPT
GPT-3的原始版本存在输出不准确、不符合用户意图等问题。2022年初，OpenAI发布了InstructGPT系列（基于GPT-3的微调版本），引入了基于人类反馈的强化学习（RLHF）技术，显著提升了对指令的遵循能力和输出质量。
1.4.1 基于人类反馈的强化学习（RLHF）
RLHF包含三个步骤：首先在人类标注者提供的指令-正确回答对上微调模型；然后训练一个奖励模型，其输出分数代表回答质量；最后通过强化学习算法（如PPO，Proximal Policy Optimization）优化语言模型，使其奖励分数最大化。这一流程使模型更擅长生成符合人类偏好、安全、有帮助的内容。
1.4.2 ChatGPT的诞生
2022年11月，OpenAI基于GPT-3.5（即InstructGPT的改进版）推出了ChatGPT对话界面。ChatGPT通过自然对话交互形式降低了AI使用门槛，上线仅两个月就突破一亿用户，引发全球范围内的生成式AI热潮，成为AI工业界的标志性产品。
1.5 GPT-4与多模态扩展
2023年3月，GPT-4发布，虽然OpenAI未公开具体参数规模（推测约1.8万亿参数），但其最大的革新在于多模态输入能力，能够同时处理文本和图像信息，并在推理、安全性、长上下文处理等方面全面超越前代。
1.5.1 多模态输入能力
GPT-4支持用户输入文本+图像组合（例如：一张图表+提问），模型可“阅读”并理解图像内容，完成图文问答、截图解析、手绘草图理解等任务。这标志着GPT从纯文本模型向多模态通用模型的跨越。
1.5.2 性能提升与安全性改进
GPT-4在多个考试和基准测试中排名前10%（如美国律师资格考试、医学考试），在事实准确性、逻辑推理、长文本处理（支持最多32K tokens上下文，后扩展至128K）上均有显著改进。安全性方面，RLHF训练强化了对有害请求的拒绝能力，并引入了更严格的内容审查机制。
2 技术架构
2.1 Transformer基础
GPT系列基于Transformer架构，该架构最早由Vaswani等人在2017年提出，核心思想是用自注意力（Self-Attention）机制替代循环神经网络，实现并行计算与长距离依赖建模。
2.1.1 自注意力机制
自注意力机制将输入序列中的每个词转换为查询（Query）、键（Key）和值（Value）三个向量，通过计算查询与所有键的相似度得到注意力权重，再用权重对值进行加权求和。这样每个词都能捕获序列中所有词语的依赖关系。对于GPT而言，这种机制通过因果掩码被限制为只关注左侧上下文。
2.1.2 位置编码
由于Transformer缺乏对序列顺序的感知能力，需引入位置编码（Positional Encoding）。GPT使用可学习的绝对位置编码，将其与词嵌入相加后送入模型，帮助模型区分“I love you”和“you love I”等顺序含义。
2.2 单向解码器设计
GPT的基本架构是堆叠多个单向Transformer解码器块，每个块包含掩码多自注意力层和前馈神经网络（FFN），并带有残差连接和层归一化。
2.2.1 掩码自注意力
在注意力计算中，GPT对当前位置的查询施加掩码，使其只能关注当前及之前位置的键（即禁止看向未来token）。这确保了生成过程的因果性：模型基于已生成的文本预测下一个词，符合自回归生成的逻辑。
2.2.2 因果语言模型
GPT属于因果语言模型（Causal Language Model），其训练目标是在给定历史上下文的情况下，最大化下一个token的预测概率。这种设计使得GPT天然适应文本生成任务：从左到右逐词生成，每次迭代仅依赖之前的输出。
2.3 训练方法
2.3.1 无监督预训练（Next Token Prediction）
预训练阶段使用大规模纯文本语料（如网页、书籍、论文），目标函数为最大化整个序列的似然，即对于序列中的每个token，模型根据其前面所有token预测该token。这种无监督方式无需人工标注，可从海量互联网文本中汲取知识。
2.3.2 有监督微调
在预训练后，使用特定任务（如情感分类、QA）的标注数据进行微调。与全参数微调不同，GPT系列的微调通常为任务添加一个分类头，并训练所有层，但仅需少量数据即可适应新任务。
2.3.3 强化学习与人类反馈
RLHF是GPT-3.5及后续模型的关键创新：人类标注者对模型输出进行排名或评分，训练一个奖励模型来量化输出与人类偏好的匹配度；然后通过强化学习（如PPO）调整语言模型，使得奖励最大化。这使模型更擅长生成有用、安全、符合指令的内容。
3 关键特性
3.1 生成能力
GPT最根本的能力是生成连贯、符合语法的自然语言文本，可覆盖从简单续写至复杂创作的任务。
3.1.1 文本续写与补全
给定一个起始句子或段落，GPT可自动生成风格一致的后续内容。例如，输入“在一个晴朗的早晨，小明背上了书包”，模型可能会续写“他走进校门，心里充满了期待”。这一能力广泛应用于代码补全、邮件自动回复、搜索建议等场景。
3.1.2 故事与创意写作
GPT能够根据用户需求生成完整故事、诗歌、剧本等创意内容，甚至模仿特定作者的文风。虽然偶有逻辑跳跃，但在简洁任务（如生成生日祝福语、幽默对白）上表现出色。
3.2 上下文学习
GPT的独特之处在于无需微调即可通过上下文中的示例（Few-shot）或指令（Zero-shot）完成全新任务，这被称为上下文学习（In-context Learning）。
3.2.1 少样本提示
在提示（Prompt）中放入几个完成任务示例，GPT便可自动推理出任务模式并执行。例如，提供“苹果：水果；老虎：动物；玫瑰：__”作为示例，模型会推断出输出“花”。示例越多，性能越好。
3.2.2 指令遵循
经过RLHF训练的GPT（如ChatGPT）能够直接理解自然语言指令，如“用三句话解释相对论”，并以正确格式回答问题，无需额外示例。
3.3 知识存储与推理
3.3.1 参数化知识
GPT通过预训练将大量事实性知识存储在神经网络的权重中，可以回答常识问题（如“埃菲尔铁塔在哪个城市？”），但其知识边界受限于训练数据截止日期，且无法主动更新。
3.3.2 逻辑推理局限
尽管GPT在简单推理（如“所有人类都会死，苏格拉底是人，所以…”）上表现尚可，但在复杂逻辑链、数学证明、需要精确计算的场景中易出错，常出现“看似合理但实际错误”的结论。
4 应用领域
4.1 对话系统（ChatGPT）
ChatGPT是最著名的GPT应用，基于GPT-3.5/4打造，提供多轮自然对话服务。用户可进行信息查询、头脑风暴、情感陪伴等交互，其开放式回答能力远超传统的规则式对话机器人。
4.2 内容生成与辅助写作
GPT被广泛用于撰写博客、新闻稿件、营销文案、邮件模板等。创作者可提供提纲或初始文本，让GPT自动扩展、润色或生成不同风格的版本，提升写作效率。
4.3 编程与代码生成（GitHub Copilot）
基于GPT（尤其是Codex，即GPT-3针对代码的微调版），GitHub Copilot能在VS Code等开发环境中根据注释或部分代码实时生成整段代码，支持多种编程语言，显著加速开发过程。
4.4 教育辅导与问答
GPT可作为虚拟教师，解释复杂概念、回答学科问题（如数学、物理、历史）、提供练习题，甚至进行角色扮演（如模拟面试）。不过需注意其对事实错误的输出需用户自行验证。
4.5 翻译与语言转换
GPT支持跨语言翻译（如英译中、中译法），且能保留原文语境和情感。在文学翻译、口语化翻译、风格化转换（如将正式邮件转为口语）方面表现优于传统机器翻译。
4.6 游戏与虚拟角色
GPT用于驱动游戏中的NPC对话系统，使其具备一定“性格”和临场反应能力。此外，其被集成到虚拟社交应用（如Character.AI）中，让用户与“爱因斯坦”、“莎士比亚”等角色进行穿越时空的聊天。
5 变体与分支
5.1 GPT-3.5 Turbo与API版本
GPT-3.5 Turbo是OpenAI为降低成本而推出的优化版本（2023年），通过模型蒸馏和量化等技术，以更低价格提供接近GPT-3.5-Davinci的性能，成为当时最流行的API模型。后续还推出了GPT-3.5-Turbo-16k（支持16K上下文窗口）。
5.2 GPT-4 Turbo及后续迭代
GPT-4 Turbo（2023年11月发布）是GPT-4的改进版，支持128K上下文（约300页文本），知识截止日期更新至2023年4月，并降低了API调用价格。此后OpenAI持续推出GPT-4o（多模态、速度优化）等迭代，强化实时语音和图像理解能力。
5.3 开源替代与衍生模型
由于GPT系列的商业化和闭源性质，开源社区开发了众多类GPT模型，推动了AI民主化。
5.3.1 LLaMA、Alpaca等类GPT模型
Meta于2023年发布LLaMA系列（7B至65B参数），采用类似GPT的架构，但注重小规模高效训练。斯坦福等机构又基于LLaMA通过自我指导（Self-Instruct）等方法微调出Alpaca、Vicuna等模型，性能接近早期GPT-3.5。
5.3.2 GPT-Neo与GPT-J
EleutherAI开源社区开发了GPT-Neo（1.3B、2.7B参数）和GPT-J（6B参数），完全复现GPT-2/3的架构并公开权重。这些模型在Hugging Face等平台广为流传，为研究和低预算应用提供了基础。
6 局限性与挑战
6.1 幻觉与事实错误
GPT倾向于生成流畅但事实上错误的“幻觉”内容，尤其是在涉及具体数据、时间、人名时。例如，可能将不存在的论文或虚构的事实当作真实结果输出，这在使用中需要用户交叉验证。
6.2 偏见与有害输出
预训练数据中的社会偏见（如种族、性别、文化）可能被模型继承并放大，导致生成歧视性内容。尽管RLHF试图缓解，但无法根除。此外，模型可能被诱导生成暴力、违法或仇恨言论，需持续监控和过滤。
6.3 计算资源与能耗
训练GPT-3等大模型需要数千张GPU（如A100）连续运行数周，耗电量巨大。单次推理（生成一段文本）消耗的能源也远超传统方法，被批评为“高碳AI”。这推动了高效模型设计（如稀疏注意力、量化）的研发。
6.4 长上下文理解瓶颈
尽管GPT-4等支持128K tokens的上下文，但模型在处理超长文本时仍会出现“注意力分散”现象，即对早期信息的记忆与关注度大幅下降。这在需要跨长文档推理的任务（如长篇小说分析）中成为瓶颈。
6.5 安全与对齐问题
GPT缺乏内在的理解和价值观，可能被恶意使用（如生成钓鱼邮件、假新闻）。尽管RLHF和内容审查（如OpenAI的Moderation API）不断优化，但注入式攻击（Prompt Injection）和越狱（Jailbreak）尝试仍时有发生，对齐研究（Alignment Research）仍是一个活跃领域。
7 社会影响与伦理讨论
7.1 就业与经济变革
GPT等生成式AI可自动化编程、文案、客服、设计等白领工作，引发岗位替代担忧。但也有观点认为它将催生新职业（如提示工程师、AI审计师），并提高整体生产力。经济转型中的就业结构、收入分配不平等成为政策焦点。
7.2 信息生态与虚假内容
GPT生成的大量逼真文本可被用于制造虚假新闻、虚假评论、学术造等，加剧信息生态污染。深度伪造（Deepfake）与AI生成内容难以检测，对媒体公信力、选举公正性构成威胁。衍生出了AI文本检测技术（如GPTZero）作为对抗手段。
7.3 监管与治理框架
全球各国开始出台AI监管法案，如欧盟的《人工智能法案》将大模型归于“高风险”类目，要求透明度和安全评估；中国则早在2023年发布《生成式人工智能服务管理暂行办法》，要求内容安全与算法备案。监管的核心挑战在于平衡创新与风险。
7.4 可解释性与透明度
GPT决策过程是“黑箱”：无法解释为何生成某个词或做出某个推理。在医疗、法律等高风险场景中，缺乏可解释性限制了其落地。社区正在探索注意力可视化、概念归因（如Concrete Input Attribution）等可解释AI（XAI）技术，但尚未成熟。
8 未来展望
8.1 更大规模与更高效训练
GPT系列可能继续遵循Scaling Laws，向万亿参数甚至更大规模演化，同时通过混合专家（MoE）、稀疏注意力、如MoE、量化、蒸馏等技术降低训练与推理成本。无数据限制的“无限上下文”模型也是研究方向。
8.2 多模态与具身智能
GPT可能从文本-图像拓展至语音、视频、3D空间甚至触觉等多模态交互，结合机器人技术实现“具身智能”，使模型不仅能“读”和“写”，还能“看”和“做”，比如控制机械臂完成物理任务。
8.3 增强推理与规划能力
当前GPT在复杂推理（如数学证明、多步规划）上较弱。未来模型可能引入外部工具（如搜索引擎、计算器、代码解释器）或专门训练推理模块（如Chain-of-Thought、Tree-of-Thought），提升在科学发现、战略规划等领域的可靠性，朝向通用人工智能（AGI）迈进。