1 基本概念
1.1 数据库系统的定义
数据库系统是用于数据存储、管理、检索与维护的一类信息系统。它以数据库为核心，借助数据库管理系统和相关应用程序，实现数据的长期保存、共享访问与受控修改。与单纯的数据文件相比，数据库系统更强调结构化组织、统一管理以及对数据一致性的保障。
1.2 数据库、数据库管理系统与应用程序的关系
数据库是数据的集合，负责承载具体内容；数据库管理系统则提供创建、查询、更新、控制和保护数据的能力；应用程序面向最终用户，调用数据库管理系统提供的接口完成业务处理。三者通常分工明确：数据库保存数据，数据库管理系统负责管理，应用程序负责业务逻辑。
1.3 数据库系统的组成
数据库系统通常由数据库、数据库管理系统、用户与应用接口等部分构成。它们共同完成从数据录入、组织、访问到维护的全过程，并支持多用户并发使用。
1.3.1 数据库
数据库是按一定结构组织的数据集合，能够较为稳定地保存业务或研究对象的信息。其内容可包括文本、数值、图像、日志等多种数据形式，但通常需要通过统一的结构进行管理。
1.3.2 数据库管理系统
数据库管理系统是数据库系统的核心软件，负责模式定义、存取控制、查询处理、事务管理、恢复与安全等任务。它屏蔽底层存储细节，使用户和应用能够以较高层次操作数据。
1.3.3 用户与应用接口
用户与应用接口是人和程序访问数据库的通道，既可以是图形界面，也可以是命令行、程序接口或网络服务。它们决定了数据访问方式，并影响系统的易用性与扩展性。
1.4 数据库系统的特点
数据库系统通常具有数据共享性高、冗余可控、独立性较强、支持并发访问、可恢复性好等特点。与传统文件系统相比，它更适合规模化业务处理，也更便于进行权限管理和性能优化。
2 数据模型
2.1 概念模型
概念模型用于描述现实世界中的业务对象及其关系，强调对问题域的抽象表达。它面向用户和设计人员，便于在不涉及具体存储细节的前提下进行需求沟通。
2.1.1 实体-联系模型
实体-联系模型以实体、属性和联系为基本元素，用来表达现实世界中对象之间的关联。它常用于数据库概念设计阶段，帮助梳理业务对象及其相互关系。
2.1.2 统一建模思想
统一建模思想强调用一致的方法描述不同层次的数据与关系。其核心在于将复杂业务拆分为清晰的实体和联系，从而提高模型表达的规范性与可维护性。
2.2 逻辑模型
逻辑模型用于描述数据在数据库中的组织方式，是从概念模型向具体实现过渡的重要阶段。它决定数据如何被逻辑地表示、关联和约束。
2.2.1 层次模型
层次模型以树形结构组织数据，父子关系明确，适合具有单一层级路径的场景。其优点是结构直观，但对多对多关系的表达能力较弱。
2.2.2 网状模型
网状模型允许一个记录与多个记录建立联系，因此比层次模型更灵活。它适用于关系较复杂的数据组织，不过结构和访问路径也更为复杂。
2.2.3 关系模型
关系模型以二维表形式表示数据，是当前应用最广泛的逻辑模型之一。它强调集合运算、结构简洁和理论基础完备，便于实现标准化查询与数据约束。
2.3 物理模型
物理模型关注数据在存储介质上的实际组织方式，包括文件布局、页面划分和索引安排等。它直接影响系统的读写效率、空间利用率和维护成本。
2.3.1 数据存储结构
数据存储结构决定记录如何写入磁盘或其他存储介质。常见方式包括顺序存储、链式存储和聚簇存储等，不同结构适用于不同访问模式。
2.3.2 索引组织方式
索引组织方式用于加快数据定位速度。常见策略会围绕键值顺序、散列分布或多级目录展开，以减少查询时的扫描范围。
3 关系数据库基础
3.1 关系与表
在关系数据库中，关系通常以表的形式呈现，行对应记录，列对应字段。表结构清晰，便于使用统一的查询语言进行增删改查操作。
3.2 属性、元组与主键
属性是表中的列，用于描述对象的特征；元组是表中的一行，表示一条完整记录；主键则用于唯一标识元组，保证每条记录都能被准确区分。
3.3 关系完整性约束
关系完整性约束用于保证数据在逻辑上的正确性与一致性。它限制数据插入、更新和删除时可能出现的非法状态。
3.3.1 实体完整性
实体完整性要求主键不能为空，并且每条记录都应具有唯一标识。这样可以避免出现无法定位的重复或缺失记录。
3.3.2 参照完整性
参照完整性要求外键引用的目标记录必须存在，或者按规则允许为空。它主要用于维护表与表之间关联关系的可靠性。
3.3.3 用户自定义完整性
用户自定义完整性是根据具体业务需求设置的附加约束，例如数值范围、格式要求或状态枚举限制。它使数据库不仅满足通用规则，也符合实际业务逻辑。
3.4 关系代数与关系演算
关系代数以选择、投影、连接等运算为基础，偏重过程化表达；关系演算则从逻辑条件出发描述结果集合，偏重声明式表达。二者共同构成关系数据库查询理论的重要基础。
4 数据库设计
4.1 需求分析
需求分析是数据库设计的起点，目的是明确系统要支持哪些业务活动、数据对象与操作规则。该阶段通常需要与业务人员充分沟通，以减少后续返工。
4.2 概念结构设计
概念结构设计将需求分析结果抽象为独立于实现的模型，常以实体-联系图等形式表示。其重点是准确表达数据对象及其联系，而不是考虑具体存储细节。
4.2.1 实体识别
实体识别用于找出业务中的核心对象，如用户、订单、产品或设备等。实体边界的划分是否清晰，直接影响后续模型质量。
4.2.2 关系设计
关系设计关注实体之间的联系类型及其基数，例如一对一、一对多或多对多。合理的关系设计有助于减少歧义并提升数据一致性。
4.3 逻辑结构设计
逻辑结构设计将概念模型转化为数据库能够直接支持的逻辑结构。该过程需要结合目标数据库系统的特性进行表、键和约束的安排。
4.3.1 模式转换
模式转换是把实体和联系映射为表结构的过程。转换时通常要处理主键选择、外键建立以及多对多关系拆分等问题。
4.3.2 范式分解
范式分解用于减少数据冗余和更新异常，通常通过将大表拆分为若干相关表来实现。分解需要在规范化和查询效率之间取得平衡。
4.4 物理结构设计
物理结构设计主要面向性能与存储效率，决定数据如何落盘、如何建立索引以及如何提升访问速度。它常常需要结合实际负载进行反复调整。
4.4.1 存储方案选择
存储方案选择包括文件组织、页面大小、分布方式等内容。不同方案会影响插入速度、扫描效率和空间利用率。
4.4.2 索引设计
索引设计用于提升查询效率，但也会增加写入开销和存储成本。设计时应根据常用查询条件、选择性和更新频率进行权衡。
4.5 数据库实施与维护
数据库实施与维护包括创建对象、导入数据、配置权限、监控运行和后续调整等工作。一个数据库上线后，维护往往比初始建设更为长期和持续。
5 数据库管理系统功能
5.1 数据定义功能
数据定义功能用于创建、修改和删除数据库对象，如表、视图、索引和约束。它为数据库结构提供统一管理入口。
5.2 数据操纵功能
数据操纵功能支持对数据进行插入、删除、更新和检索，是数据库日常使用最频繁的能力之一。其设计目标是兼顾灵活性与执行效率。
5.3 查询处理与优化
查询处理与优化负责将用户提交的查询转换为可执行操作，并尽量以较低成本完成。它通常是数据库性能表现的重要来源。
5.3.1 查询解析
查询解析会检查语法、语义和权限，确定查询是否有效。该步骤相当于为后续执行建立正确的逻辑基础。
5.3.2 执行计划生成
执行计划生成阶段会决定数据访问顺序、连接方法和索引使用方式。不同计划可能产生明显不同的运行效率。
5.3.3 代价估算与优化
代价估算通过统计信息和规则预测不同计划的资源消耗，再选择相对更优的方案。优化目标通常包括减少磁盘访问、降低内存压力和缩短响应时间。
5.4 事务管理
事务管理用于保证一组操作作为一个整体执行，并在出现错误时保持一致状态。它是处理复杂业务逻辑的重要机制。
5.5 并发控制
并发控制用于协调多个用户同时访问同一数据时的行为，避免相互干扰。它通过锁、时间戳或多版本机制维持结果正确性。
5.6 恢复管理
恢复管理负责在故障发生后使数据库回到可用状态。常见措施包括日志记录、检查点和备份恢复等。
5.7 安全性与完整性控制
安全性控制用于限制未授权访问，完整性控制用于防止非法数据进入系统。二者共同保障数据库既能被正确使用，又能保持数据质量。
6 SQL与查询语言
6.1 SQL基础
SQL是关系数据库中广泛使用的标准查询语言，兼具数据定义、数据操作和数据查询能力。它语法简洁，适合人和程序共同使用。
6.2 数据定义语言
数据定义语言用于描述数据库结构，包括表、模式、索引和约束的创建与修改。它决定了数据库对象的组织框架。
6.3 数据操纵语言
数据操纵语言用于对表中的记录进行增删改操作。它通常与事务机制结合，以保证修改过程的正确性。
6.4 数据查询语言
数据查询语言用于从数据库中检索所需信息，支持筛选、排序、分组和连接等操作。它是SQL中最常被使用的部分。
6.5 视图与存储过程
视图是基于查询结果构建的虚拟表，便于简化访问和控制权限；存储过程则是预定义的程序块，可将复杂操作封装起来，提高复用性与执行效率。
6.6 触发器与约束
触发器会在特定数据操作发生时自动执行，用于实现联动处理或审计逻辑；约束则用于限制数据输入范围和关系合法性。两者都常用于增强数据库规则控制。
7 事务与并发控制
7.1 事务的概念
事务是一组不可分割的数据库操作单元，通常对应一次完整业务过程。它要么全部成功，要么在失败时全部回退。
7.2 事务的ACID特性
ACID包括原子性、一致性、隔离性和持久性。它们共同构成事务处理的基本要求，用以保证数据库在并发和故障场景下仍保持可靠。
7.3 并发执行问题
多个事务同时执行时，若缺乏协调，容易出现数据不一致或读取异常。并发控制的目标就是降低这类问题的发生概率。
7.3.1 丢失更新
丢失更新是指两个事务对同一数据修改时，后提交的结果覆盖了先前修改，导致部分操作无效。它常见于缺乏锁保护的并发场景。
7.3.2 脏读
脏读是指一个事务读取了另一个尚未提交事务写入的数据。若后者回滚，前者读取到的内容就会失真。
7.3.3 不可重复读
不可重复读是指同一事务内多次读取同一数据，却因其他事务的提交而得到不同结果。它会影响分析类操作的一致性。
7.4 锁机制
锁机制通过对数据对象加锁来协调并发访问，防止冲突操作同时发生。常见做法包括共享锁和排他锁等。
7.5 时间戳与多版本并发控制
时间戳机制按事务发生顺序来决定操作先后，多版本并发控制则为数据保留多个历史版本，以减少读写冲突。二者都可用于提升并发性能。
8 存储管理与索引
8.1 数据文件组织
数据文件组织决定表数据如何排列在存储介质上，通常与访问模式和更新频率密切相关。良好的文件组织有助于降低I/O开销。
8.2 页与记录管理
页是数据库进行磁盘读写的基本单位，记录则是页中存放的具体数据项。页和记录管理负责控制空间分配、插入移动与碎片处理。
8.3 索引结构
索引结构用于建立快速定位通道，减少全表扫描的需要。不同索引结构适合不同类型的查询与更新负载。
8.3.1 B树索引
B树索引是一种平衡树结构，能够在较低层数内完成查找、插入和删除。它适合范围查询和频繁更新的场景。
8.3.2 B+树索引
B+树索引将数据主要放在叶子层，并通过叶节点链表支持顺序访问。它在数据库系统中应用极广，尤其适合范围检索。
8.3.3 哈希索引
哈希索引通过哈希函数将键值映射到存储位置，适合等值查询。它的定位速度快，但对范围搜索支持较弱。
8.4 缓冲管理
缓冲管理负责协调内存与磁盘之间的数据交换，将热点页面保留在内存中以减少重复I/O。它对整体性能影响显著。
8.5 查询加速技术
查询加速技术包括预读、物化结果、并行执行和统计信息利用等方法。其目标是在资源有限的情况下缩短查询响应时间。
9 数据库安全与恢复
9.1 用户认证与访问控制
用户认证用于确认访问者身份，访问控制则根据权限决定其可执行的操作范围。二者结合可以降低误用和越权风险。
9.2 数据加密与审计
数据加密可保护存储和传输过程中的敏感信息，审计则记录关键操作痕迹，便于追踪异常行为。它们常用于提高系统安全性与可追责性。
9.3 备份策略
备份策略决定数据副本的保存频率、范围和介质选择。合理的备份安排能够在故障或误删后缩短恢复时间。
9.4 故障分类
数据库故障通常可分为事务故障、系统故障和介质故障等类型。不同故障对应的恢复方法和影响范围并不相同。
9.5 恢复机制
恢复机制用于在故障后将数据库修复到一致状态，尽量减少数据损失。它通常依赖日志、备份和检查点等技术配合完成。
9.5.1 日志恢复
日志恢复通过记录事务操作前后的变化，支持重做和撤销。它是数据库恢复体系中的关键基础。
9.5.2 检查点
检查点是在特定时刻将内存中的部分状态同步到持久存储，并标记恢复起点。它有助于缩短故障后扫描日志的范围。
9.5.3 介质恢复
介质恢复主要针对磁盘损坏或存储介质失效，通过备份副本和日志重建数据。它通常是最耗时但也最重要的恢复场景之一。
10 数据库系统类型
10.1 关系型数据库系统
关系型数据库系统以表为核心，强调结构化数据、SQL支持和事务一致性。它适合大多数通用业务场景。
10.2 非关系型数据库系统
非关系型数据库系统通常不严格采用表结构，更强调灵活模式、高扩展性或特定访问模式。它常用于海量数据、快速迭代和特定业务结构。
10.2.1 键值数据库
键值数据库以键和值的对应关系存储数据，访问方式简单直接。它适合缓存、会话和快速查找场景。
10.2.2 文档数据库
文档数据库以文档为基本单位，通常支持半结构化数据。它适合内容管理、日志和变化较快的数据模型。
10.2.3 列式数据库
列式数据库按列组织数据，更适合分析查询和聚合计算。它在报表、数据仓库和OLAP场景中较常见。
10.2.4 图数据库
图数据库以节点和边表示实体及其关系，便于处理复杂关联。它常用于社交关系、推荐和路径分析。
10.3 分布式数据库系统
分布式数据库系统将数据分布在多个节点上统一管理，以提高可扩展性和容错能力。它适合大规模、多地点和高并发环境。
10.4 云数据库系统
云数据库系统部署在云平台上，通常具备弹性伸缩、按需付费和托管运维等特点。它降低了用户自建和维护数据库的门槛。
10.5 嵌入式数据库系统
嵌入式数据库系统集成在应用程序内部运行，体积较小、部署简便。它常见于移动设备、终端程序和本地软件中。
11 性能优化
11.1 查询优化
查询优化通过改写SQL、选择合适执行计划和减少无效扫描来提升效率。它是数据库调优中最直接的手段之一。
11.2 索引优化
索引优化强调为高频查询建立合适索引，同时避免过多索引带来的写入负担。索引选择是否合理，往往决定了系统的响应速度。
11.3 结构优化
结构优化包括表设计调整、字段拆分、冗余控制和范式平衡等内容。其目标是在数据一致性与访问效率之间取得更优结果。
11.4 分区与分片
分区是将一个表按规则拆分为若干逻辑部分，分片则更进一步将数据分布到不同节点。它们可缓解单表过大、热点集中等问题。
11.5 负载均衡
负载均衡通过分配请求到多个处理单元，避免单点过载。它有助于提升系统吞吐量和稳定性。
12 典型应用
12.1 企业管理系统
企业管理系统通常依赖数据库保存员工、财务、库存和流程数据。数据库系统在其中承担统一台账、权限控制和历史记录管理等职责。
12.2 电子商务系统
电子商务系统需要处理商品、订单、支付、物流和用户行为等大量数据。数据库系统在高并发访问和业务一致性方面尤为关键。
12.3 金融信息系统
金融信息系统对数据准确性、事务一致性和审计能力要求较高。数据库系统常用于账户管理、交易记录和风险控制等环节。
12.4 科学数据管理
科学数据管理涉及实验记录、观测数据、模拟结果和元数据保存。数据库系统可帮助研究人员组织数据、共享结果并支持后续分析。
12.5 移动与Web应用
移动与Web应用通常面对大量在线用户和快速变化的业务需求。数据库系统为其提供账号管理、内容存储、状态同步和实时查询能力。
13 发展与趋势
13.1 数据库系统的发展历程
数据库系统经历了从文件管理到层次、网状、关系模型，再到分布式和云化部署的演进过程。随着应用规模增长，系统更强调可扩展性、自动化和多样化数据支持。
13.2 面向大数据的数据库技术
面向大数据的数据库技术更加关注高吞吐、分布式存储和并行计算。它们通常能够处理海量、异构和持续增长的数据集。
13.3 实时数据库与流式处理
实时数据库与流式处理面向低延迟场景，强调数据到达后快速处理与即时反馈。它适合监控、告警和在线决策支持等应用。
13.4 人工智能辅助数据库管理
人工智能辅助数据库管理利用机器学习方法参与索引推荐、参数调优、异常检测和查询优化。其目标是降低运维复杂度，并提升自动化水平。
13.5 多模与自治数据库
多模数据库能够在同一系统中支持多种数据模型，减少异构系统切换成本；自治数据库则更强调自动调参、自我修复和智能运维。两者都体现了数据库系统向更高集成度和更低人工干预发展的趋势。