1 概述与历史
1.1 虚拟制片定义
虚拟制片是一种结合实时渲染、动作捕捉、虚拟现实及游戏引擎等数字技术的影视制作方法。它通过在拍摄现场实时合成虚拟背景与真实演员、道具，实现“所见即所得”的创作流程，大幅提升前期创意验证与后期制作的效率。广义的虚拟制片涵盖了从前期预演到最终输出的全链条数字化协作，其核心是在拍摄阶段即可实时预览最终画面中的虚拟元素与实拍内容的融合效果。
1.2 发展历程
1.2.1 早期数字预演（Previs）
虚拟制片的雏形可追溯至20世纪90年代末的数字预演技术。当时，电影制作者利用简单的3D动画软件制作低精度的场景预览，用于规划机位、调度和特效镜头。例如，1999年的《星球大战前传1：幽灵的威胁》就使用了基本的数字预演来设计复杂的光剑战斗和太空追逐动作。这些早期尝试为后续实时渲染技术的爆发奠定了基础。
1.2.2 LED虚拟影棚与《曼达洛人》的突破
虚拟制片真正迎来革命性突破是在2019年，Disney+剧集《曼达洛人》首次大规模采用LED虚拟影棚拍摄。该剧在拍摄现场搭建巨大的环形LED幕墙，播放由Unreal Engine实时生成的动态虚拟背景，演员直接站在“虚拟世界”中表演，摄影机实时跟踪位置，背景随镜头运动产生正确透视。这一技术不仅消除了传统绿幕拍摄的后期匹配麻烦，还让演员能直接看到环境光反射，极大提升了表演沉浸感。此后，LED虚拟制片迅速成为行业标准，各大制片厂和广告公司纷纷效仿。
1.3 与传统绿幕/蓝幕制片的区别
传统绿幕/蓝幕制片依赖后期抠像和合成，演员在拍摄时面对空白背景，无法感知最终画面中的场景光照、反射和空间关系；摄影师的布光也需完全依靠经验猜测虚拟背景的匹配效果。而虚拟制片通过LED幕墙实时显示虚拟场景，演员和摄影机可直接“看到”环境，灯光师可根据幕墙上的背景光进行实时调整。此外，虚拟制片大幅减少了后期制作中的重拍和返工，而传统制片往往需要多次补拍绿幕镜头以匹配后期特效。
2 核心技术
2.1 实时渲染引擎
2.1.1 Unreal Engine
Epic Games开发的Unreal Engine（虚幻引擎）是当前虚拟制片领域使用最广泛的实时渲染引擎。其高保真渲染管线支持电影级光照、反射、阴影和体积效果，并能以30-60帧/秒的速度输出4K甚至8K画面。Unreal Engine内置的“nDisplay”系统专为多屏同步设计，可协调LED幕墙上多个屏幕的实时输出，确保无缝拼接。此外，它的蓝图脚本系统允许非程序员快速调整场景逻辑。
2.1.2 Unity
Unity引擎凭借其轻量级、跨平台优势和强大的C#脚本生态，也在虚拟制片中占有一席之地。尤其在广告和直播领域，Unity因其较低的硬件门槛和快速迭代特性受到欢迎。Unity的“Virtual Production”工具包提供了摄像跟踪集成、实时合成和协作编辑功能。近年，Unity还在光线追踪和通用渲染管线方面持续优化，逐步缩小与Unreal Engine在画质上的差距。
2.2 动作与面部捕捉
2.2.1 光学动捕
光学动捕系统通过多个高速红外摄像机追踪演员身上粘贴的反射标记球，实时计算其三维空间位置。在虚拟制片中，光学动捕用于驱动虚拟角色（如CG怪物、替身演员）的全身动作。典型系统包括Vicon、OptiTrack和Xsens，其精度可达亚毫米级。为了抗遮挡，通常需要在拍摄区域布置8-24台摄像机。
2.2.2 惯性捕捉与手部追踪
惯性动捕（如Xsens MVN）使用穿戴式IMU传感器，无需外部摄像机即可捕捉全身动作，适合在狭小空间或户外拍摄。手部追踪技术（如Leap Motion、Manus VR手套）专门捕捉手指精细动作，用于虚拟角色手势与手部交互。在虚拟偶像直播中，惯性动捕结合面部捕捉是最常见的解决方案。
2.3 相机追踪与虚拟摄像机
2.3.1 基于标记点的追踪
基于标记点的相机追踪系统在摄影机上安装主动式或被动式标记球，通过固定安装在影棚天花板或支架上的多台追踪摄像机实时计算摄影机位置、旋转和焦距。典型系统如NCAM和Mo-Sys，其延迟可控制在2-3帧以内。追踪数据直接传输到渲染引擎，驱动虚拟摄像机与实拍机运动完全同步。
2.3.2 无标记点SLAM追踪
同步定位与地图构建（SLAM）技术允许摄影机仅依靠环境中的自然特征（如LED屏幕上的纹理、影棚墙面细节）进行自定位，无需额外标记。苹果ARKit和微软Hololens的SLAM算法被用于小型虚拟制片方案中。虽然SLAM在精度上略逊于标记点系统，但其部署便捷、成本低，适合广告和短视频制作。
2.4 LED幕墙与虚拟环境
2.4.1 曲面屏与平面屏方案
LED幕墙是虚拟制片中最核心的显示设备。曲面屏方案（如Roe Visual的系列产品）采用可弯曲拼接模块，能够包围演员形成270°或360°的沉浸环境，典型尺寸为直径15-25米、高度5-8米。平面屏方案则使用标准矩形面板拼接成L型或U型墙，成本较低，适合侧面或单方向背景。两种方案都要求像素间距在1.5mm-3mm之间，以保证近距离拍摄时不出现可见像素点。
2.4.2 色彩校准与亮度匹配
为保证虚拟背景与实拍前景的色彩、亮度一致，LED幕墙需进行严格校准。通常使用色度计和光谱仪测量每块面板的色温、伽马和最大亮度，并通过渲染引擎的调色曲线统一输出。实际拍摄时，幕墙亮度通常控制在800-1500尼特，与现场实际灯光形成动态平衡。此外，需避免摩尔纹和扫描线干扰，通过调整快门角度和幕墙刷新率（如120Hz或240Hz）来解决。
3 工作流程
3.1 前期开发阶段
3.1.1 概念设计与虚拟预演
导演与美术团队首先根据剧本绘制概念图，随后利用Unreal Engine或Maya等工具制作低精度的虚拟预演（Previs）。预演内容包括场景布局、机位运动、角色走位和主要特效节奏。预演视频可用于向制片方陈述创意，也能为现场拍摄提供精确的镜头规划。部分项目还会制作技术预演（Techvis），专门测试LED幕墙的尺寸、机位极限和灯光方案。
3.1.2 场景资产与材质制作
建模师、贴图师和光照师基于概念设计构建虚拟场景的精细资产。资产需兼顾实时渲染性能与视觉保真度，使用LOD（细节层次）、纹理图集等优化技术。材质系统采用PBR（基于物理的渲染）标准，确保在不同光照条件下反射表现自然。同时需要创建包含HDR全景的灯光环境贴图，供LED幕墙播放时作为背景和光源。
3.2 现场拍摄阶段
3.2.1 导演与摄影指导的实时决策
拍摄时，导演和摄影指导通过监视器观看实时合成的最终画面，可立即调整摄影机运动、演员走位或虚拟场景参数。例如，若发现背景的某个物体遮挡了演员表情，可直接在渲染引擎中临时移除该物体。LED幕墙上的光线变化（如日落效果）可以像调灯光一样被实时控制。这种即时反馈机制避免了传统“先拍后想”带来的后期补救成本。
3.2.2 演员与虚拟环境的互动
演员不再需要凭空想象周围的环境，他们能看到LED幕墙上的虚拟森林、太空站或城市街道。这使得演员的视线、手势和情感反应更加自然。例如，演员可以准确触碰虚拟物体所在位置（即使实际只有空气），或对突然飞过的虚拟怪兽做出真实惊吓反应。导演甚至可以让虚拟场景中的物体（如落雪、爆炸闪光）与演员动作同步，营造现场互动感。
3.3 后期整合阶段
3.3.1 实时合成与离线精修
拍摄过程中，虚拟制片系统已输出了代理合成画面（通常为ProRes或DNxHR编码的低码率文件）。后期团队可在此基础上进行最终精修，包括替换更高精度的渲染、添加特效粒子、修正颜色分级。实时合成的画面往往被作为“最终版”直接使用，不需要再执行繁重的抠像和背景替换。对于需要高自由度调整的镜头，后期可以保留原始绿幕背景作为备份。
3.3.2 光照与反射数据烘焙
在拍摄中，LED幕墙除了显示背景外，也会向演员和道具投射真实光线。后期制作时需要将这些实际光线的颜色、强度和方向信息（如HDR环境贴图）烘焙到最终的渲染材质中，确保虚拟元素与实拍前景的光照一致。这一步骤通常由渲染引擎自动记录，不需要人工重新打光。此外，幕墙上的移动光斑等动态照明也需与后期特效无缝衔接。
4 应用场景
4.1 电影与电视剧
4.1.1 科幻与奇幻题材
科幻和奇幻影视作品是虚拟制片的最大受益者。LED幕墙可以快速呈现外星球、太空站、魔法世界等难以实景搭建的宏大场景。例如，漫威系列中的瓦坎达城市、《阿凡达》的潘多拉星球均借助虚拟制片完成大量场景合成。这种技术还能轻易展现动态天空、浮空岛屿等奇幻元素，并保证镜头运动时的物理透视准确。
4.1.2 历史剧与实景还原
对于历史剧，虚拟制片可将数字重建的古建筑、街道无缝合成到实拍现场。例如，Netflix的《王冠》采用LED幕墙还原白金汉宫走廊，让演员在真实尺寸的虚拟宫殿内行走。与传统绿幕相比，虚拟制片的实时光影匹配使得历史场景更加逼真，同时省去实地取景的巨额费用。
4.2 广告与MV
4.2.1 汽车与奢侈品广告的虚拟背景
汽车广告常需展示车辆在雪山、沙漠或未来城市中行驶的画面。使用虚拟制片，只需在影棚内搭建车身局部，LED幕墙即可呈现动态道路背景，并精确模拟车窗反射和地面光影。奢侈品广告则常用虚拟场景塑造超现实美学，如漂浮的珠宝、不断变换的纹理环境。
4.2.2 音乐视频的创意实验
MV制作中的梦幻、解构主义或抽象视觉非常适合虚拟制片。歌手可以在虚拟海洋中歌唱，或在一个无限循环的几何空间内舞蹈。LED幕墙还能快速切换不同场景风格（如极简黑白与赛博朋克），大幅降低多场景换景的时间成本。
4.3 直播与现场演出
4.3.1 虚拟演播室与新闻播报
电视新闻报道中，虚拟演播室技术（如Brainstorm的Astund系统）使用实时光影合成，让主播背后的“城市地图”“股票走势图”等动态数据与摄像机运动完美匹配。大型晚会（如央视春晚）也采用虚拟制片将舞台延伸至云端或星空背景，增强视觉冲击力。
4.3.2 虚拟偶像与演唱会
虚拟偶像（如初音未来、A-SOUL）的线上演唱会依赖动作捕捉和实时渲染。LED幕墙可以呈现成千上万的虚拟观众应援打call的壮观场面。真实歌手也可以与虚拟伴舞、全息投影互动，形成虚实融合的表演。2021年Travis Scott在《堡垒之夜》中的虚拟演唱会就是极佳案例，尽管纯数字环境不属于LED幕墙，但其技术逻辑相通。
4.4 游戏开发与过场动画
游戏开发团队利用虚拟制片来制作过场动画（cinematics），通过实时渲染引擎直接在游戏场景中运镜、调整角色表演。这避免了传统游戏开发中“先做场景、再离线渲染”的割裂流程。例如《战神》系列的高潮剧情动画就大量使用了虚拟制片工作流，使得游戏内的摄像机运动与角色表情能直接复用最终资源。
5 优势与挑战
5.1 优势
5.1.1 缩短制作周期
由于拍摄阶段已完成大部分合成工作，后期特效团队无需从头抠像、匹配光影，大幅节省了时间。通常，一部采用虚拟制片的长片可以从传统18-24个月缩短至12-15个月。现场调整场景只需更换渲染引擎中的资产，无需重搭实景。
5.1.2 降低外景与特效成本
虚拟制片消除了高昂的外景协助、差旅和运输费用。一个LED影棚可以在一周内呈现出从沙漠到极地的多种场景。此外，因为实时渲染避免了大量的离线渲染排期，电力成本和渲染集群租用费用也显著降低。对于独立制片团队，紧凑的虚拟影棚方案（如“黑匣子”型影棚）甚至可以将单场景成本压缩至传统方式的30%。
5.1.3 增强演员表演沉浸感
演员在面对LED幕墙时，能直接看到虚拟世界的细节（如飘动的树叶、远处的火焰），这有助于其更加投入角色情绪。许多演员在采访中表示，虚拟制片让他们感觉“真正置身于故事中”，而不是在空荡荡的绿幕前幻想。这种沉浸感对于儿童演员或需要表演细微表情变化的主演尤为重要。
5.2 挑战
5.2.1 硬件与算力需求
高质量的虚拟制片需要高性能渲染服务器（通常配备多张NVIDIA RTX A6000或以上显卡）、大容量光纤数据传输系统和低延迟的摄影追踪设备。一套中型LED影棚（直径20米）的基础硬件投入往往在2000万人民币以上。中小企业难以负担。
5.2.2 技术团队跨领域复合能力
虚拟制片要求团队成员同时掌握游戏引擎、实时渲染优化、摄影机追踪、灯光布设、现场导演调度等多门技术。既懂影视拍摄又懂程序开发的“虚拟制片艺术家”十分稀缺。当前许多影棚依赖于外部技术顾问团队，增加了沟通成本。
5.2.3 数据管理与场景一致性
项目过程中会生成大量的场景资产、渲染缓存和追踪日志。不同版本之间的场景变更（如替换一个建筑模型）需要严格的版本管理系统，否则可能出现拍摄现场的虚拟背景与后期精修版本不匹配的问题。此外，渲染引擎和动捕系统的软件版本更新也可能导致兼容性问题。
6 未来发展
6.1 AI辅助与自动化场景生成
人工智能将极大简化虚拟场景的制作过程。例如，通过文本提示（如“夜晚的哥特式城堡”）即可自动生成3D场景并优化光照。AI也可实时分析演员的微表情并驱动虚拟角色口型同步，减少手动动捕校准。自动化LOD生成和纹理修补功能将进一步提升渲染效率。
6.2 云端协同与远程虚拟制片
借助5G和云计算，虚拟制片可以实现异地协作：导演在洛杉矶控制摄像机，而影棚在北京实时渲染。云端渲染农场可以按需提供算力，降低本地硬件门槛。微软Azure、亚马逊AWS等已推出面向虚拟制片的云渲染解决方案，预计未来几年内将成为中小工作室的标配。
6.3 混合现实与全息显示技术
下一代虚拟制片可能摆脱物理LED幕墙，转向混合现实头显或全息投影。例如，演员佩戴AR眼镜即可看到虚拟环境，摄影机则通过同步定位技术捕捉这些虚拟元素。全息显示技术（如Looking Glass）可让团队成员从任意角度直观预览3D场景，无需佩戴专用设备。这些技术将使虚拟制片从“固定影棚”走向“可移动的微型工作室”。
7 知名案例
7.1 《曼达洛人》（The Mandalorian）
2019年首播的第一季是虚拟制片历史性里程碑。该剧使用直径约23米、高6米的LED环形巨幕（由Roe Visual提供），搭配Unreal Engine 4.21实时渲染。几乎全部剧集均在名为“The Volume”的虚拟影棚内完成拍摄，仅在需要极度特写时使用绿幕补拍。其出色的光效和角色沉浸体验赢得了艾美奖最佳特效奖。
7.2 《星际探索》（Ad Astra）
2019年电影《星际探索》部分高难度太空场景采用了类似的LED虚拟影棚。尤其是火星基地的内部场景，幕墙呈现了模拟火星表面的红色天际线，演员在真实的沙土地面上行走，与背后虚拟的火山口完美融合。该片证明了虚拟制片不仅适用于科幻剧集，也能支撑电影级的情绪氛围。
7.3 《西部世界》第三季
HBO的《西部世界》第三季中，虚拟制片主要负责未来城市“国际公园”的许多场景。通过LED幕墙，该剧无需大规模外搭实景就实现了霓虹闪烁的未来街道和巨型全息广告。摄影指导表示，虚拟制片让复杂摄影调度变得更加灵活——当需要镜头穿越大楼转角时，虚拟背景会随摄影机移动而实时调整。
7.4 虚拟制片在广告中的典型应用
2019年保时捷Taycan的广告拍摄中，团队在一个LED影棚内模拟了从德国慕尼黑到中国上海的跨国公路场景。车辆仅拍摄车内和车头局部，外景全部由动态虚拟背景呈现。广告最终仅用三天就完成拍摄，而传统方式需要去四个不同国家取景三周。类似案例还有《Fortnite》与Balenciaga的联名广告，以及雷克萨斯ES系列的“雨林环游”创意视频。
8 参考与延伸阅读
8.1 行业标准与白皮书
- SMPTE ST 2110: 专业媒体网络标准（用于虚拟制片中的实时视频传输）
- NVIDIA “Virtual Production in Practice” 白皮书
- Epic Games “Virtual Production Field Guide” (免费在线文档)
- 国际虚拟制片协会 (VPSA) 发布的最佳实践指南
8.2 相关技术社区与工具
- Unreal Engine 官方论坛（含虚拟制片版块）
- Unity Connect 中的 Virtual Production 子社区
- Mo-Sys 和 NCAM 相机追踪系统官网
- Roe Visual 和 Absen 的LED屏幕技术文档
- Renderdoc（实时渲染调试工具）
- ActionVFX（虚拟制片常用素材库）