基于LED背景墙的电影虚拟化制作关键技术研究

本文刊发于《现代电影技术》2021年第8期

专家点评

近年来，高新技术格式电影和视觉特效影片持续推出，4K、8K、3D、4D、巨幕（Giant Screen）、高帧率（HFR）、高动态范围（HDR）、广色域（WCG）等新兴视听技术广泛应用，电影的制作水平与质量要求不断提升。虚拟制作技术是当今电影制作环节最为重要的技术领域之一，对其关键技术的研究将有效推动电影制作端技术应用水平的不断提升，为增强电影拍摄制作水平和服务能力提供科技支撑。此外，由于该技术涉及领域广，构成子系统多，发展又处在起步阶段，及时对其国内外应用发展趋势和关键技术深入研究非常必要。

《基于LED背景墙的电影虚拟化制作关键技术研究》一文正是针对上述问题，同时结合北京电影学院LED 虚拟摄影棚的建设及应用,对使用基于LED背景墙的虚拟化制作技术进行了归纳和总结，对LED显示、渲染、跟踪、交互、照明等关键技术进行了分析与研究,对测试和应用过程中遇到的问题进行了梳理，提出了切实可行的解决方案。文章结构清晰，内容详实，能够为影视从业人员全面了解基于 LED 背景墙的电影虚拟化制作技术提供非常好的参考，同时为该技术在行业内的应用提供有益的指导。

——张伟，教授级高工，

中国电影科学技术研究所

（中央宣传部电影技术质量检测所）

党委书记、所长

作者简介

陈军，北京电影学院影视技术系研究员，主要研究方向：数字电影技术；

赵建军，北京电影学院影视技术系副教授，主要研究方向：数字电影技术；

卢柏宏，北京电影学院中国电影高新技术研究院硕士研究生在读，主要研究方向：数字电影技术。

摘 要

近两年，基于LED背景墙虚拟化制作技术成为了影视制作领域的研究和应用热点，这种新型技术给影视制作带来了新的可能性，然而目前该技术研究层面仍缺乏整体性的技术总结和问题梳理。本文结合北京电影学院影视技术系LED摄影棚的搭建及测试应用，对使用基于LED背景墙的虚拟化制作技术来制作高质量内容背后的关键技术进行总结归纳，尤其是在显示、渲染、跟踪、交互、照明等方面进行了深入分析与研究，探索高效获取高质量影像、优化电影制作流程的可能性。

电影虚拟化制作 LED背景墙 数字电影制作 数字特效

1前言

近年来，随着科学技术的发展，影视行业产生了巨大的变革。目前，影视制作的热点之一就是基于LED背景墙的电影虚拟化制作技术。这种新型的制作技术能够给现场拍摄带来“所见即所得”的自由创作环境、真实的环境光照以及更大程度上的“后期前置”，在解决了传统虚拟化制作中的蓝绿幕溢色等问题的同时，减少外出取景拍摄的风险，受到电影制作研究领域和应用领域工作者的关注。特别地，在疫情期间及后疫情时代全世界多地开始进行基于LED背景墙虚拟化制作摄影棚的搭建，这在方便影视制作创作的同时，进一步推动了影视工业化的进展。本文在大量实测基础上对基于LED背景墙虚拟化制作系统背后的关键技术进行了总结，在LED显示、实时渲染、摄影机跟踪、灯光匹配及人机交互方面，针对发展路线、技术原理、目前存在的局限性作了深入分析与探讨。

图1 基于LED背景墙的电影虚拟化制作系统框架

基于LED背景墙的电影虚拟化制作系统，整体制作框架如图1所示，其关键技术可以大致分为LED背景墙的显示技术、虚拟场景的渲染技术、摄影机内外参跟踪技术、灯光照明、人机交互技术等，本文分别就上述关键技术进行阐述介绍。

2LED显示技术

随着制造和封装技术的发展，小间距LED显示屏产品逐渐开始应用于影视行业前、中、后期的各个环节。其高亮度、高动态范围、寿命长、功耗低、工作稳定可靠等特点，使得其能够满足高质量影像显示的需求。随着LED显示技术的发展，像素间距越来越小、像素排列愈加紧密、灯珠各项参数不断提高，能够在大屏上显示高分辨率、高动态范围、广色域的画面，一定程度上可与真实世界的光环境进行匹配。因此，基于LED背景墙的显示技术成为电影虚拟化制作得以快速发展的硬件基础。

2.1LED显示原理及优势

相较于传统的投影等大屏显示方式，LED显示原理的核心区别在于面板上的每颗灯珠主动独立发光，基于空间混色效应实现颜色显示。

在亮度、对比度、黑位水平方面，LED屏幕有明显优势。投影式放映机采用氙灯、激光光源或LED，将影像放大投射至幕布上，经过漫反射进入观众眼中。由于放映机工作温度限制、光源寿命下降导致衰减、透镜易落灰、银幕反射率有限等因素的影响，光路在多个环节易出现衰减，使得放映画面难以达到较高的银幕亮度；在显示纯黑信号时光源依然开启，黑位水平难以降低，因此帧内、帧间对比度有限。相比之下，LED屏幕的每个像素点均可通过驱动达到较高亮度，其自发光特性消除了光路衰减的干扰，最终呈现的亮度可达投影式放映机的10倍以上。同时，在显示纯黑信号时，像素点可完全关闭，将黑位水平降至最低。因此，LED屏幕的帧内、帧间对比度均有大幅提升，可服务于高动态范围影像的呈现。

均匀度指影像在屏幕上亮度和颜色的一致性，LED显示屏在该方面优势更为明显。投影式放映机以银幕中心为基准校正颜色和亮度，校准空间有限，从中心到角落可能出现25%以上的亮度衰减，同时颜色也容易出现偏移。此外，由于放映机光源从球面镜头发射，经一定距离投射至银幕平面，光路上经过的光学表面较多，这些表面的光学特性导致画面容易出现畸变。LED屏幕在投入使用前，会针对全部模组进行校正，最大程度地保证屏幕各个区域亮度和颜色的均匀度。同时，因 LED为点对点映射驱动，像素点位置排布均匀且固定，像素直接发光，不存在光路上的干扰，因此解决了画面畸变的问题。

2.2 大型LED背景墙显示及其控制方式

像素（Pixel）是LED显示屏上的最小可控成像单位，LED显示屏上的每个像素由封装在灯座上的RGB三色发光二极管灯珠构成。通过树脂或者塑料面板将LED像素封装为像素阵列，若干像素阵列与驱动芯片、PCB电路板构成一个显示模块（display module），若干个显示模块连同控制电路及相应结构件构成一个显示模组（display panel）。LED背景墙由多个显示模组拼接而成，可按需求组合为不同规格和分辨率，形成CAVE式四面环绕或180°以上环形排列的大型背景墙结构，服务于电影虚拟化制作。

由多块显示模组构成的LED背景墙，需采用配套LED控制器和拼接器实现同步显示。LED控制器可将HDMI、SDI等不同格式的输入视频信号，通过网线或光纤输出给LED屏幕模组序列，模组间以网线连接传递信号，从而实现驱动上屏。同时，控制器具备本地及远程控制接口，可通过软件对屏幕显示特性进行控制和校正。此外，控制器还提供Gen-Lock接口，以满足信号同步需求。LED拼接器可将完整的图像输入信号划分为多块后分配给多个视频显示单元，常与控制器配合使用，其功能也可集成在控制器内。

在LED背景墙虚拟化制作中，多台计算机实时渲染输出的虚拟场景视频信号，通过视频接口输入给对应LED控制器，控制器驱动信号实现上屏。根据控制器带载限制，可按需求分配计算机与对应LED屏幕区域的映射关系。

在能耗方面，大面积自发光LED显示屏每平米峰值功耗可达700~800W，以一个25米长、4米高的LED显示屏为例，峰值功耗可达70~80kW。接线时，需要对电源线进行分组，以免输出过载。高功耗也伴随着较高的发热量，对现场的通风散热也有一定的要求。

2.3 LED屏应用中存在的问题与解决思路

在基于LED背景墙的电影虚拟化制作中，像素间距（Pixel Pitch）是影响成像质量的核心因素。像素间距指LED显示屏相邻两个像素点中心的距离，记作P，单位为毫米。像素间距决定了LED显示屏的像素密度，直接影响人眼观看距离及摄影机内拍摄画面摩尔纹等属性。在其他拍摄条件相似的情况下，应尽量选取像素间距较小的LED屏产品，实现高质量的画面拍摄。

白场峰值亮度、色域范围、色彩准确性、亮度和色度均匀性，是评价LED屏幕性能的主要指标。在实际使用中发现，随着点亮时间和温度增加，LED模块存在白场亮度衰减、色度坐标偏移的现象。解决该问题需要确保LED在拍摄前预热至稳定状态，并在控制器内开启白点色温动态校正功能。此外，在考察LED亮度和色度均匀性时，由于RGB灯珠排列和封装方式影响，相对于屏幕法线方向而言，在水平和垂直离轴方向常出现亮度衰减及色度坐标偏移问题，这使得倾斜拍摄屏幕时会发生一定程度的偏色现象。解决该问题首先需要尽量避免极端的拍摄角度，其次是更多地采用弧形背景墙结构，增加可用的拍摄角度。

LED屏幕及控制器支持的电光转换函数（EOTF）、位深、最小有效黑电平等指标，决定了屏幕成像的层次细腻度和非线性特征。当前LED模块及控制器的处理位深通常可达16bit，也能支持10bit、12bit输入视频信号显示及不同的SDR/HDR EOTF标准，但在暗部常因位深不足而出现断层（Banding）现象。对控制器而言，可采取时间抖动（Temporal Dithering）和空间抖动（Spatial Dithering）方式，间接提升低灰部分的显示位深，以实现暗部平滑显示。

摩尔纹（Moiré Pattern）是摄影机直接拍摄LED背景墙面临的最大干扰，其成因是屏幕像素密度与摄影机CMOS像素点采样密度不匹配。在实际测试中，镜头光心到屏幕距离、镜头焦段、光圈大小、对焦距离、拍摄方向与法线的垂直和水平夹角等因素，都会对摩尔纹的多少产生影响。此外，LED背景墙虚拟化制作还面临LED面板的反光问题、使用LED屏构建的环境光照因为灯珠光谱窄而导致的显色性差等问题。在基于LED屏的虚拟化制作中，我们通过将LED屏显示的背景置于焦外、补充数字灯光矩阵照明等方式来一定程度地规避这些问题。

3渲染技术

3.1 实时渲染技术

实时渲染较离线渲染速度要求高、质量要求低，较多应用于游戏等对画面要求相对低的领域，而动画与影视特效则往往使用渲染速度慢、质量高的离线渲染方式。随着计算机硬件与渲染技术的发展，实时渲染的质量不断提升，尤其是基于物理的渲染（PBR, Physical based Rendering）与实时光线追踪技术（Real-Time Ray Tracing）的引入，为实时渲染在影视制作中的应用带来了可能性。

基于LED背景墙的电影虚拟化制作技术建立在实时渲染的基础上，它要求虚拟场景随着真实摄影机的运动、用户的交互控制实时地渲染画面。多年前，基于绿幕的电影虚拟化制作已经将实时渲染画面用于现场预演，随着渲染技术的进步和渲染效果的提升，实时渲染技术能够保证电影虚拟化制作现场LED背景墙画面和光照效果更加真实。

实时渲染技术在传统离线渲染技术的基础上，使用了降低精度、提高计算速度的加速算法与数学近似技巧、大量离线计算的预计算数据。例如基于LED背景墙的电影虚拟化制作中使用的实时渲染引擎，采用了光线追踪与光栅化混合的渲染管线，结合预计算处理和针对采样的多种后处理技巧，如屏幕空间采样、深度学习超采样（DLSS）、低采样次数光追渲染的降噪技术等，带来了更加精细的实时渲染画面与更加真实的光照。

3.2 多机同步渲染

基于LED背景墙的电影虚拟化制作使用小间距LED屏组成的高分辨率屏幕作为背景进行拍摄制作，如果采用单台计算机进行渲染，当前的计算机渲染能力有限，无法满足需求。故须引入多机同步渲染技术，即利用多台计算机同时进行渲染，每台计算机配备较强的计算硬件，配置完全一样的渲染引擎与资产，连接在同一局域网下，基于网络协议发送启用同步渲染指令，实时传递外部输入数据如摄影机位姿、交互控制数据、同步信号等信息，来执行对应的渲染任务。多台计算机间的渲染画面的同步控制则由基于网络的软同步或者基于支持Gen-Lock信号的显卡硬件同步，使用同步卡输出脉冲信号给GPU来实现，以解决多机不同渲染区域有快速变化的内容时可能产生的画面撕裂问题。

图2 渲染节点结构

与传统的实时渲染不同，渲染画面的显示介质LED屏很多时候并不是一个矩形、平直的屏幕，而是环绕拍摄现场的多块屏幕或者曲面屏。这是因为影视拍摄中，LED屏幕的可视角度大约在140度左右，摄影机垂直拍摄屏幕效果最佳，从斜侧方拍摄LED屏幕会产生偏色和摩尔纹现象。使用弧形屏可以使摄影机的拍摄角度尽可能接近垂直屏幕。

渲染的观察视点也并不在屏幕的中心垂线上，根据内外视锥的不同，外视锥的视点相对LED屏不会移动，因此观察视点大约在摄影机、演员活动的中心位置，内视锥的观察视点则是摄影机镜头的主节点位置。因此需要将摄影机拍摄到的虚拟场景投影到LED背景墙上，再根据投影关系进行逐像素的渲染。

由于上述特点，基于LED背景墙电影虚拟化制作中，实时渲染必须根据渲染任务情况，将任务尽量平均地分配到多台渲染主机进行渲染。

3.3 内外视锥渲染技术

基于LED背景墙的电影虚拟化制作技术的核心概念是摄影机内视效，即摄影机直接拍摄得到真实画面与虚拟背景的合成结果。在LED屏上，我们使用相对固定的外视锥形成的光照环境来模拟真实的光照与色彩匹配，使用内视锥作为摄影机直接拍摄的背景，内外视锥的渲染要分别单独进行。

外视锥是各屏幕上渲染的主要视口，主要起到照明作用。对每一块独立渲染的屏幕，都有一个外视锥视口；但所有外视锥仅有一个视点，该视点一般为固定视点，在整个场景中很少移动，或是在交通工具内的视角等特殊镜头中相对稳定地移动。外视锥会渲染在环绕拍摄环境的所有LED屏上甚至应用于灯光矩阵，从而再现视点处“真实”的照明效果，以模拟角色、道具身处环境之中的观看效果和光照效果。这也避免了传统制作流程中绿幕拍摄时“泛绿”难以处理、灯光匹配需要大量重复机械式调参、高反射材质的不易进行光照匹配等问题。

图3 内外视锥

内视锥是叠加在外视锥上层的独立视口，与摄影机内外参数强关联，主要覆盖摄影机取景范围，作为拍摄画面的合成背景使用。内视锥主要用来做摄影机直接拍摄的背景画面，这种摄影机内拍摄合成的方式替代了后期抠像合成，简化了制作流程的同时减少了抠像、擦除等人力劳动。内视锥的渲染画面，由于摄影机位置更新、渲染带来的延迟，以及LED屏像素密度带来的摩尔纹等干扰，所以往往采取提高计算设备性能、减缓摄影机移动速度、将LED屏上背景内容进行小景深虚化处理等方法来规避。