网易首页 > 网易号 > 正文 申请入驻

《现代电影技术》|曾志刚等:继承与变革:探索AI技术赋能影视制作新路径

0
分享至


本文刊发于《现代电影技术》2025年第3期

专家点评

人工智能(AI)技术发展突飞猛进,创新成果持续涌现。从传统的浅层机器学习和基于多级神经网络的深度学习,到大语言模型、多模态大模型和多智能体系统(MAS),AI技术正向通用人工智能(AGI)加速演进。作为智能计算时代的共性支撑技术,AI技术通过与各个行业和领域的业务特点与发展需求紧密结合,形成定制化系统化专业化的整体应用方案,进而有效服务行业领域发展进步和提质增效。影视制作是AI技术应用的重要领域和典型场景。当前AI技术在影视制作领域的发展与应用持续泛化和不断深化,人工智能生成内容(AIGC)、AI大模型等应用愈加广泛和深入,AI生成内容质量、技术性能、可用性、有效性持续提升,新模式新路径新方法不断涌现,有力推动影视制作提质优化和创新升级。《继承与变革:探索AI技术赋能影视制作新路径》一文基于继承变革逻辑和典型应用案例,细致分析了AI技术在影视创作生产环节的发展应用、作用影响和优势挑战,并提出“全栈式AI影视制作平台”等前瞻性思考与展望,对于推动AI技术与影视制作实现深度融合和创新应用具有较高的指导意义和应用价值。不可否认,当前AIGC、跨模态生成、多智能体协同等技术应用与影视行业需求在技术品质、生成质量、艺术融合、精准度、可控性、适配性等方面尚存差距,需要积极有效应对和加快迭代进化。总之,影视制作向智能化演进是大势所趋和系统工程,不可能一蹴而就,需要顺应趋势、循序渐进和整体推进,不断探索实践新模式新路径新方法,并结合AI技术发展演进和影视创作生产实践持续优化完善。

——刘达

正高级工程师

中国电影科学技术研究所

(中央宣传部电影技术质量检测所)总工程师,《现代电影技术》主编

作 者 简 介

曾志刚

北京电影学院影视技术系研究员,主要研究方向:戏剧与影视学、数字电影技术。

北京电影学院影视实验中心实验师,主要研究方向:数字电影制作、影视技术。

罗梦舟

刘 星

助理研究员,北京电影学院影视实验中心副主任,主要研究方向:媒介经营与管理、实践教学。

北京电影学院影视技术系硕士研究生在读,主要研究方向:数字电影技术。

张一凡

人工智能(AI)技术飞速发展,其与影视制作的聚合引发了行业变革。AI技术当前正在影视制作各个环节发挥着不同程度的作用,本文通过对AI技术实际应用案例的分析,探讨其在提升生产效率、增强制作能力及拓展创作可能性方面的重要作用,总结其在影视制作中的优势与挑战,并对其未来应用前景进行展望,旨在为AI技术与影视制作的创新融合提供参考与启示。研究表明,AI当前可实现剧本生成与分析评估、自动剪辑、智能调色、特效辅助生成等工作,但在可控性、协同性和生成规格等方面与理想应用尚存差距。未来在深度学习(DL)技术革新和多模态融合的推动下,AI将推动实现更高效的创制流程,其技术应用将向更加智能化和全面化演进。

关键词

人工智能;影视制作;剪辑调色;视效;人工智能生成内容(AIGC)

1 引言

人工智能(AI)是指由人类制造出的机器所表现出的智能,其可执行如感知、推理、学习、规划和解决问题等通常需要人类智能完成的任务。AI旨在提高效率、降低成本、增强决策能力,并在某些情况下,执行人类难以或无法完成的任务。随着AI技术近年的不断发展,影视制作领域正经历着深刻变革,涌现出种类繁多的AI应用。

作为一门由技术革命带动创新发展的艺术形式,影视艺术经历了从无声到有声,从黑白到彩色,从胶片到数字,再到追求高分辨率(HR)、数字立体(3D)、高亮度(HB)、高动态范围(HDR)、高帧率(HFR)、广色域(WCG)和沉浸式音频(IA)等高新技术格式,每次技术飞跃都极大增强了影视作品的表现力和观众的观影体验。AI技术的介入使影视制作能力得到提升,其能辅助编剧创作剧本、辅助艺术家优化视觉效果并生成逼真的虚拟生物和场景;更重要的是,AI技术拓宽了艺术创作边界,提供了更多元的创作手段,缩短了制作周期并促进影视作品形式与内容的多样化。AI技术将成为影视制作领域发展的核心推动力,逐步兑现其在提升创作效率、优化技术流程、引领艺术创新等方面的巨大潜力。本文着眼于AI技术在影视制作流程中的实际应用和相关案例,研究AI技术对原有影视制作技术的继承与变革,探索AI技术赋能影视制作的新路径。

2 AI技术已全面改变影视制作流程

广义的影视制作流程涵盖影视作品从创意构思到发行放映前的多个阶段,具体分为筹备、拍摄和制作三个环节(图1)。传统的影视制作流程离不开大量艺术家和专业技术工作者的通力协作,其协调沟通成本较高,对团队成员间的默契提出较大考验;流程中也有诸多需人工完成的基础性工作,如手绘分镜头脚本、挑选素材、镜头色彩匹配等,不仅消耗了大量人力物力,也限制了创作的灵活性。虚拟摄制技术的出现促进了传统影视制作流程的前后期融合,通过计算机图形学(CG)、动作捕捉和实时渲染等技术的综合运用,将逼真的虚拟影像和真实人物场景相结合,使整个摄制过程更加高效协同。在现场拍摄阶段,虚拟摄制技术可完成场景构建、虚拟预演(PreViz)和实时特效合成,使演员与虚拟元素互动,实现“所见即所得”。制作阶段是对拍摄的延续和完善,对拍摄素材和虚拟元素进行更精细的调整和合成,以达到最终视觉效果[1]。


图 1 传统影视制作流程

AI技术被引入影视创制流程中各个阶段,进一步提升了电影的工业化属性,其配合虚拟摄制技术使整个流程更为可控,开启了新时期电影摄制提质升级发展进程。AI可在创作人员的提示主导下生成创意和构思,辅助完成剧本策划和编写工作,并按要求生成影片分镜和场景气氛图等;在前期摄制阶段可提高绿幕摄制的准确率和效率,自动精准对焦,提高动作捕捉与面部捕捉的真实性等;在剪辑阶段可实现识别素材并自动剪辑为短视频等;在调色阶段能智能区分场景并实现校色和一键色彩风格化等;在视效制作阶段可辅助生成特效画面、实现智能化数字减龄和生成数字人等。影视制作行业在AI技术引领下已然开拓出一条全新的发展路径。

3 筹备阶段

影视制作的筹备阶段对于确立影片的整体基调和框架至关重要,是构建影片叙事呈现和创作风格的核心环节,AI技术在该阶段发挥的作用日益增强,在剧本智能生成、剧本分析与评估、分镜头脚本与场景概念图生成和项目智能评估等方面均有所建树。

3.1 大语言模型(LLM)在剧本生成和分析评估方面的应用

当前,市场对于高质量剧本及高效项目运作模式的需求与日俱增。在此背景下,大语言模型(LLM)和自然语言处理(NLP)技术无疑为剧本的智能生成和分析评估提供了新的驱动力。目前该领域应用情况如表1所示。

表1 大语言模型在剧本生成和分析评估方面的应用及建议汇总


3.1.1 剧本智能生成

AI技术在剧本智能生成方面主要依托大语言模型应用,以ChatGPT为代表,通过深度学习(DL)和大规模数据训练,掌握语言的多样性和复杂性,能够生成连贯且富有故事性的剧本内容,提供创作灵感并且提高创作效率。2022年12月,ChatGPT“自编自导”短片《安全地带》,创作团队通过输入关键词与ChatGPT进行创意探索,生成多个故事构思,团队选定其中一个并指导其进一步扩展剧情,过程中对不合逻辑或偏离主题的内容进行调整优化[2],高效完成了剧本创作任务。除ChatGPT外,Benjamin、Celtx等工具也在全球电影行业被广泛应用。

对于国内影视创作而言,国产大语言模型豆包、文心一言和智谱AI等更擅长中文自然语言处理领域,同样是基于大量数据训练的深度学习模型,在理解中文语境、成语和俗语方面表现出色,适合应用于中文内容的生成和处理。

3.1.2 剧本分析与评估

在剧本分析方面,AI技术能解析剧本结构、情节进展和人物关系,识别剧本主题、冲突和高潮等核心元素。在质量评估方面,AI技术能对剧本的对话流畅度、情节连贯性和人物刻画进行量化分析,提供客观评分和反馈。以上功能均依托NLP技术实现。

中文AI剧本分析工具海马轻帆应用NLP语义分析和深度学习技术实现剧本智能评估功能,可识别出剧本中故事线、角色关系和场次结构等关键元素方面的问题,为《你好,李焕英》《流浪地球》等电影在剧本创作阶段提供了优化调整方向。华策影视AIGC应用研究院开发了一系列AI工具,如编剧助手、剧本评估等,经测试,一部120万字的小说可在30分钟内完成评估,而传统人工评估方式则需耗时一周。Filmustage作为一个利用AI大模型简化电影制作过程的平台,可快速将剧本分解成场景和元素(如服装道具和角色),还可自动创建摄制周期表,帮助制作人高效规划摄制流程。

3.1.3 项目智能评估

AI技术在项目智能评估领域的应用是多维的,通过对以往影视作品案例的深度学习,AI可预测某种类型影片在特定受众群体中可能获得成功的程度。此外,AI在演员和摄制场景挑选过程中可提供数据支持,包括通过面部识别和图像分析技术快速匹配演员与角色形象,根据剧本内容推荐适合的摄制地点和场景。

华纳兄弟公司应用Cinelytic项目管理系统来辅助内容方面的决策,根据行业数据提供实时票房预测,预测过程中重点计算演员阵容、发行日期、市场类型和放映方式等因素及一些附加特征,如电影类型、是否为续集或改编等。Cinelytic对电影《好莱坞往事》进行了评估,并测算其在美国的票房将达到1.261亿美元,最终其票房收入为1.425亿美元,与测算结果较为接近[3]。国内猫眼平台凭借自研AI模型在电影《消失的她》上映4天票房仅为6亿元人民币时,预测票房收入可达33亿元人民币,该片最终票房为35.23亿元人民币,与预测结果相近。爱奇艺在2018年推出了基于AI的“艺汇”智能选角系统,通过AI大数据分析明星库进行选角,爱奇艺平台结合片方提供的选角要求和演员信息,使用该系统完成2023年爆款电视剧《狂飙》智能选角,提高了选角效率,降低了时间成本。

以上案例说明AI在项目智能评估方面,能为影视项目的决策提供科学依据,降低投资风险。同类型的相关应用还有StoryFit、ScriptBook、Merlin AI、安捷秀、灯塔专业版和有风大模型等。

3.2 文生图大模型在影视制作中的应用

近年AI技术在分镜头脚本与场景概念图生成方面的应用发展迅速,以文生图(Text⁃to⁃Image)模型为代表,其基于深度学习、生成式对抗网络(GAN)和卷积神经网络(CNN)等关键技术,可根据剧本内容自动生成分镜头脚本,还能根据场景描述生成符合剧本情境的概念图,展示不同光线、色调和环境下的场景氛围,提供直观的视觉感受。当前主流的文生图应用汇总如表2所示。

表2 文生图AI 应用及建议汇总


在电影短片《安全地带》的制作过程中,由ChatGPT给出的制作细节被输入至文生图应用DALL·E和Midjourney中,生成可用的电影分镜故事板。电影项目《霞光路28号》使用Midjourney辅助生成了场景气氛图和人物形象参考图,在美术部门尚未加入前填补了空缺。科幻短片《星绪》剧组在虚拟资产设计阶段利用生成式AI应用生成了“飞船”外观设计图和“荒原”场景气氛图,大幅缩短了资产制作周期:手绘方式完成一张场景设计图需要概念设计师花费几天时间,而利用生成式AI仅1个小时即可完成数百张。

传统分镜头脚本和场景概念图流程离不开导演组和美术部门的合作,由美术人员通过手绘将导演对影视作品视觉风格和叙事节奏的设想转化为具体的视觉图像,对专业技法要求较高,且存在耗时费力、难以修改及成本相对高昂等问题。文生图大模型具备将文本创意快速转化为视觉图像的能力,能够为导演和美术部门提供丰富的视觉素材和创意灵感,提高影视制作的效率和质量。

4 拍摄阶段

拍摄是影视作品的核心环节,通常包括美术场景和道具准备、灯光和摄影机机位设置、视觉效果设计、现场协调管理和场景摄制等方面。在摄制现场,导演和摄影师往往需要根据现场光线变化和演员表现等因素进行即时判断,这类决策目前仍是AI难以替代的领域;同时,AI技术所需的强大计算能力与高速网络,外景地或移动摄制环境往往难以满足,因此AI技术在拍摄阶段还未被广泛应用,目前主要集中在绿幕摄制、自动对焦和动作面部捕捉方面。

4.1 现场拍摄

4.1.1 绿幕拍摄

传统的绿幕摄制依赖人工手动抠像,效率低下且易出现抠像不精确、边缘不自然等问题。通过计算机视觉和深度学习算法,AI技术可更好识别并分离前景与背景,极大提高抠像的效率和准确性。

奈飞(Netflix)公司推出的“品红绿幕”(Magenta Green Screen, MGS)是一种基于AI的绿幕摄制系统,能更快速、准确地将真人演员素材与不同背景合成。在这项技术中,演员站在明亮的绿色LED屏幕前,同时被红、蓝双色灯光照亮(图2),随后通过不同颜色通道将前后景严格区分,再在AI技术帮助下参考演员在正常灯光下的照片,恢复前景真实色彩,从而创建出准确无误的抠像通道[4]。


图2 MGS智能绿幕系统[5]

此外,灯光也是决定绿幕摄制质量的关键因素,现场布光需精确匹配后期合成场景的光源逻辑,但受制于现场环境复杂性与主观判断差异,人工布光常出现光线方向、色温、强度与虚拟背景不兼容的问题。在虚拟摄制中,LED屏幕虽能部分解决背景光源匹配问题,但仍需反复调试灯光位置和参数,单场景布光耗时可达数小时甚至整日。

ULight智能光场是基于南加州大学创新实验室研发的自动灯光还原系统,通过球状空间内上万个发光点构建动态光场,可模拟超亿种光线照射模式并实现实时环境融合。其核心技术在于通过AI算法分析画面中人物的阴影和光照条件,自动生成实景光照效果。剧集《我们的婚姻》应用该技术后单日拍摄效率提升66%,制作周期缩短40%,实现了制作方面的降本增效。

4.1.2 自动对焦

在电影画面中,精准的对焦是决定画面质量的关键,AI自动对焦技术提升了摄影机对焦的精确性和响应速度,通过实时面部、眼睛和物体追踪,实现高效且精准的主体对焦,提高了摄制效率和画面质量。

索尼(SONY)公司于2024年1月发布的CineAltaB电影摄影机采用了AI智能芯片,能够精准识别并跟踪被摄主体,摄影师无需跟焦员帮助即可准确调整焦点,尤其在低光照、浅景深和高速运动摄制场景中该系统表现更为优异。在电影短片《舞·夜》中,主创团队使用该摄影机在低照度场景中拍摄大幅度运动的现代舞舞者,凭借其AI自动对焦技术获得了连贯且准确的焦点,规避了因为开大光圈导致的对焦困难问题[6]。

4.2 动作与面部捕捉

AI技术的介入提高了动作捕捉与面部捕捉的准确性,并能帮助艺术家更好地将动作或面部数据转换为逼真的角色动画。

数字王国(Digital Domain)和维塔数码(Wētā FX)开发了Masquerade与Direct Drive两套系统应用于《复仇者联盟4:终局之战》“灭霸”角色的面部表情捕捉和制作。Masquerade系统通过头戴式摄影系统获取人物的面部扫描数据并进行学习,获取150个面部点数据并转换成约4万个高分辨率3D演员面部表情数据;随后Direct Drive系统提取上述数据,关联演员和虚拟角色的面部表情,从而精确呈现演员的表演和情感,协同创建出栩栩如生的灭霸形象[7](图3)。


图3 AI面部捕捉技术辅助生成“灭霸”形象[8]

Wētā FX在SIGGRAPH Asia 2022公布了用于电影《阿凡达:水之道》的解剖学上可信的面部系统(Anatomically Plausible Facial System, APFS)。开发团队通过对面部肌肉的分布和连接进行研究,基于肌肉纤维曲线的收缩或松弛来捕捉自然的面部动作,为面部建模和动画提供高精度控制。同时,APFS系统还使用深度神经网络(DNN)模仿动物神经网络行为特征,通过大约7万至10万次的面部扫描训练AI模型,实现了电影中纳美人面部动画的精准高效生成[9]。

当前其他主要动作捕捉与面部捕捉AI应用还有RADiCAL Motion、Animate 3D、Kinetix、Invisible、Daz 3D和千面AI等。

5 制作阶段

制作是关乎影像呈现效果的关键环节,覆盖从素材整理到成片输出间的系列工作,与画面相关的包括剪辑、调色和视效等环节,AI技术在此阶段的应用较为广泛,各环节均有成功的应用实例。

5.1 剪辑

AI技术在剪辑环节的应用主要体现在素材标注整理和智能剪辑两方面。素材标注整理通过图像分割模型技术将画面里的元素进行单独识别,区分人物、物体和空间(图4),随后对这些元素进行关键词标注,并将素材按照不同的标注进行归档,再根据指令挑选出准确对应的素材[10]。智能剪辑可分为粗剪和精剪两个阶段,AI模型先对挑选出的素材进行初步拼接,形成粗略剪辑版本,随后在创作团队指导下不断对镜头顺序、剪辑节奏等进行调整,最终生成符合要求的影片。


图4 图像分割模型技术智能区分画面元素[11]

2016年,IBM超级计算机沃森为恐怖电影《摩根》剪辑了一段6分钟的预告片,成为全球第一部AI制作的电影预告片。沃森可对恐怖电影的情感模式和类型进行深入理解和编码,这一过程涉及多模态语义提取技术及统计方法的应用,用于模拟和定义恐怖电影预告片的核心要素。在《摩根》预告片剪辑中,沃森识别出最具吸引力的精华片段作为预告片的候选素材,提取出总计6分钟的10段场景,虽然仍需人工将这些场景编辑在一起,但已将电影预告片制作时间缩短至24小时[12]。

由中央广播电视总台和阿里巴巴联合打造的AI云智剪在比赛直播过程中即可实时生成集锦素材。在2022年北京冬奥会期间,通过AI云智剪完成的短视频剪辑覆盖200场比赛、时长累积超过200小时,部分播出于央视体育新媒体平台。2024年9月,Adobe公司宣布Premiere将集成AI功能Generative Extend,允许用户在视频素材上直接添加或减少内容,延长已有镜头长度,该功能由Adobe自研的Firefly模型提供支持。

近年AI剪辑技术在移动端发力迅猛,由字节跳动推出的视频剪辑软件剪映,在移动端具备“一键成片”和“图文成片”等智能剪辑功能,支持根据用户提供的文字智能抓取素材并生成影片。Vimeo公司旗下的视频编辑软件Magisto运用了AI情绪感知技术,仅需将影片素材、影片风格和背景音乐输入系统,便能生成带有情绪导向的影片。

目前AI技术在该阶段的应用多集中于预告片和短视频制作领域,而在长视频和长片剪辑方面尚面临挑战,对于非线性叙事和蒙太奇手法等复杂剪辑技巧的处理能力有限,在人机协作方面也不够紧密,AI技术在未来的发展道路上亟需填补这一部分的空缺。其他主流的AI剪辑应用还有度加剪辑、MOKI、Wondershare Filmora、Clipfly和OpusClip等。

5.2 调色

影片调色工作通常包含一级校色和色彩风格化创作两部分,一级校色又可细分为画面色彩还原和镜头匹配,此后,还需进一步完成风格化色彩创作,为影像画面赋予艺术审美。AI技术由机器学习(ML)和神经网络(Neural Network)驱动,简化一级调色的繁复工作,并致力于降低色彩风格化创作过程中的技术与艺术门槛。

Colourlab AI是一款智能调色系统,由Color Intelligence公司开发,其特有的Meta引擎支持自动一级校色、一键风格化生成等多种AI调色功能,并可与其他主流后期软件无缝结合,形成高效智能的工作流程,其服务客户包括迪士尼、华纳兄弟、奈飞和HBO等多家知名影视公司。

AI技术还可实现对照参考图片或影像的色调,一键赋予目标画面风格化色彩。竹杖大模型是24DI电影调色团队推出的基于Transformer技术的AI调色工具,能够根据提示词模拟特定色彩风格(图5)。该模型采用自研的Color⁃Match算法,可与DaVinci Resolve等调色系统集成,并提供从保持原图到完全创意模式共计三档调色模式,是适用于电影和剧集的AI调色解决方案。行业内目前最为主流的调色系统之一DaVinci Resolve也具备自动调色和目标镜头匹配等基于神经引擎的AI功能,并加入了重新照明和智能深度图等AI工具,《阿凡达:水之道》《流浪地球2》等影片均使用该系统进行调色。


图5 竹杖大模型通过提示词对原图(左)进行AI调色(右)

5.3 视效制作

AI技术对视效行业的提速增效是全方位的,主要体现在特效生成、AI换脸和数字人等方面。

5.3.1 模拟生成

AI技术可应用于特殊画面效果的模拟和生成,加速生成过程,提高画面质感和真实感。在电影《疯狂元素城》中,为使流体效果更具艺术性,皮克斯用Houdini软件结合迪士尼开发的体积神经风格转换(NST)机器学习技术实现了角色写实又具有插画感的流体外观(图6)。NST技术由迪士尼在2022年SIGGRAPH上发布,可基于用户图片改变烟雾流体的模拟数据,生成不同外观的流体形态,实现风格化的转移[13]。


图6 NST机器学习技术实现火焰的风格化迁移示例[14]

2023年第95届奥斯卡最佳影片《瞬息全宇宙》中,“热狗手”造型和石头对话场景均由Runway辅助完成。在石头对话的场景中,特效团队在片场使用滑轨移动两颗石头,后期再使用Runway的AI工具Green Screen擦除滑轨,配合无限扩图功能,特效团队仅用5人就完成了一系列特效镜头制作。Runway基于DL和GAN,其2024年6月推出的Gen⁃3 Alpha模型支持对口型和视频转绘等多种功能,每段生成视频最长不超过10秒。

文生视频技术不仅能够辅助特效生成,还被应用于AI短片和部分商业广告镜头的直接生成,2024年12月6日,快手推出的可灵AI导演共创计划正式上线,发布了与9位国内知名导演合作并利用其自研可灵AI大模型生成的9部AI电影短片;4天后,OpenAI公司开发的文生视频应用Sora正式对公众开放使用,其采用Transformer扩散模型,最高支持20秒、1080P的连贯视频生成,可利用重绘、扩展、循环和内容混合等功能对视频进行编辑修改。多位电影制作人和艺术家使用Sora生成了7部天马行空、风格迥异的短片[15],但在制作过程中遇到诸多限制,如无法保证不同镜头间主体的一致性,对摄影术语理解有限,无法精准控制镜头移动,生成的镜头存在颜色不符合设定、随机添加多余元素等问题;此外,其生成速度较慢且耗片比高,生成一个镜头需10~20分钟,耗片比约为300∶1。因此,目前文生视频技术在专业影视制作领域更多集中于辅助特效生成,而在镜头直接生成方面受限于分辨率、时长、主体一致性和运镜控制等诸多因素,尚不能满足高质量长篇作品尤其是大银幕放映的需求。当前主流的文生视频应用汇总如表3所示。

表3 文生视频AI 应用及建议汇总


5.3.2 AI换脸

AI换脸是指利用深度学习算法分析大量数据以实现脸部特征的精准匹配和合成,使目标人物的面部表情、动作和特征与源人物完美匹配。在影视制作领域,AI换脸技术常被用作演员面部年轻化处理,即数字减龄。

实现AI换脸主要有四种技术路径,分别是整脸合成、属性篡改、表情替换和身份篡改。整脸合成利用GAN生成逼真的人脸图像,多适用于游戏和3D建模。属性篡改通过修改人脸属性(如发色、性别等)实现换脸,通常使用StarGAN等GAN架构,广泛应用于虚拟试妆等领域。表情替换则使用Face2Face和NeuralTexture等技术分析并替换人脸表情,具有重要的娱乐和电影制作应用价值。身份篡改包括传统方法如FaceSwap和基于深度学习技术的DeepFakes,后者通过自编码器和GAN重建人脸图像,实现逼真的换脸效果[16]。

电影中的AI换脸可使用DeepFakes技术,如《流浪地球2》视效团队基于DeepFakes算法利用演员吴京年轻时的2D素材训练 AI 模型,最终迭代 500 多万次后,替换实拍素材。在电影《传说》中,成龙在DeepFakes技术的帮助下以自己27岁时的形象重现银幕,可见智能化的制作过程实现了大幅的降本增效。

此外,各视效公司还使用基于DeepFakes技术开发的自研工具进行AI换脸,如2023年6月上映的电影《夺宝奇兵:命运转盘》中年轻的印第安纳·琼斯由工业光魔(ILM)公司制作实现。该公司采集了演员哈里森·福特在早期印第安纳·琼斯系列出演的面部数据,利用独家开发的FaceSwap技术恢复其年轻时的面容,达成最终呈现效果。在《阿甘正传》原班人马合作的新电影《此心安处》摄制过程中,Metaphysic公司利用Metaphysic Live工具对主角汤姆·汉克斯和罗宾·怀特的面部实现高分辨率数字减龄,并能以30 帧/秒的速度实时生成影像。

5.3.3 数字人

数字人即通过计算机图形学(CG)、深度学习(DL)、自然语言处理(NLP)和计算机视觉(CV)等技术手段,创建并模拟人类形象、动作和语言的虚拟实体[17]。该技术方案的核心在于形象生成、语音合成和动画驱动三个方面。在形象生成方面,数字人依托于3D建模与渲染技术;在语音合成方面,AI技术将文本信息转换为自然流畅的语音,支持多轮对话,并能理解复杂的语境和意图;动画驱动则涉及动作捕捉技术,通过记录真人演员的动作数据并将其应用于虚拟人物模型,使数字人能够展现出自然流畅的动作和表情。

2023年9月,由阿里技术团队开发的数字人厘里参演了剧集《异人之下》(2023),其形象综合运用了CG动画、AI换脸和光场技术等多种手段加以呈现,降低了在建模、原画等环节投入的成本和时间[18]。纪录片《“戏”中家国》利用AI技术重现豫剧大师常香玉,制作团队采用Transformer扩散模型,结合对大量黑白影像资料的学习,实现了数字常香玉与现代演员的跨时代互动[19]。Wonder Studio是由Wonder Dynamics公司开发的AI数字人平台,其通过浏览器界面简化了数字人的制作过程,核心功能包括自动动画制作、动态照明、相机追踪和面部表情匹配等。该工具能将真人演员替换为数字人角色,同时保留原有的动作和表情,在专业动画制作流程中与Blender、Unreal Engine等平台无缝对接[20]。

目前主流的数字人应用还有DigitalDNA、Synthesia、MetaHuman、DeepBrain AI和HeyGen等。

6 总结与展望

AI技术与影视制作领域的融合正经历由浅层功能替代向深层智能协同跃迁的演进过程,未来,影视产业实践技术与创作范式的演进路径将沿着“功能智能化 - 流程协同化 - 创制自动化”三个阶段展开,最终形成具备认知、推理、生成能力的全栈式AI影视创制平台。

(1)功能智能化

目前,AI技术在影视制作领域的应用多为单功能型智能应用,从前期筹备、现场拍摄到后期制作,各环节均涌现出具有垂直功能的AI应用工具。然而,AI技术在生成规格、控制能力以及应用场景等方面依然面临诸多问题,在专业影视制作中仍更偏向于辅助应用。更为关键的是,现有应用多呈碎片化特征,各工具间缺乏数据互通与流程衔接,难以形成协同效应,亟待进一步横向拓展优化。

(2)流程协同化

从单功能应用向流程协同发展的核心在于构建跨环节的数据闭环与智能决策体系,通过多模态大模型整合文本、图像、视频数据流,在筹备、拍摄和后期各环节之间做到链路贯通。流程协同化的关键突破点首先在于建立高标准的专业数据集和各专业制作平台接口协议,打通各环节数据孤岛;其次是开发具有跨模态处理能力的AI中台,以实现从文字指令到分镜、场景、特效和声效等端到端生成;最后是要构建动态优化机制,通过反馈实时调整制作参数。

(3)创制自动化

高度的流程协同化将会催生“全栈式AI影视创制平台”,该平台集成剧本生成、场景预演、智能摄制、视效生成与智能剪辑调色等影视创制全功能模块,实现从创意输入到成片输出的全链条智能化。全栈式AI影视创制平台能够根据创作者输入的要求即时生成剧本,并绘制场景概念图与分镜头脚本,并对拍摄或生成的素材进行一键成片预览,给创制人员直观的视觉感受和参照。

影视制作将成为深度人机协同的创意过程,人类专注核心审美决策,AI负责高效运算执行。AI技术并非以取代人类为旨归,而是助力个体的想象突破物理局限,在数字世界中无限延展。

参考文献

(向下滑动阅读)

[1] 王腾飞.论虚拟技术在电影叙事中的运用[D].上海大学,2021.DOI:10.27300/d.cnki.gshau.2021.000653.

[2] Moon Ventures. The Safe Zone An AI Short Film [EB/OL].[2024⁃12⁃11].https://thesafezonefilm.com/.

[3] REILLY D. No, A.I. isn’t deciding which movies to green⁃light [EB/OL].(2020⁃02⁃26)[2024⁃12⁃11].https://fortune.com/2020/02/25/cinelytic-artificial-intelligence-movies-tobias-queisser-interview/.

[4] SMIRNOV D, LEGENDRE C, YU X, et al. Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization[C]//Proceedings of the Digital Production Symposium. 2023: 1⁃13.

[5] TOMKIES P. Netflix pioneers AI powered magenta green screen [EB/OL].[2024 ⁃ 12 ⁃ 11]. https://www.videomaker.com/news/netflix-pioneers-ai-powered-magenta-green-screen/.

[6] 影视工业网. 索尼CineAltaB短片《舞・夜》摄制[EB/OL].(2023⁃12⁃25)[2024⁃12⁃11].https://cinehello.com/stream/151220.

[7] HENDLER D, MOSER L, BATTULWAR R, et al. Avengers: Capturing thanos's complex face[EB/OL].(2018⁃08⁃12)[2024⁃12⁃11].https://dl.acm.org/doi/10.1145/3214745.3214766.

[8] SCHEDEEN J. Infinity War: VFX Artists Explain Those Mysterious Thanos & Gamora Scenes [EB/OL].(2018⁃12⁃21)[2024⁃12⁃11].https://www.ign.com/articles/2018/12/20/infinity-war-vfx-artists-explain-those-mysterious-thanos-gamora-scenes.

[9] CHOI B, EOM H, MOUSCADET B, et al. Animatomy: An animator⁃centric, anatomically inspired system for 3d facial modeling, animation and transfer[EB/OL].(2022⁃11⁃20)[2024⁃12⁃11].https://dl.acm.org/doi/10.1145/3550469.3555398.

[10] KIRILLOV A, MINTUN E, RAVI N, et al. Segment anything[EB/OL].(2023⁃04⁃05) [2024⁃12⁃11].https://arxiv.org/abs/2304.02643.

[11] Meta. Segment Anything Model (SAM) [EB/OL]. (2023⁃04⁃05)[2024⁃12⁃11].https://roboflow.com/model/segment-anything-model-sam.

[12] SMITH J R, Joshi D, Huet B, et al. Harnessing ai for augmenting creativity: Application to movie trailer creation[EB/OL].(2017⁃12⁃23)[2024⁃12⁃11].https://dl.acm.org/doi/abs/10.1145/3123266.3127906.

[13] KANYUK P, AZEVEDO V, ORTIZ R, et al. Singed Silhouettes and Feed Forward Flames: Volumetric Neural Style Transfer for Expressive Fire Simulation[EB/OL].(2023⁃08⁃07)[2024⁃12⁃11].https://dl.acm.org/doi/abs/10.1145/3587421.3595435.

[14] FAILES I. The AI, volumetric and animation tools that helped make Pixar's ‘Elemental’ possible [EB/OL].(2023⁃06⁃30)[2024⁃12⁃11].https://beforesandafters.com/2023/06/30/the-ai-volumetric-and-animation-tools-that-helped-make-pixars-elemental-possible/.

[15] OpenAI. Sora: first impressions [EB/OL].(2024⁃03⁃25)[2024⁃12⁃11].https://openai.com/index/sora-first-impressions/.

[16] TOLOSANA R, VERA⁃RODRIGUEZ R, FIERREZ J, et al. Deepfakes and beyond: A survey of face manipulation and fake detection[EB/OL]. (2020⁃06⁃18)[2024⁃12⁃11].https://arxiv.org/abs/2001.00179.

[17] 陶建磊, 孙为. 人工智能影视中智能体角色涌现化叙事探究[J]. 当代电视, 2024, (12): 4⁃8.

[18] 吴雨佳. 中国数字演员首次参演真人剧集,数字人厘里出演《异人之下》[EB/OL]. (2023⁃08⁃04)[2024⁃12⁃11].https://www.sohu.com/a/708876764_120952561.

[19] 杜娟.古今对话:《“戏”中家国》用AI数字人技术演绎豫剧之美[EB/OL].(2024⁃10⁃19) [2024⁃12⁃11].https://bj.chinadaily.com.cn/a/202410/19/WS67135458a310b59111d9ec06.html.

[20] FINK C. Wonder Studio’s New AI, Video⁃To⁃3D Animation, Puts The Power Of Pixar In Your Phone [EB/OL].(2024⁃11⁃04)[2024⁃12⁃11].https://www.forbes.com/sites/charliefink/2024/11/04/wonder-studios-new-ai-video-to-3d-anim ation-puts-the-power-of-pixar-in-your-phone/.

【基金项目】2023年国家社会科学基金艺术学重点项目“人工智能技术与影视制作的融合创新研究”(23AC005)。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

电影技术微刊 incentive-icons
电影技术微刊
电影技术微刊
603文章数 208关注度
往期回顾 全部

专题推荐

洞天福地 花海毕节 山水馈赠里的“诗与远方

无障碍浏览 进入关怀版