动画短片《龙门》剧照。
受访者供图
近期，由中国传媒大学动画与数字艺术学院DigiLab实验室制作的动画短片《龙门》，获得第三届巴西Tietê（“铁特”音译）国际电影奖实验短片单元最佳影片提名。该动画短片使用原创生成式人工智能（AIGC）技术，是国内首部全部以AI技术制作的水墨动画短片。
目前，AIGC已经在美术、影视、文学、音乐等创作领域产生广泛影响，动画领域也不例外。面对人工智能的挑战与机遇，中国传媒大学动画与数字艺术学院院长王雷带领实验室师生团队，从2023年初开始尝试训练水墨风格的AI视频生成模型。团队通过对开源AIGC技术的二次开发调整，训练出了拥有自主产权的人工智能模型“墨池”（Inkstone），经过大量反复试错，开发完善了水墨插画风格的文生视频、图生视频、视频风格化等AI流程。《龙门》就是应用这些技术完成的试验短片。
产生灵动的质感
水墨动画将中国水墨画引入到动画制片，是最具代表性的中国动画形式，也是动画创作中非常有难度的一个片种。传统水墨动画的制作流程较为繁复，水墨效果也很难以人手控制。因此，想要做出一个连贯流畅的水墨动态效果并不容易，成本也较高。直到现在，除了《小蝌蚪找妈妈》《山水情》《牧笛》等经典作品，以水墨创作的动画数量并不多。
“2022年下半年，我开始感到AIGC技术将给水墨动画带来新的发展契机。因为AI能够加速水墨动画的制作过程，一个画面里多达上百个的笔触可以用AI来完成。”王雷说。
走进DigiLab实验室，各式电脑设备摆满了办公桌，几位老师和同学正在细细打磨新的动画作品。中国传媒大学动画与数字艺术学院副教授段雯锴，也是《龙门》的导演、技术总监，介绍了运用“墨池”制作动画的工作流程：艺术家需要将创意准确地告诉“墨池”，引导它按照艺术家的想法来生成结果。生成结果有时会存在偏差，因此需要艺术家理解技术原理并不断地尝试。“与AI沟通需要以技术或图形化的方式进行，比如输入文字、三维图像，或者提供参数等。”段雯锴说，目前网络上大部分AIGC视频或图片生成工具的随机性较大，要想做出有明确主题表达的作品，每个元素都需要非常精准的掌控。因此，在制作《龙门》的时候，DigiLab实验室师生团队采用了真人实拍加绿幕抠像的方式，在这个过程中拍摄了很多角色动作，“墨池”会将实拍素材进行打磨，并补充出更多细节，最后形成水墨晕染的效果。
这是一个人机沟通的过程，也是一个从创意到实践的过程。《龙门》就是DigiLab实验室师生团队与“墨池”沟通的产物。“墨池”采用多模态视频生成方式，攻克了诸多技术难题，在角色面部特征稳定性、较长镜头生成中，降低了视频抖动与局部错误，使画面拥有灵动而充满意境的水墨质感。
“水墨动画是中国动画学派的核心和瑰宝。如果我们用新技术能生成跟以往一样，甚至更好的效果，对整个中国动画行业都是有所贡献的。”王雷说。
呈现新的视觉效果
说起“墨池”模型的研发，王雷想起了一些有趣的故事。AIGC训练和生成需要算力，开发“墨池”正值夏天，实验室里所有的电脑都在全力运转。实验室变得非常热，团队成员来到别的地方办公，远程操控电脑。“空无一人的实验室也能继续‘热火朝天’的创作，可见技术让创作模式发生了多大的改变。”王雷说。
建立“墨池”模型的过程充满挑战。AIGC作为新技术，缺乏足够的现成材料，需要不断地做测试。王雷告诉笔者：“过程中，我们经历了大量试错和遇到问题不知如何解决的时刻，这也是经验积累的过程。”段雯锴说，在训练自主模型的过程中，自己每天都会接触到新技术，需要不断更替优化。
段雯锴结合动画生产细节举例说，如果用二维或者三维动画的方式去创作水墨动画，会涉及贴图、灯光渲染等方式，生成的画面精度较低，AI则可以做到细节的无限添加。“AIGC能够实现传统动画创作模式不敢做或无法实现的效果，开创动画新的视觉路线。”他说。
“AIGC技术对动画界的影响，可能相当于手机拍照功能之于摄影界，能够给创作者带来新的可能。”王雷表示，AIGC技术一方面降低了创作门槛，让普通人就可以做出简单的动画，并通过在短视频平台的分享，让动画更贴近日常生活；另一方面，这项技术还能催生更多更加快捷的专业化工具，呈现更加令人惊叹的视觉效果。“我们从业者还需要进一步思考技术和内容表达的关系，在技术迅速更迭的时代发挥所长，掌握技术的自主性和独创性，用好技术做更专业的内容。”王雷说。
据悉，中国传媒大学已经和英特尔公司联合创办了AIGC创作实践中心。强大的硬件能力加持，相信将有助于高校和平台收获更多成果。
“墨池”模型目前主要能生成一种风格的水墨动画。DigiLab实验室团队已经策划了新的项目，将逐步丰富“墨池”的家族谱系，迭代“墨池”，并在未来的动画制作和教学中加以应用。“前辈们已经将传统流程做得非常优秀了，往前走则是我们应当做的思考。”王雷说，AIGC时代，如何开拓前沿，在国际舞台上持续释放中国动画与数字艺术行业的巨大潜力，是动画科研创作者们不断努力的方向。