一边动，一边画，自己就变二次元

真可谓是这边动着，那边画着，动画就出来了。

而且整个过程无需冗长的训练过程，也不需要大规模训练数据集，研究也提交至SIGGRAPH 2020。

那么，这么神奇的效果到底是如何做到的呢？

交互式视频风格化

首先，输入一个由 N 帧组成的视频序列 I。

如下图所示，对于任何一帧 Ii，可以选择用蒙版 Mi来划定风格迁移的区域，或者是对整一帧进行风格迁移。
 

用户需要做的是提供风格化的关键帧 Sk，其风格会被以在语义上有意义的方式传递到整个视频序列中。

与此前方法不同的是，这种风格迁移是以随机顺序进行的，不需要等待顺序靠前的帧先完成风格化，也不需要对来自不同关键帧的风格化内容进行显式合并。

也就是说，该方法实际上是一种翻译过滤器，可以快速从几个异构的手绘示例 Sk 中学习风格，并将其“翻译”给视频序列 I 中的任何一帧。

这个图像转换框架基于 U-net 实现。并且，研究人员采用基于图像块（patch-based）的训练方式和抑制视频闪烁的解决方案，解决了少样本训练和时间一致性的问题。

基于图像块的训练策略

关键帧是少样本数据，为了避免过拟合，研究人员采用了基于图像块的训练策略。

从原始关键帧（Ik）中随机抽取一组图像块（a），在网络中生成它们的风格化对应块（b）。

然后，计算这些风格化对应块（b）相对于从风格化关键帧（Sk）中取样对应图像块的损失，并对误差进行反向传播。

这样的训练方案不限于任何特定的损失函数。本项研究中，采用的是L1损失、对抗性损失和VGG损失的组合。

（编辑：唐山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!