哎鸭，鸭鸭摔倒了！鸭鸭是真的，摔跤是真的，但端的咖啡和端咖啡的手，是 AI 给 p 上去的。
△ 还好手里的咖啡只洒了亿点点
来自一个开源项目，VideoDoodles，这两天在外网上的讨论度直线上升。
这项目妙就妙在，能给视频加上手绘风格的涂鸦，可可爱爱的也行，奇奇怪怪的也行。
就跟人工一帧一帧画上去的没差。
这对目前市场上大多数的 2D 视频编辑软件来说，还是比较难的。想要达成同等效果，一般还是得创作者真・一帧一帧画上去。怪费力气的。
但 VideoDoodles 能靠在视频中重建 3D 场景，然后在其中放置平面画布，来生成这种效果。
不少人表示，可以用它来装饰视频，加加卡通效果 or 花字，然后进一步加工成 meme / 表情包。
搞笑视频也安排，在路上了！
想加什么手绘效果就加什么
VideoDoodles 是酱婶宣称自己的效果的：
在视频中轻松、任意地插入手绘动画，还是和视频内容无缝融合的那种。
真的吗？一起来看看。
和给鸭鸭加胳膊加手一样，VideoDoodles 可以给任意物种加上四肢。
火烈鸟可以端着自己摇晃的红酒杯，悠闲地在水里泡 jio。
小火车从远处驶来，挥舞着双手，xiu 的从镜头里开过去了。
当然，想要加一个四肢健全的动物在视频片段里，也是没问题的。
Be like 这个肩膀上的小松鼠：
可以看到，不管这位女士怎么步行前进，小松鼠都老老实实呆在她肩膀上。
除了肢体动作，也可以用 VideoDoodles 来给视频片段加综艺后期的花字。
静态文字：
动来动去的文字：
都有不错的生成效果。
以及，蹭一个刚结束的奥运会的余热，VideoDoodles 可以给各种各样的大幅度运动加手绘。
或是箭头指向：
或是超人卡通特效：
咋实现的？
给视频内容加上手绘动画，现在的惯常做法，是把视频本身作为底层，然后利用人工逐帧绘制 2D 动画效果。
这样做效率相对较低，而且需要保证手绘动画效果要跟踪动态、解决透视变形和适配遮挡物。
能搞定，但费人费时间。
那么，VideoDoodles 是如何处理动态物体的跟踪，还有动画同步的呢?
它提供了一简单的界面来帮助大家完成视频涂鸦 ——“简单”，意味着老手和小白都能轻松画起来。
而项目背后，是利用 3D 场景重建技术，实现涂鸦自然融入视频场景，包括追踪、透视变形和遮挡等复杂视觉效果。
具体而言，VideoDoodles 先把视频内容进行 3D 重建，而后在视频中放置平面画布，这些画布在 3D 场景中被跟踪，然后逐帧添加手绘动画。
通过自定义算追踪算法，VideoDoodles 锁定画布对应的视频场景中的物体，完成画布跟随物体运动进行移动和旋转。
在 VideoDoodles 的用户交互界面中，用户可以通过关键帧位置和方向，在 2D 图像空间的 UI 中精细控制画布。
而系统则是通过跟踪视频中，移动对象的运动来精心插入关键帧。
简而言之，VideoDoodles 是根据关键帧表达的用户意图，利用自有算法解决被遮挡、透视变换，在视频的任意帧渲染场景感知画布，并使画布紧紧跟随移动的物体。
而且关键帧可以有任意数量的位置、方向。
如下面这张图，VideoDoodles 就是通过第一帧涂红部分处的方向 & 位置，和最后一帧涂绿的位置，从而在整个视频中连贯地渲染相应的画布。
具体操作中，流程大致是这样的：
最后介绍一下：
VideoDoodles 这项研究，由 Adobe 研究院，蔚蓝海岸大学，以及代尔夫特理工大学的研究人员共同完成。
研发团队负责人表示：
我们的目标是简化“视频涂鸦”的创作过程。
这种新兴的混合媒介艺术形式结合了视频内容和手绘动画，可以用于娱乐或教育目的。
有了 VideoDoodles，希望更多人能够轻松实现「将想象力注入现实世界」。
参考链接：
-
[1]https://em-yu.github.io/research/videodoodles/
-
[2]https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf
本文来自微信公众号：量子位（ID：QbitAI），作者：衡宇，原标题：《AI 斗图神器：普通视频秒变 meme，手绘动画轻松融入，了解一下？》