字节跳动发布最新AI视频模型Magic Animate(附教程）

仅仅需要一张图片加上动作轨迹，就可以生成非常自然且丝滑的视频，无论是钢铁侠跳舞还是奥特曼跑步都可以轻轻松松的制作出来，并且没有闪烁衣服上面的褶皱，周围物体上的光线反应，可以说是做的非常完美。

但是阿里并没有发布具体的操作流程和项目测试，这个项目很快就被字节跳动秒杀了。字节跳动提供了代码和具体的演示，不仅支持把静态的图片变成有动作的视频，而且还可以结合文本生成动画，还支持多人照片实现动作驱动，简直是太秀了。

并且发布了colab和hugging face的在线体验版本，无需本地部署就可以体验到最新的研究成果。

今天我们就一起来看看字节跳动发布的magic animate。

本文主要分为三个部分：

一、magic animate的一些简单介绍

二、magicanimate的操作演示

三、动作轨迹视频的制作方法

一.magic animate的一些简单介绍

字节跳动发布的magic anim magic anim是一个基于扩散模型的人类图像动画框架，意在强调时间一致性，忠实保留参考图像并提高动画的真实感，可以在推理的过程中产生平滑的视频。

除了基本的图像动画化，Magic anim还能应用于更多的场景，如将未见领域的图像，例如油画或电影角色动画化。或者结合文本描述生成动画。

这种技术在动画制作、游戏设计、虚拟现实等领域将会具有更广泛的应用潜力。

我们可以看看这个软件生成的视频，由三个部分组成。原始图像参考动作轨迹、视频和生成后的画面形成了一个对照组，这与之前的一些工具是不同的，之前的工具一般只展示最终的成品效果。

多人动画功能也是非常吸引人的，我们按照对应的位置为图片上不同的角色设定不同的动作，从而使多个人物动画化。

二.magicanimate的操作演示

接下来看一下具体如何操作。目前在git hub项目界面可以看到部署在本地的代码，但是就测试结果来看还是存在一定的不足，感兴趣的小伙伴可以按照步骤进行本地部署的尝试。

我们今天主要展示两种可以快速体验到这个工具的方法，那就是使用hugging face和Google Colab，两种方法都可以实现图片的动画效果，但是我更推荐大家使用Colab进行测试，因为hugging face的等待时间会更长一些，并且会存在等待队列，需要进行排队才能进行使用。

而使用Colab则可以直接进行合成。在这里两种方法我都会进行演示。首先我们来演示hugging face。我们打开hugging face的链接。

最上面的界面是生成的成品，在左侧第二栏，我们可以将需要添加动画的原始图片放进去，中间需要上传动作序列视频，这个序列视频也可以自己制作。

在下一个片段，我会着重对序列视频的制作进行讲解，都是可以一键生成的，操作也是非常简单的。最右侧是一些合成的参数，一般选择默认的就可以了，或者我们可以点击下方的例子，直接更换原始图片就可以生成作品了。

比如，我们点击跑步的姿势，删掉示例的原始图片，上传一张新的图片，然后点击生成。

我们可以看到上方提示需要进行等待排队的队列比较多，成品是这样的。

然后我们来看看如何使用Colab进行线上测试。我们打开Colab的链接，执行页面上面的代码，我们点击运行单元格，这里需要稍微等待一下，大概两三分钟左右就可以完成下载。

等到下载完成之后，在下方会出现操作界面的链接，本地的和共享呢都是可以进行使用的，我们优先选择使用本地的，如果有出现本地界面无法访问的情形，我们可以点击打开共享界面的链接。

按照刚才的方法上传原始图片和参考动作序列视频。然后点击生成就可以了，这里等待的时间会短很多，不需要进行排队，可以直接生成。

三.动作轨迹视频的制作方法

这里有两种使用vid2densepose的方法，一种是使用Google Colab的方法，另一种则是采用一键部署的方法，利用工具将vid2densepose部署在本地进行使用，但是这个工具只支持n卡，稍后会进行详细的讲解。

首先来看看使用Google Colab的方法。打开Google的链接，点击运行第一个和第二个单元格，运行完成之后，点击左侧的文件上传我们的原始视频素材。

我们右键重命名，输入input video，我这里的视频名称已经提前进行了命名，因此不需要进行修改，我们需要在这里指定输入输出视频的名称和路径，如果想要知道文件的路径的话，我们右键。复制视频的路径。然后来到这里进行粘贴。这里一定要注意，路径需要使用英文的引号引起来，不然会无法识别。

然后我们按照输入路径的方式写出输出的路径。然后点击运行单元格就可以了。生成的输出视频就在文件里，如果想要下载的话，我们点击右边的三个点，点击下载。

这样就可以在本地查看了，视频前后的对比是这样的。

然后我们来看看另一种方法，那就是使用pinokio一键部署到本地。首先我们打开一键部署的链接，点击下载pinokio。下载完成之后，我们将压缩包粘贴在一个空白的文件夹里，然后右键解压到当前文件夹，我们点击这个应用程序就可以完成下载了。

这里不要改变路径，否则会无法使用。然后我们点击访问发现界面。

点击vid2densepose选项。

注意需要选择适配magic animate的这一个，然后点击下载就可以了。

下载完成之后，我们在pinokio中打开vid2densepose的链接就可以了，这样就可以在本地运行了。

并且使用的是本地电脑的算力，电脑的配置越高，生成的速度也会越快。我们可以看到这个界面上还有很多其他的工具可以选择，也可以在这里一键部署magic animate，这样就可以在本地使用了，但是使用的前提是电脑需要有n卡。