你输入文字，让 AI 来生成视频，这种想法在以前只出现在人们的想象中，现在，随着技术的发展，这种功能已经实现了。 近年来，生成式人工智能在计算机视觉领域引起巨大的关注。随着扩散模型的出现，从文本 Prompt 生成高质量图像，即文本到图像的合成，已经变得k彩平台非常流行和成功。 最近的研究试图通过在视频领域复用文本到图像扩散模型，将其成功扩展到文本到视频生成和编辑的任务。虽然这样的方法取得了可喜的成果，但大部分方法需要使用大量标记数据进行大量训练，这可能对许多用户来讲太过昂贵。 为了使视频生成更加廉价，Jay Zhangjie Wu 等人去年提出的 Tune-A-Video 引入了一种机制，可以将 Stable Diffusion (SD) 模型应用到视频领域。只需要调整一个视频，从而让训练工作量大大减少。虽然这比以前的方法效率提升很多，但仍需要进行优化。此外，Tune-A-Video 的生成能力仅限于 text-guided 的视频编辑应用，而从头开始合成视频仍然超出了它的能力范围。 本文中，来自 Picsart AI Resarch (PAIR) 、得克萨斯大学奥斯汀分校等机构的研究者在 zero-shot 以及无需训练的情况下，在文本到视频合成的新问题方向上向前迈进了一步，即无需任何优化或微调的情况下根据文本提示生成视频。 下面我们看看效果如何。例如一只熊猫在冲浪；一只熊在时代广场上跳舞： 该研究还能根据目标生成动作： 此外，还能进行边缘检测：本文提出的方法的一个关键概念是修改预训练的文本到图像模型（例如 Stable Diffusion），通过时间一致的生成来丰富它。通过建立在已经训练好的文本到图像模型的基础上，本文的方法利用它们出色的图像生成质量，增强了它们在视频领域的适用性，而无需进行额外的训练。 为了加强时间一致性，本文提出两个创新修改：（1）首先用运动信息丰富生成帧的潜在编码，以保持全局场景和背景时间一致；(2) 然后使用跨帧注意力机制来保留整个序列中前景对象的上下文、外观和身份。实验表明，这些简单的修改可以生成高质量和时间一致的视频（如图 1 所示）。 尽管其他人的工作是在大规模视频数据上进行训练，但本文的方法实现了相似甚至有时更好的性能（如图 8、9 所示）。 本文的方法不仅限于文本到视频的合成，还适用于有条件的（见图 6、5）和专门的视频生成（见图 7），以及 instruction-guided 的视频编辑，可以称其为由 Instruct-Pix2Pix 驱动的 Video k彩平台 Instruct-Pix2Pix（见图 9）。 方法简介在这篇论文中，本文利用 Stable Diffusion （SD）的文本到图像合成能力来处理 zero-shot 情况下文本到视频的任务。由于需要生成视频而不是图像，SD 应该在潜在代码序列上进行操作。
k彩平台 k彩注册登录官网 k彩平台官网

---

这是水淼·PHPWEB站群文章更新器的试用版本更新的文章，故有此标记(2023-05-14 09:27:27)