扩散模型在图像合成领域已展现强劲效果，研究社区正将其应用于更具挑战性的视频生成任务。视频生成本质上是图像生成任务的超集，因为单帧图像可视为仅含一帧的视频。然而，该任务要求跨帧的时序一致性，迫使模型编码更丰富的世界知识；同时，高质量、高维度视频数据及文本-视频配对数据的收集难度远高于文本或图像。

视频生成：扩散模型的新挑战

据Lilian Weng在2024年4月12日发布的博客文章分析，扩散模型用于视频生成主要面临两方面困难。其一，视频生成对帧间时序一致性有额外要求，模型必须编码更丰富的世界知识。其二，高质量、高维度视频数据的收集难度远高于文本或图像，文本-视频配对数据的获取更为困难。

该博客指出，图像可被视为仅含一帧的视频，因此视频生成任务本身是图像生成任务的超集。这意味着，尽管扩散模型在图像合成上已取得强结果，迁移至视频领域仍需克服时序建模与数据稀缺的双重障碍。

多模态与大型多模态模型（LMMs）

长期以来，每个机器学习模型仅处理单一数据模态——文本（翻译、语言建模）、图像（目标检测、图像分类）或音频（语音识别）。然而，自然智能并不局限于单一模态。人类能读、能说、能看，通过听音乐放松，也通过留意异常声响察觉危险。Chip Huyen在2023年10月10日的文章中强调，处理多模态数据对于人类或任何AI在现实世界中运作都至关重要。

OpenAI在其GPT-4V系统卡中指出：“将额外模态（如图像输入）融入大语言模型，被一些人视为AI研究与开发的关键前沿。”

将额外模态融入大语言模型（LLMs）便产生了大型多模态模型（LMMs）。但并非所有多模态系统都是LMMs。例如，Midjourney、Stable Diffusion和Dall-E等文本到图像模型属于多模态，却不包含语言模型组件。多模态可指以下一种或多种情况：输入与输出为不同模态（如文本到图像、图像到文本）；输入为多模态（如同时处理文本和图像的系统）；输出为多模态（如同时生成文本和图像的系统）。

Chip Huyen的文章系统覆盖了多模态系统的一般范畴，包括LMMs，内容分为三部分：第一部分介绍多模态的背景，包括为何需要多模态、不同数据模态及多模态任务类型；第二部分讨论多模态系统的基础原理。

后续关注点

综合两条线索，多模态与视频生成共同指向AI研究的关键前沿方向。视频生成因时序一致性和数据获取难度成为当前技术攻坚重点，而将多模态能力融入大语言模型所形成的LMMs，则被OpenAI等机构视为AI研发的关键前沿。后续值得关注扩散模型在视频生成中如何解决时序一致性难题，以及多模态数据收集与模型架构的进一步演进。