擴散模型在圖像合成領域已展現強勁效果，研究社區正將其應用於更具挑戰性的視頻生成任務。視頻生成本質上是圖像生成任務的超集，因為單幀圖像可視為僅含一幀的視頻。然而，該任務要求跨幀的時序一致性，迫使模型編碼更豐富的世界知識；同時，高質量、高維度視頻數據及文本-視頻配對數據的收集難度遠高於文本或圖像。

視頻生成：擴散模型的新挑戰

據Lilian Weng在2024年4月12日發佈的博客文章分析，擴散模型用於視頻生成主要面臨兩方面困難。其一，視頻生成對幀間時序一致性有額外要求，模型必須編碼更豐富的世界知識。其二，高質量、高維度視頻數據的收集難度遠高於文本或圖像，文本-視頻配對數據的獲取更為困難。

該博客指出，圖像可被視為僅含一幀的視頻，因此視頻生成任務本身是圖像生成任務的超集。這意味著，儘管擴散模型在圖像合成上已取得強結果，遷移至視頻領域仍需克服時序建模與數據稀缺的雙重障礙。

多模態與大型多模態模型（LMMs）

長期以來，每個機器學習模型僅處理單一數據模態——文本（翻譯、語言建模）、圖像（目標檢測、圖像分類）或音頻（語音識別）。然而，自然智能並不局限於單一模態。人類能讀、能說、能看，通過聽音樂放鬆，也通過留意異常聲響察覺危險。Chip Huyen在2023年10月10日的文章中強調，處理多模態數據對於人類或任何AI在現實世界中運作都至關重要。

OpenAI在其GPT-4V系統卡中指出：“將額外模態（如圖像輸入）融入大語言模型，被一些人視為AI研究與開發的關鍵前沿。”

將額外模態融入大語言模型（LLMs）便產生了大型多模態模型（LMMs）。但並非所有多模態系統都是LMMs。例如，Midjourney、Stable Diffusion和Dall-E等文本到圖像模型屬於多模態，卻不包含語言模型組件。多模態可指以下一種或多種情況：輸入與輸出為不同模態（如文本到圖像、圖像到文本）；輸入為多模態（如同時處理文本和圖像的系統）；輸出為多模態（如同時生成文本和圖像的系統）。

Chip Huyen的文章系統覆蓋了多模態系統的一般範疇，包括LMMs，內容分為三部分：第一部分介紹多模態的背景，包括為何需要多模態、不同數據模態及多模態任務類型；第二部分討論多模態系統的基礎原理。

後續關注點

綜合兩條線索，多模態與視頻生成共同指向AI研究的關鍵前沿方向。視頻生成因時序一致性和數據獲取難度成為當前技術攻堅重點，而將多模態能力融入大語言模型所形成的LMMs，則被OpenAI等機構視為AI研發的關鍵前沿。後續值得關注擴散模型在視頻生成中如何解決時序一致性難題，以及多模態數據收集與模型架構的進一步演進。