全球首个多模态世界模型Emu3来了！智源王仲远：为多模态大模型训练范式指明新方向｜钛媒体AGI

全球首个多模态世界模型Emu3发布，为多模态大模型训练指明新方向

Emu3的诞生与意义

10月21日，北京智源人工智能研究院（简称“智源研究院”）发布了全球首个原生多模态世界模型Emu3。这一模型采用了自回归技术路线，参数量达80亿，能够同时处理图像、文本和视频三种模态的数据。Emu3的发布标志着多模态领域的重大突破，为构建多模态通用人工智能（AGI）提供了新的技术路径。

Emu3的技术特点

Emu3通过将图像、文本和视频编码为一个离散空间，实现了多模态数据的统一理解和生成。该模型基于下一个token预测，无需依赖扩散模型或组合式方法，直接在多模态混合序列上联合训练一个Transformer模型。这种设计不仅简化了模型结构，还提高了训练效率和性能。

性能表现

在图像生成、视觉语言理解和视频生成等任务中，Emu3的表现超越了多个国内外主流开源模型，如Stable Diffusion SDXL、LLaVA和OpenSora。这些优异的成绩展示了Emu3在多模态任务中的强大能力，为其未来的广泛应用奠定了坚实的基础。

未来展望

智源研究院院长王仲远表示，Emu3的成功证明了下一个token预测在多模态任务中的高效性，为构建多模态AGI提供了广阔的技术前景。他强调，Emu3有望将基础设施建设收敛到一条技术路线上，为大规模的多模态训练和推理提供基础。此外，这一简单的架构设计将有利于多模态技术的产业化，推动其在更多领域的应用。

合作与推广

王仲远还提到，当前多模态领域仍处于早期阶段，未来需要与产业界紧密合作，进一步扩大训练规模，并将Emu3推向大众能够触及的应用。智源研究院已同步上线技术文档并开源关键技术，鼓励产业界和学术界共同探索和推进多模态技术的发展。

结语

Emu3的发布不仅是多模态领域的里程碑，也为未来的多模态大模型训练指明了新的方向。随着技术的不断进步和产业界的积极参与，多模态AI将在更多应用场景中发挥重要作用，为人类带来更多的便利和创新。