据智源商议院，下一token测度已在大言语模子规模完好意思了 ChatGPT 等打破，关联词在多模态模子中的适用性仍不解确足球尤物，多模态任务仍然由扩散模子(如Stable Diffusion)和组合圭臬(如集合 CLIP视觉编码器和LLM)所主导。
2024年10月21日，智源商议院厚爱发布原生多模态寰球模子Emu3。该模子只基于下一个token测度，无需扩散模子或组合圭臬，即可完成文本、图像、视频三种模态数据的流露和生成。
Emu3在图像生成、视频生成、视觉言语流露等任务中朝上了 SDXL 、LLaVA、OpenSora等盛名开源模子，关联词无需扩散模子、CLIP视觉编码器、预教育的LLM等工夫，只需要测度下一个token。
Emu3提供了一个强盛的视觉tokenizer，未必将视频和图像诊治为闹翻token。这些视觉闹翻token不错与文本tokenizer输出的闹翻token一齐送入模子中。与此同期，该模子输出的闹翻token不错被诊治为文本、图像和视频，为Any-to-Any的任务提供了愈加调和的商议范式。而在此前，社区短缺这么的工夫和模子。
性爱经历此外，受益于Emu3下一个token测度框架的活泼性，径直偏好优化(DPO)可无缝期骗于自转头视觉生成，使模子与东说念主类偏好保捏一致。
Emu3商议效果讲明，下一个token测度不错动作多模态模子的一个强盛范式，完好意思杰出言语自己的大范围多模态学习，并在多模态任务中完好意思先进的性能。通过将复杂的多模态打算拘谨到token自己足球尤物，能在大范围教育和推理中开释浩大的后劲。下一个token测度为构建多模态AGI提供了一条远景广袤的说念路。