当下的 AI 图像生成领域，Diffusion 模型无疑是绝对的王者宏泰证券，但在精准控制上却常常"心有余而力不足"。
在精确视觉控制、平衡多模态输入以及高昂的训练成本方面仍面临挑战。有没有一种更高效、控制更精准的范式？
近日，来自伊利诺伊大学香槟分校（UIUC）、威斯康星大学麦迪逊分校、清华大学、北京大学、Adobe 以及微软的研究者们，将目光投向了另一条技术路线——
自回归（Autoregressive, AR）模型，并提出了一个全新的高效多模态微调框架MENTOR，仅用十分之一的训练数据和次优的模型组件，就能够实现超越 Diffusion 方法（如 Emu2、DreamEngine）的性能，为复杂的多模态图像生成提供了一个更高效、更可控的新范式。
MENTOR 巧妙地绕开了 Diffusion 模型中常见的复杂设计，通过独特的两阶段训练法，让自回归模型也能高效地进行多模态条件下的图像生成，实现了像素级精准控制。
△多模态条件生成效果展示解决多模态图像生成中的平衡难题
在真实世界的应用中，我们常常需要模型能够理解和处理比纯文本更复杂的指令，比如"让这只猫戴上这顶帽子"或者"把这张图的风格变成梵高那样"。这种包含图像、文本等多种信息的输入，对现有模型提出了巨大挑战：
精确控制难： Diffusion 模型固有的随机性，使得在需要高保真度的任务（如图像重建）上难以实现精确的、确定性的控制 .
模态失衡： 现有方法在融合多种输入时，常常会"偏科"，比如过度依赖参考图像而忽略文本指令，或者反之。
训练成本高： 许多基于 Diffusion 的方法，为了对齐不同模态，引入了复杂的适配器或额外的对齐模块，需要大量的训练，计算成本高昂。
面对这些难题，我们不禁要问：是否存在一种更高效、更可控的范式来解决多模态图像生成中的平衡难题？
为了应对上述挑战，研究团队提出了MENTOR，一个简单而高效的自回归（AR）框架。MENTOR 利用统一的 Transformer 架构，直接将多模态输入与输出的图像 token 对齐，从而简化了模型结构和训练过程。
△MENTOR 概览。左侧为模型结构，右侧为两阶段训练范式
与 Diffusion 模型不同，自回归模型（如 GPT 系列）通过逐个预测下一个 token 来生成内容。MENTOR 的核心思想正是将这种序列生成能力应用到图像上：将所有输入（文本、参考图、分割图等）和输出图像都" Token 化"，转换成一个统一的序列，然后让 AR 模型来学习这个序列的生成规则。
MENTOR 的核心设计包含两大亮点：
1. 统一的自回归架构：模型由一个多模态编码器和一个自回归生成器组成。编码器负责将输入的图像、文本等信息统一编码成一个共享的表示（embedding）。然后，自回归生成器会逐个生成图像 token，最终解码成一张完整的图片。这种序列化的生成方式，天然地实现了输入和输出之间精细的、token 级别的对齐。
2. 精心设计的"两阶段"训练范式：为了让模型学会"兼顾"不同模态的输入，研究者设计了一个两阶段的训练策略：
第一阶段：多模态对齐预训练 ( Multimodal Alignment )
在这一阶段，模型的核心任务是学会"看懂"不同类型的输入，建立像素级和语义级的底层对齐。通过图像重建、对象分割和文生图三个任务，强制模型学习输入图像的精细视觉细节和空间结构，而不是仅仅把它当成一个"视觉提示"。这个阶段的训练，为模型打下了坚实的多模态理解基础，让它知道了"文字描述的‘狗’"和"图像中的‘狗’"在视觉 Token 层面是如何关联的。
宏泰证券
△△ 经过多模态对齐预训练的图像重建效果
第二阶段：多模态指令微调 ( Multimodal Instruction Tuning )
在对齐的基础上，这个阶段旨在提升模型的指令遵循和跨模态推理能力。除了延续第一阶段的任务外，还引入了两个新任务：
图像恢复 ( Image Recovery ) :
通过人为制造一些"残缺"的图像（如旋转、缩放、替换背景），让模型学会利用文本提示来"脑补"和恢复出原始图像，从而促进多模态信息的融合与纠错。
主体驱动的图像生成 ( Subject-driven Image Generation ) :
要求模型在严格遵循文本指令的同时，保持参考图像中主体的视觉特征。
通过这种"先对齐，后微调"的策略，MENTOR 成功地解决了模态失衡问题，实现了对视觉和文本指导的有效、可控的融合。
"降本增效"的显著成果
尽管 MENTOR 的模型规模不大，且使用的组件（如 Flan T5,LlamaGen）性能有限，但它在 DreamBench++ 上取得了令人瞩目的成绩。
1. 性能与平衡性的双重胜利
表 1：MENTOR 在 DreamBench++ 的性能对比在 CP-PF 分数上 MENTOR 不仅超越了 Emu2（37B 参数）和 DreamEngine（10.5B 参数），更重要的是，它的 CP/PF 比率是所有免调优方法中最低的。这表明 MENTOR 在保持参考图视觉特征和遵循文本指令之间取得了最佳的平衡。
MENTOR 在 DreamBench++ 上的性能对比。圆圈大小代表 CP-PF 分数，MENTOR（左下角橙色）在模型大小和训练数据量都远小于对手的情况下，取得了极具竞争力的平衡性能。
2. 训练效率
MENTOR 在整个训练过程中仅使用约 300 万组图文对，耗时约 1.5 天（基于 8 张 A100 显卡）。相比之下，Kosmos-G、Emu2 等基线方法在训练资源上的消耗显著更高，充分体现了 MENTOR 在架构设计和训练范式上的高效性。在相同训练资源下的对比实验中也可以观察到，MENTOR 相较于以 Kosmos-G 为代表的 Diffusion 方法展现出了更优的性能。
表 2：MENTOR 与 Komos-G 在 DreamBench++ 的受控对比试验结果
3 卓越的图像重建保真度
表 3: MENTOR 在 COCO 和 JourneyDB 上进行图像重建任务的定量对比。
在图像重建任务中，MENTOR 的表现同样出色，其重建误差（l2 距离）远低于其他顶尖模型，这有力地证明了其自回归架构在保留视觉细节方面的强大能力。
△ MENTOR 在图像重建任务上的定性对比，展现了其超高的保真度。
4. 丰富的应用潜力
MENTOR 框架的通用性极强，只需在特定任务的数据上进行简单的微调，就能胜任多种复杂的多模态生成任务，无需对模型架构做任何修改：
文本引导的图像分割
多图像融合生成
主体驱动的图像生成
多模态上下文学习
...
△多图像多模态条件生成训练，有助于提升模型在视觉细节保留方面的能力。自回归范式的潜力
总而言之，MENTOR 的提出，为复杂可控的图像生成任务开辟了一条新的、有别于 Diffusion 模型的道路。
它通过一种更简洁的自回归框架和高效的两阶段训练策略，实现了对多模态输入的精细化、像素级对齐和控制，以更小的模型尺寸和更少的训练资源，实现了更平衡、更可控的生成效果。展现了 AR 模型在视觉生成领域的巨大潜力，证明了在多模态生成任务上，"大道至简"同样行之有效。
当然，研究者们也指出，受限于当前 AR 生成模型的底层能力，MENTOR 在某些方面（如空间推理、细粒度人像渲染等）与最顶尖的 Diffusion 模型相比仍有较大差距。但我们有理由相信，随着更强大的自回归基础模型的出现，MENTOR 这类框架的潜力将被进一步释放，为构建下一代通用、精细、可控的视觉内容创作系统奠定坚实的基础。
论文链接：https://arxiv.org/abs/2507.09574
项目主页：https://haozhezhao.github.io/MENTOR.page
代码仓库：https://github.com/haozhezhao/MENTOR
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见宏泰证券
富灯网提示：文章来自网络，不代表本站观点。
相关文章
沪深京指数
热点资讯
