国产多模态医疗AI实现顶尖医学图像分割性能无需调整模型架构

第一阶段：冷启动监督微调。

由于现有的生物医学分割数据集只包含最终掩膜，缺少逐步的点击轨迹，研究团队利用BiomedParseData数据集开发了自动轨迹生成算法：通过规则化的点击模拟策略推导出可能的点击序列，再借助Gemini-2.5-Pro大模型为每一步生成对应的自然语言推理描述。

为了提升模型的鲁棒性和纠错能力，额外合成了两类带有自我反思的轨迹：一是“错误自纠正”轨迹，当检测到错误动作后模型会回溯并重新推理；二是“指令不一致纠正”轨迹，当遇到与初始掩膜矛盾的指令时，模型会主动丢弃并重新分割。最终，构建了一个包含456K样本的高质量冷启动数据集。

第二阶段：智能体强化学习。

在SFT之后，模型仍主要模仿已有的轨迹。为了激发其自主决策能力，研究团队引入了强化学习，并设计了细粒度的奖励框架，在每一次交互步骤中都提供密集的反馈信号：

其中，“区域点击奖励”与“渐进式分割改进奖励”是核心创新。前者引导模型将每次点击落在具有语义意义的有效区域内；后者则强制要求每一步行动都必须带来实质性的分割质量提升，从而有效避免了冗余操作和结果震荡。RL训练采用了GRPO算法，并在888K的VQA样本上进行了优化。

实验结果与性能评估

广泛的实验验证表明，IBISAgent在多个评测基准上均展现出卓越性能。无论是在域内测试集、域外泛化数据集（MeCOVQA-G+，涵盖5种成像模态），还是在自建的私有数据集（包含1K CT/MRI/病理图像，覆盖7类癌症）上，其表现均大幅领先于所有对比方法。

与医学专用MLLM基线模型相比，IBISAgent在平均交并比上提升了35.13%，在戴斯相似系数上提升了37.58%，F1分数也提升了29.79%。

需要特别指出的是，对比方法Citrus-V和UniBiomed均在比IBISAgent更大规模的数据集上进行了预训练，而IBISAgent依然能够实现性能超越，这充分证明了其性能提升源于创新的方法设计，而非单纯的数据优势。

与工具增强型智能体的对比分析

与同样能够调用MedSAM2分割工具的其他增强型智能体（如GPT-4o、LLaVA-Med、HuatuoGPT-Vision等）相比，IBISAgent在域外数据集和私有数据集上依然保持着显著的性能领先。这有力地证明了，由多轮交互式自主推理带来的性能增益，远超过简单的工具调用所能达到的效果。

两阶段训练方案的消融研究

消融实验清晰地证明了冷启动SFT、自我反思轨迹合成以及强化学习三个阶段均不可或缺，每一阶段的叠加都带来了明显的性能收益。其中，强化学习阶段贡献了最大的性能跃升，这表明强化学习的探索-利用机制对于激发模型真正自主的像素级推理能力至关重要。

细粒度奖励设计的消融分析

研究团队对强化学习阶段的奖励设计也进行了逐项验证。

以仅使用格式奖励和最终答案奖励作为基线，在域外数据集MeCOVQA-G+上的IoU仅为73.77；当逐步引入“区域点击奖励”后，IoU提升至76.60，掩膜的定位准确性得到显著改善；进一步加入“渐进式分割改进奖励”后，性能跃升至80.61，同时平均交互步数从11.29步压缩至8.12步，表明模型学会了更高效的分割路径；最终，叠加“轨迹长度奖励”后，交互效率继续提升，步数降至4.26步，同时分割质量维持在最高水平。

这一系列结果充分说明，细粒度的逐步反馈信号是驱动模型在分割质量与操作效率之间取得最佳平衡的关键。单纯依赖最终结果的奖励机制无法达到同等的训练效果。

总结与展望

这项研究成功地将生物医学图像分割从传统的“单次推理输出”范式，推进到了“自主多轮交互决策”的新阶段。

针对现有方法因依赖隐式标记而导致模型推理能力退化的问题，IBISAgent创新性地采用交错的文本推理与空间点击动作完全替代了标记，不仅完整保留了MLLM强大的语言能力，还通过多步马尔可夫决策过程建模实现了真正意义上的自主迭代优化。

更进一步，通过冷启动SFT结合自动轨迹生成技术，为模型建立了稳健的推理先验；随后，借助智能体强化学习与精细设计的奖励机制，驱动模型超越简单的轨迹模仿，主动探索最优的决策策略，最终实现了精准、高效的细粒度视觉推理。

广泛的实验验证了IBISAgent在多模态、多疾病复杂场景下的一致性和优越性，为未来构建面向真实临床环境的智能医学图像分析系统奠定了坚实的技术基础。

论文链接：
https://arxiv.org/abs/2601.03054
代码链接：
https://github.com/Yankai96/IBISAgent