清华数学大神跳槽OpenAI！主导SAM与Llama开发实战揭秘

henry 发自 凹非寺
量子位 | 公众号 QbitAI

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

又一位清华大神加入OpenAI！

刚刚，毕业清华大学数学系，曾在Meta FAIR工作3.75年、主导过SAMLlama多项核心工作的研究员张鹏川（Pengchuan Zhang）宣布离职。

他的下一站，是来到OpenAI，投身于世界模拟与机器人学（World Simulation and Robotics）方向的研究。

他在推特中写道，自己非常期待探索视觉感知、世界模型与机器人技术如何融合，构建真正的“物理智能”。

OpenAI世界模拟方向的负责人之一、Sora项目资深领导Aditya Ramesh也第一时间留言欢迎。

从视觉理解到底层世界模型，这一步转向本身就很有意味。

那么，这位曾站在SAM与Llama核心位置的研究员，究竟是谁？

张鹏川是谁？

2007年，张鹏川从重庆市南开中学高中毕业，考进清华大学，主修数学。

本科毕业后，他前往美国加州理工学院（Caltech）攻读博士，于2017年获得应用与计算数学博士学位。

博士期间，他专注于机器学习理论与应用，开始探索深度学习在视觉领域的潜力。

博士毕业后，他加入微软研究院，并在Microsoft Research雷德蒙德担任首席研究员。

期间，他领导了雷德蒙德实验室的计算机视觉与多模态智能研究工作。

同时还在微软内部跨组织推动计算机视觉与多模态智能项目，包括Alexandar Multi-Modal和Florence等方向。

值得一提的是，他在2024年还加入了华盛顿大学，担任电气与计算机工程系的兼职助理教授至今。

2024年起，他转入Meta FAIR（现Meta超级智能实验室），研究计算机视觉与多模态智能，累计工作近4年。

在此期间，他主导多项开创性项目，包括：

担任Segment Anything 3（SAM 3）项目负责人：SAM 3是一个统一框架，可在图像和视频中实现目标检测、分割与跟踪。

作为SAM系列最新迭代（2025年11月），该模型推出统一框架，支持图像和视频中的目标检测、分割与跟踪，实现零样本泛化到任意物体和场景。

担任Llama 3视觉 grounding项目负责人，主导输入侧视觉 grounding能力建设，使Llama 3成为首个在Visual Commonsense Reasoning（视觉常识推理）基准上达到人类水平的开源模型。

担任Llama 4视觉grounding项目负责人，延续Llama 3优势，进一步强化专家级图像grounding能力（如像素级定位与复杂场景理解），被视为Llama 4对标GPT-4o的关键差异化亮点。

这些工作不仅提升了Meta的生成式AI竞争力，还为开源社区贡献了高影响力工具。

截至目前，张鹏川谷歌学术被引高达34659次！

One more thing

在张鹏川的推特下方，一位网友忍不住发问：

为什么突然之间所有人都在加入 OpenAI？我是挺兴奋的，但这是为什么？

这个疑问，其实并不突兀。

自2025年底以来，已经有多位业内知名人物陆续加入 OpenAI——

括姚班大神陈立杰，Roblox高管Arvind KC，《性能之巅》作者Brendan Gregg，以及从Thinking Machines Lab回流的Barret ZophLuke MetzSam Schoenholz等人。

与此同时，前段时间刷屏的xAI离职潮，也让不少人猜测——

OpenAI会不会成为这些顶尖研究者的下一站？

对此，评论区有位网友回复得很直接：

因为（OpenAI）有算力+Sora级别的世界建模基础设施。如果没有这两样，到2026年几乎不可能做出真正高水平的机器人系统。

如果这条判断成立，那么张鹏川的选择，或许不只是一次个人职业转向。

也是OpenAI今年对“世界模型 + 物理智能”路线的下注。

让我们期待鹏川在OpenAI的工作！

[1]https://pzzhang.github.io/pzzhang/

[2]https://scholar.google.com/citations?hl=zh-CN&user=3VZ_E64AAAAJ&view_op=list_works

[3]https://x.com/PengchuanZ/status/2026189659228012558?s=20