最快半年AI自进化 陈天桥首席科学家解读硅谷模型必争之地

我们怎么知道AI有没有偷偷跑偏？

从ChatGPT掀起生成式AI浪潮到现在，不过短短两三年，AI能力的进化速度已经让“AI自我进化”这件事从科幻走进了现实。上个月，Anthropic在一份公开报告中预测，AI未来将进入“递归自我提升”（Recursive Self-Improvement, RSI）阶段，并呼吁人类共同为AI的发展设计出一个减速或暂停机制。

AI自我进化会以多快的速度到来？未来的AI，它会在通往真理的道路上与人类并肩作战，稳步破解医学、气候等种种难题，还是会在暗处走向失控？

这个话题太大了，几位嘉宾的对话内容极其密集。本期播客，泓君邀请到专注做“发现模型”的AI公司Apodex的两位首席科学家——Simon杜少雷（推理模型与训练方向，华盛顿大学计算机系副教授）和Beibin Li（自我进化与编程方向），聊聊AI自我进化离我们有多远。

Apodex是一家由陈天桥出资创立并亲自主导的公司，它的定位非常特别——只做一件事：Hea vy Duty Solver，专啃那些没有标准答案、人类自己都不知道从哪下手的难题。他们管自己想做的模型叫Discovery Model。不是从已知的信息里面找答案，而是要提出人类还没有想到过的假设，自己想办法去验证它，解决这个世界上还没有被解决的科学难题。实现这一切的方法路径，就是AI的自进化。

嘉宾预言，最快半年，AI就能跑通一次完整的自我进化闭环。但要实现持续的、可靠的递归提升，模型需要具备“自我验证”能力，成为自己的考官。这很像人类科学家的基本功：大胆假设，小心求证。而要让AI做到这一点，关键的前提是——让它拥有科学家一样的品味和判断力。

以下是这次对话内容的精选：

自我进化，不是新鲜事，但“递归”才是新变量

泓君：今年有一个词很火，就是RSI。我发现大模型，每年都有一些新的方向出来，前几年我们在聊的最火的是Deep Research深度研究，再到Coding代码方向，今年就到了自进化Self-evolve的方向……这后面有没有一个核心的主线？

Beibin：从训练的角度来看，其实是同一个能力在提高——长链推理的能力。不管是在Deep Research还是Coding这些环境下，内核都一样，只是方向上有细微区别。

我们说的“自我进化”这个概念，其实并不是新概念了——往前推的话可以到大约三年前。当时Google就有一篇论文叫“LLM as Optimizer”，就是用大语言模型当作一个优化器，可以优化不同的东西。当时我在AutoGen那边，也有同事出了一篇关于Agent optimizer的概念，就是智能助手可以自己进化、自己优化自己。

只不过这两年大家发现模型的能力越来越强了，它可以自我优化的东西越来越多了。比如Anthropic有八成的代码是可以自己写的。训练模型不管是从哪个角度——合成数据生成、自然语言数据清理、自我训练代码算法、还是infra底层代码——都是一种代码的形式。一旦模型的写代码能力变强了，用它来进行自我提升、自己训练自己，其实是非常自然的事情。

泓君：Beibin，你之前的背景是一直在关注模型的自我进化这条线？要不要简单介绍一下自己的背景？

Beibin：我最开始是在微软研究院做多智能体的合作。那时还不叫自我进化，智能体本身都是个比较新的概念。实际上我同事的工作已经涉及自我进化了，我们叫它“agent optimizer”和“teachable agent”——智能体可以教智能体，下一次再做类似的事情时可以用哪些技能，和现在的Skills概念有点像。

后来我去了Meta和xAI。在xAI时，我们开始关注Agentic RL，就是通过强化学习来加强智能体的一些能力，比如用工具的能力、写代码的能力。当时还有个概念叫MCP Tools。

所以Simon和我大概一年前就发现了，模型提高自己是非常可行的。我们做强化学习的数据生成，有很大一部分是代码写的。到今年年初，Andrej Karpathy发布了AutoResearch——他自己进行科研的一个项目，这个概念一下就爆火了。

泓君：非常好的总结。今年大家在提自我进化时，更多指的是“递归自我提升”。Beibin，要不要跟大家解释一下这个概念？

Beibin：如果把自我进化想象成一个圆环——模型自己找问题、自己出题、自己解答、自己训练自己——那RSI里的“R”代表的是“Recursive”，这是一种垂直的递归式，慢慢向上增长。这一点确实跟以往的自进化有些不一样。

今年跟往年最大的区别在于模型的能力变强了。Anthropic发表的论文提到80%的代码是它们写的，它们可以完乘人类大约一天时间做的事情。能力上来之后，模型可以完成非常长程的任务，在长程任务里，它可以把自己提高好几遍。

过去，我们说LLM as Optimizer或agent optimizer时，LLM一次只能优化自己大约两三个小时——优化太久了，它会因为偏差或能力不足难以为继。今年“Recursive”这个“R”之所以出现，正是因为模型可以进行很长程的任务了，可以递归地、多提高几遍。

图片来源：Anthropic Institute

泓君：这篇文章里有个数据：2024年3月，Claude 3 Opus可以完乘人类约4分钟完成的任务；一年后，Claude 3.7 Sonnet就能处理需要1.5小时的；又过了一年，Claude 4.6 Opus可以处理长达12小时的任务。这个改进速度比计算机领域的摩尔定律还要快。

Beibin：业界各家说法不同，但大家比较接受的一个判断是：模型能做到的事情，按人类时间来算，每7个月翻一倍。

泓君：RSI可以处理长程任务，这个“长程”是不是可以理解为需要很多个步骤、多个环节互相印证的一系列任务？假设做播客，能从规划到最终制作完成，中间有十几个步骤，每一步都做好——是这个意思吗？

Beibin：不同的人对长程的定义有些不同，但大家都同意一点：模型可以在人类不监督的情况下工作很长时间。拿播客文件处理来说，模型可以先剪切音频，自己听一遍，发现哪里不对重新剪，循环几次后再进行下一步。这种任务对人类来说可能要20或30个小时才能做完。如果模型能在没有人类监督的情况下完成，那它就是完成了长程任务。

泓君：它是怎么做到的？

Beibin：这涉及很多技术细节。首先就是模型架构的创新。传统Self-attention是O(n²)的算法，tokens多了——尤其是在100万上下文时——推理时就会消耗大量资源。好在已经有GDN、GDNv2、DeepSeek-V4 Pro等现成的架构来解决。

第二是训练数据。支持100万上下文推理不是特别难，只要模型训练好了，放到SGLang或vLLM里设置好参数，就可以支持。但关键是模型需要在非常长的数据下训练过才行。100万上下文是什么概念？相当于《哈利·波特》好几部书放在一起。即使是最大的代码repo也很难满足。所以预训练和后训练的数据处理是很大的挑战。

第三是infra。不只是测试时的infra，还有训练时的——要让语言模型直接输出100万个token，需要在GPU上做什么优化、在kernel上改哪些代码，都非常困难。这就是为什么训练长程任务会比普通任务有指数级的难度增长。

Simon：真想解决长程问题，从agent架构上也可以做很多事。即使有100万上下文可以处理，真正的长程任务可能还是不止100万。我们需要在有限的上下文里处理无限上下文，这就要用到agent技术、记忆技术等，来处理超长上下文问题。

代码能力，是自进化最硬核的“底座”

泓君：听起来很简单，但中间涉及了很多具体细分的技术体系。之前Beibin你讲过，训练一个模型本质就是Data、Infra和算法三件事。这三件事都高度依赖写代码。今天Claude表现出这么强的基础模型研发能力，主要是因为coding能力的提升。自进化的能力跟coding能力紧密相关，可以这样理解吗？

Beibin：基本同意。所以coding会变成模型的一个标配底座。但不是所有模型都需要——比如聊天型小模型可能不太需要写代码能力，但它们是背后大模型蒸馏出来的，所以背后的大模型肯定还是要高度优化写代码的能力。

“递归漂移”：模型会一代代跑偏，验证是关键

泓君：学术界提到，自我进化有一个根本性障碍——“递归漂移”。模型自己生成训练数据时，推理的错误会一代代累积。比如它给出的答案结果可能对，但推理过程可能是错的，在自我进化中就会把这个错误一代代累积，最终结果越来越歪。这是你们在真正训练模型中遇到的根本性难题吗？

Beibin：非常同意这个看法。Apodex有一个不一样的地方——我们特别注重“自我验证”。模型自己训练自己时，如果验证有任何漂移或bias，都会累积并造成不好的影响。在写代码和做数学计算这些任务时，我们比较容易验证——可以通过rule-based测试代码来判断对错。所以在代码领域，递归漂移相对好解决。

当然，即使有测试脚本，偶尔还是会发生漂移。不管是人还是AI在写测试代码时，可能偶尔太宽或太窄——太宽会让错误代码通过，太紧会惩罚写对的代码。所以细微的递归漂移还是会发生的，但会简单很多。

泓君：你们怎么去做验证？我知道验证是你们主打的核心功能。我去试用了你们的产品，收到一封邮件，标题很有意思：“很多AI系统生成答案，而Apodex验证它们”。后来才知道，公司名字Apodex源自希腊语“ἀπόδειξις”，意思是证明与论证。相当于从成立起，就把验证、较真写进了名字里。

图片来源：Apodex

Simon：验证有很多套方法，不同领域需要不同方法。代码可以用单元测试，数学可以用Lean等形式化验证方法。

但还有很多问题更依赖人的判断，甚至不是100%正确或不正确的。这时候我们是依赖一个Agent系统做验证的，我们管它叫Agent Team。大致流程是：问题先被分解，不同子agent有的负责解题，另一个子agent单独验证解法。之所以分成两个子agent，还是因为上下文问题——不让一个agent干所有事，同时给两个agent的指示也不太一样。

另外还有一些重要技巧，比如冗余——这思想在计算机领域历史悠久。同一个问题让不止一个agent去做，得到不止一份答案后，会让一个全局agent判断哪个答案更准确。这比只用单个agent效果要好很多。

从agent方面我们有这些设计。在训练时，我们也会专门针对验证去训练一些能力，比如让agent判断不同信息源搜集的信息哪些更靠谱。

Beibin：我们在做强化学习时，裁判会在训练过程中一起学习，这样可以避免模型学会不好的行为，比如奖励黑客（找到讨好裁判的捷径但没有实际进步）。

自进化的三种路径：预训练、后训练、脚手架

泓君：你们现在是怎么做自我进化的？有哪些路径可以达成？

Beibin：我们把自我进化分成不同阶段——预训练和后训练阶段。预训练阶段在数据采集、清理上应用自我进化方法。后训练阶段自我进化更有效，因为模型出来后才知道有什么问题。

后训练的自我进化包括：诊断自己有什么症状、哪里不达标；基于诊断制造不同训练配方；拿到数据和配方后自己训练自己，验证每一步是否正确；然后回到第一步，再诊断缺陷。

另外在脚手架（harness）上也有自进化。脚手架和后训练挺难解耦的——模型在后训练上进化后，脚手架也会跟着进化。就像两只脚交替踩，让模型往前跑。

泓君：所以你们三种方式——预训练、后训练、Harness环境——全部会用？

Beibin：对，因为公司就是把自我进化当作主要方法论，所以在每个方面都会用到自我进化的思想。

Simon：搜索能力对后训练非常重要。后训练的方法大多是：模型能判断出自己有什么缺点后，需要针对性地造任务和答案来提高能力。造任务很依赖搜索能力——需要去网上搜对应资料，造出题目。所以搜索本身是重要能力，这也是我们最先做Deep Research的原因。Deep Research是很general的能力，搜索可能是其中很本质的东西——它代表了当模型需要提高某个能力时，可以指引或找到对应数据来提升。

泓君：我注意到你们在好几个Deep Research榜单上都拿了第一名，要不要讲讲？

Simon：这些包括BrowseComp（OpenAI研发的基准测试）、DeepSearchQA、Frontier Science（Frontier Lab出的）。BrowseComp更关注搜索能力，会有特别刁钻的问题——比如搜一本书是几几年前出的，首字母是ZY。这方面我们是SOTA（最高水准），比闭源模型好。Frontier Science是给出科研问题，看你能不能制定计划一步步去做。它会用LLM-as-a-Judge来判断步骤是否合理。

这两方面我们都做了深入研究，造了对应题目来提高模型能力。还有就是我们之前讨论的Agent Team范式，包括验证、通过冗余判断得到更全局的结果、生成答案。整个系统让我们拿到了SOTA水平。

泓君：你们在Deep Research后训练中，相当于用整个Agent团队替代单个Agent验证。复杂的任务能调动上百个子Agent。聪明的AI，干不过会相互检查的团队？

Simon：非常相信这一点，这是基于Self-attention结构的一个本质问题。即使你用Linear Attention等新结构，也解决不了超长上下文的问题。上下文越长，Attention效果越差。所以单个模型至少在目前技术范式下还是有上限的。

这和人类很像——人脑子有限，所以需要纸笔记录信息，之后再调用。近期我其实不太相信用一个Agent就能解决特别特别长的上下文问题，需要多个Agent和记忆力机制等整个系统来解决超长程问题。

Discovery Model vs. Generative Model：解题家与科学家之别

泓君：接下来可能是我最兴奋的板块了。Apodex要做Discovery Model（发现模型），Simon要不要介绍一下这个模型？

Simon：我们的长期愿景是Hea vy Duty Solver，强调解决很难的问题，而不是聊天机器人这样的初期应用。手段是通过自我进化，这是我们一直强调的。我们相信大模型最终能解决人类之前解决不了的问题。从经济角度，大部分模型厂商是卖token，但我们相信，真正通过大模型解决人类没解决的问题，那解决问题本身创造的价值远大于卖token的价值。我们有一个专门团队叫Hea vy Duty Discovery，专门找最难的问题。

泓君：Hea vy Duty Discovery团队具体在找哪些问题？

Simon：第一步是生物医药，包括制药、靶点发现、老药新用，也包括疾病诊断。很多问题非常具体，需要专门团队找到什么样的问题适合解决。

泓君：很有期待。我发现你们要做的是Discovery Model而不是Generative Model。Beibin，解释一下这两者在根本上的区别？

Beibin：让模型提出假设并不特别难，难的是提出的假设非常out of distribution、非常有创新性——这是第一。

第二个更大的难点是：怎么验证这个假设？这跟怎么做好Verification（自我验证）强相关。可以用Deep Research方法收集已有信息找更好假设，也可以用写代码或Self verification跑实验。如果能在计算机上做模拟，也会增加我们对新假设的信心。

所以发现模型的瓶颈，第一是未知领域很难有标准答案；第二是也很难在模拟环境得到可信验证。self-evolution（自我进化）是我们通向Hea vy Duty Solver和Discovery的主要方法。

泓君：提到了要做很多假设然后求证，这让我想到科学领域最基础的方法——大胆假设，小心求证。这也是我做记者、做报道时一直贯彻的价值观。大家以前对模型的印象是：它能从网上、从人类知识库里找到已知知识答案就不错了。现在要让模型理解人类知识，还能提出问题、发现问题——这不是让AI做解题者，而是当科学家，很难。

Beibin：这是现在的难点。怎么训练Generative model已有非常多的可行方法，相关配方也成熟了。但如何让模型进行假设和Discovery，大家还在调、没完全调通的一件事。

回到“在未知中提出问题”这一点，可以往下切细一点。在写代码领域，SWE-bench Verified这类题是训练模型做解题家。但“会提问”其实是一种“Meta能力”，更高维的能力。这涉及后训练的一个loop——自我诊断、自我造题、自我训练。要在模型现在的回答或收集到的信息中，诊断出哪里能力有问题，或者哪里假设需要更深入研究，这是我们接下来会重点关注的领域和方向。

Simon：在学术界，大家都知道有好论文和灌水论文。我们也想培养模型变成一个真正的好科学家，就需要培养一个好的taste，也就是学术品味。

提出新问题需要先做Deep Research找到已有知识。但提出什么样的问题，其实仁者见仁、智者见智。可以提一个比较Incremental的问题，容易解决，能发论文；也可以提一个比较Fundamental的问题，不那么容易解决，但解决了真能让科学有所突破。

之后我们会进一步训练模型，让它有更好的学术品味。训练方法上还需要跟人类最顶级的科学家对齐。陈天桥陈总经常会让我们和顶级科学家一起讨论，请他们提供insight或数据，帮助我们模型有更好的品味。

泓君：顶级科学家有什么共性？从他们身上学到的东西，怎么转换成计算方法或与AI交互的方法？

Simon：我们一般说一个顶级科学家，不是看他有多少篇论文，而是看他最好的论文质量有多高。所以一定要追求顶点，解答最本质的问题，这甚至要写在模型宪法里。具体实操上，训练方法还是已有的RLHF、SFT或RL。

简单的方法就是偏好——问科学家两道题，他一般能判断哪个是灌水题、哪个不是。经过训练后AI也能判断出来，应该让模型多提非灌水题。

泓君：Beibin，在跟顶级科学家交互中学到了什么？怎么用到模型训练中？

Beibin：AI马上就能进行自我进化了，我对此坚信不疑——要么接下来半年，要么一年，反正两三年内肯定就成功了。到那时，我们还需要顶级AI科学家干嘛？或者说还需要人类干嘛？想来想去就是“品味”这个词。

训练不同的模型时，我发现品味真的很重要。同样读完一篇论文，可以想到非常小的改进，也可以想到非常长、非常大的假设，但要干非常多活、迈非常大步子才能解决的问题。

现在即使是市面上最好的模型，它的品味其实也远低于一个普通AI科学家。这也是为什么AI写代码写得很好，但还是不能把模型训练全部自动化。接下来，不管是作为顶尖AI科学家、研究员还是工程师，在训练模型时都需要把控品味的。

这非常难——如果大家用过很多不同种类的模型，会发现它们都有个通病：或多或少都挺喜欢拍马屁的。一个喜欢拍马屁的模型，很难提出大胆的假设。除了拍马屁，还有hedging beha vior（对冲行为）——“对，用户你说得对，是我疏忽了，但我也没说错，你说得更全面……”模型经常这样回答用户。

所以我们在训练时，会专门对模型提出假设的能力进行后训练。但怎么保证新模型不会出现鸡蛋里挑骨头的行为？这就是品味要平衡的——既不要拍马屁，也不要鸡蛋里挑骨头，要实打实提出好假设，再把它验证出来。

不要拍马屁，不要鸡蛋里挑骨头——那要什么样的模型？

泓君：模型拍马屁，用户说什么它都对——这是我用很多模型时觉得最痛苦的部分。它不给事实性答案，只给迎合你的答案。这是不是在训练时把模型参数往哪边调、注入什么人格特质有关？

Beibin：不管是哪家公司，后训练时多少都会有一个RLHF阶段。RLHF的来源数据是用户投票，也可能是公司自己让员工标的偏好数据。人不是完美的，人类本身可能有特殊偏好——偏好说好话、拍马屁的答案，偏好写得非常长的答案，偏好格式上结构化，尽管结构本身没实际意义。就是这种人为偏差，让模型有各种拍马屁行为。

Apodex想做Hea vy Duty Solver，所以不会用网上大众的人类偏好来训练模型，这样能或多或少避免一些问题。未来训练时，肯定是想要最顶尖的人类来标偏好数据，给不同模型答案打分，确保公正公平，从数据源头解决一些问题。

泓君：既不要拍马屁，也不要鸡蛋里挑骨头——两个“不”都说出来了。那要做什么样的模型？注入什么样的人格？

Beibin：这其实就是我们聊的品味问题。把“左”和“右”两个“不”打出来，中间就是我们要的。模型通过research找到相关信息，或者通过写代码得到答案后，要自己思考、推理，给出相对合理的解释。Agent Team也能稍微解决这个问题。

Simon：要解决拍马屁，就要让模型做到：用户让我们做的事，如果觉得不合理，应该告诉用户，而不是拍马屁。我们有一整套系统来实现这一点，包括Constitution AI（AI宪法）——这个概念Anthropic几年前就提出来了，这给整个模型定义了性格，我们把这些性格训练在模型权重里。还有很多细节，比如我们注重真实性——用户说错就要纠正。这通过验证verification或AgentTeam形式，去验证用户说得对不对，然后反驳。

至于什么是好问题、不在鸡蛋里挑骨头，这确实是品味问题。更多是通过和顶级科学家交流，以及他们提供的偏好数据来培养品味。这跟平时在学校培养PhD是一样的。公司有能接触到各行各业顶级科学家的资源，这是很重要的一点。这也是陈天桥陈总从一开始的愿景——要做Hea vy Duty Solver，就要跟顶级科学家对齐，培养品味。

泓君：这一点提得特别好。陈天桥先生和很多主流顶级科学家都保持了密切联系。但人类顶级科学家的数据样本量非常小，相对于用更大量数据训练模型，能贡献的核心比例是多少？

Simon：从数据角度，预训练确实需要大量数据，所以有Scaling law。后训练的需求会少一些。现在已经有更多方法把人类的品格或性质总结出来。比如Meta最近也在“蒸馏”员工——其实也是在蒸馏性格或行为习惯。把人类的性格总结出来，是可以慢慢做到的，这也是个比较新的方向。

泓君：我记得在音乐模型刚兴起时（Suno那波），我曾问过做音乐模型的科学家：Suno做的歌太一般了，是口水歌，能做出像周杰伦、Taylor Swift那样有品位的歌吗？他给我的答案是：可以，但不取决于技术，而是版权——他们不敢拿顶级音乐人的歌曲去训练，只能用版权库里简单的配乐。但如果真的用人类最精华、最好的歌曲去训，他觉得完全可以。用顶级科学家的品味去训模型，是不是同理？

Simon：很同意。人类从婴儿成为顶级科学家，这条路就是别人给反馈，告诉什么是好、什么不好，得到的数据也没那么多。我们相信通过顶级科学家的指导，可以拥有顶级科学家的品味。

每个顶级AI公司都在造“AI科学家”，Apodex的差异化在哪？

泓君：让AI做科学家、做发现模型，几乎是所有顶级模型公司都在做的事。OpenAI已经把能独立承担大型研究课题的AI研究员定为未来几年头号目标；DeepMind从创立起就为科学而生，Gemini也要做多智能体的Co-scientist；Anthropic的Dario也想要有一个国家级的科学天才。所有顶级模型公司都想让AI做发现、提出好问题。你们进入了最激烈的战场。Apodex的核心优势是什么？

图片来源：Google Deepmind

Simon：这个战场价值很大。真正解决难的科学问题，意义巨大。世界上的学科那么多，解决其中几个就已经是很大的突破。所以不止一家公司能成功。

Apodex这边的优势，我觉得是我们比较专注。我们不是聊天机器人这样的模型，基本不取悦用户的特殊偏好。现在大模型的整个发展，比拼的更多是执行力和组织架构。我们还是非常小的Startup culture，所以比较专注做好Hea vy Duty Solver这一件事。

Beibin：我做所谓的“AI for science”这个概念已经有十多年了——读博之前就在做，当时主要是在医疗和自闭症领域。现在很多公司开始往AI for science做，我并不觉得是竞争，反而看到的是希望曙光。

过去十几年，IT技术for science没有太多规模化的成果。但有了LM、Generative model和Discovery model的技术提升，我觉得未来5到10年真的做出有科研价值和现实意义的成果，是大有希望的。

世界上有价值的科研问题是无限的，但人的精力是有限的，整个世界的GPU也是有限的。怎么在有限资源里找到最有价值的问题来解决，这才是最重要的一步。

所以Apodex有个HDD团队（Hea vy Duty Discovery），全职团队和不同顶级科学家交流，从几千个科研问题中找最有价值的问题来做——这可能是Apodex和市场上其他公司比较大的区别。

另外补充一点：我们不是做AI for Science，只不过AI for Science跟Hea vy Duty Solver有非常大的重叠。

泓君：AI for Science跟Hea vy Duty Solver，区别是什么？

Simon：现在很多模型叫垂域模型——用大量某个具体领域的数据训练，在一个领域里的能力很强。但我们这边的Hea vy Duty Solver是通用模型，强调一些特别的元能力——包括验证、分析、搜索、planning等能力。这些元能力对真正的难题都有意义，我们会着重训练。但我们不太会针对某个特定领域放入50%的数据，不会那样做。

最后那道坎：跑偏了怎么办？

泓君：Beibin提到AI还有半年就能完成自我进化与提升，能详细解释一下吗？

Beibin：我说的最快半年，是说能开始把闭环跑通。最大的难度在后训练。RSI的“R”要跑很多环，但跑完一环估计在半年到一年之后。比如模型在Coding for material science领域发现自己代码的问题，会造训练环境和数据，自我验证训练后有没有提升，再迭代。这样一个loop一次循环，半年之内能成功。

Anthropic几个月前发过博客说80%代码是它自己写的，但现在有些问题——即使是市面上最强的模型也没有完全解决。从我们最近的观察和训练结果来看，很快会有突破。

泓君：具体指什么问题？

Beibin：问题很多，但让我睡不着觉的一个问题是：我们怎么知道模型在自我进化时，它是满足人类需求的、没有跑偏？这个跑偏可以是安全上的，也可以是目标上的。如果我们只说“给我造一个更好的材料科学模型或算法”，它可能真造出来了，但在你没观测的点上——比如成本或性能——可能会有非常大的妥协。

人和人交流时，需求说得很模糊。在训练模型时，如果说得模糊，它可能就“我碰到瓶颈了，不管怎样让我换一个方法来达到目标”。对模型这个行为进行监控，这是最大的问题。

泓君：安全问题和“不择手段”问题，现在解决了吗？

Beibin：个人看来还没解决。但我还是很乐观，应该很快会有解决方法。

泓君：有什么解决方案会让你安心一点？我能想到的是穷举尽可能多的可能性，但有点笨？

Beibin：这就是为什么我们还没完成全自动化。我现在做得最多的一件事，就是每天工作时间读模型输出、读智能体每一步的操作，确保每一步或整体都在可控范围内。一旦发现比较蠢的或感觉不太对的行为，就赶快停下智能体loop，手动改一改、调一调，让它进一步提升。

这是笨方法——我现在是手调。未来能不能有一个智能体代替我？这就是现在大家提的很火、也很搞笑的概念——员工蒸馏。能不能把我的日常工作蒸馏到智能体里，甚至蒸馏到模型能力里？这个想法虽然在说笑，但我认为是可行的。

如果能在三个月内把我蒸馏到Apodex的模型或脚手架里，那很多我们每天都在做的事——读代码、改代码、读模型输出、读智能体输出——都能加速自我进化、自我迭代的流程。

泓君：如果未来有Beibin的AI Agent，可以替代你做监督、校验、验证的环节，那AI就开始自己变成考官了，所有行为都在模仿你的行为、品味和价值观来做判断。当有这样的AI后，一整套闭环就跑通了？这就是你说的半年内能做到的事？

Beibin：RSI里的“SI”（自我提升）就跑通了。“R”可能还要再多花一两年。因为即使跑通了，每次迭代或每几次迭代后，还是要人为地检查有没有recursive drift（递归漂移）问题。但我有信心几年内漂移问题可以完全解决。现在可以把漂移问题不断缩小——假设现在普通模型每次漂移10%，如果能把漂移降到1%就很好了，但我们的目标是降到0.1%甚至0.01%。这样我们可以非常有信心地说，模型自我迭代3个月、6个月后再回来检查，它也没超过我们监控的周期。

泓君：AI自我进化最后一道坎，一个是提出问题的品味，一个是判断结果可不可信——一个是发现，一个是验证。你们在这两个方向都在押注。这个品味，是谁的品味？科学家的，还是创始人的？

Beibin：这是个好问题。现在大部分是AI研究员的品味，但研究员的品味是直接被创始人影响的。不过这些我都不担心——我们的品味只是给它热启动了一下。把线拉长到五年后，品味对AI模型的影响会越来越小。就像AlphaGo最开始训练受棋谱影响很大，但到AlphaZero出来后，它已经不是从人类品味中学习了，而是自我品味、自我回放、自我推理来学习——它有了自己独特的一套品味。