3步优化小龙虾，无GPU与数据集驱动学习

这份来自凹非寺的见闻
量子位 | 公众号 QbitAI

让OpenClaw打打杂还远远不够，如今，开发者们正盘算着如何让这些数字助手自我进化。

注意！这可不是针对某个任务的简单优化，而是一套覆盖整个智能体的在线强化学习系统——MetaClaw。

无需自行维护昂贵的GPU集群、无需标注数据集也不必进行繁琐的人工微调，你只需与AI自然对话，它便能在这个过程中悄悄变聪明。

这种新模式巧妙地将你和AI的日常交谈直接转化为训练数据，整个学习循环在后台静默完成，完全不会打扰正常使用。

你和AI该怎么聊还怎么聊，MetaClaw会默默记录交互过程，为每一轮对话打分，并在线微调优化AI的决策策略。

更厉害的是，它能吃一堑长一智。一旦AI哪句话“翻车”了，MetaClaw会自动梳理完整的交互脉络，定位问题所在，然后生成一项新技能存入技能库。

下次再碰到类似的“坑”，相关技能会被精准搜索并注入系统提示，让同一个错误直接成为历史。

技能注入+技能进化

其模型底座基于Kimi-2.5构建，同时也准备了Qwen3-4B这个轻量级的替代方案，对低配设备也很友好。

核心机制是自研的SkillRL技能增强强化学习框架，说白了就是“技能注入”和“技能进化”的组合拳。

技能注入：在每轮对话中精准匹配相关技能指令，无需等待完整训练周期，AI当场就能优化表现；技能进化：让AI从被动接收指令变成主动生成技能，技能库越用越丰富，能力自然水涨船高。

最吸引人的一点，是它无需依赖本地GPU集群，省去了自己维护的麻烦。

MetaClaw把所有训练任务都交给Tinker云平台，训练和部署彻底分离。

只要你的设备能上网，就能跑通整个系统，既不用操心算力，也无需专门的工程团队时刻维护。

这一波直接把AI持续学习的门槛拉到了地板级，普通人也能轻松“养成”会进化的智能体了。

除此之外，MetaClaw的细节设计也很懂开发者的痛点。

异步架构+双学习模式，将服务、奖励建模和训练彻底解耦。AI一边给用户实时回应，后台一边进行打分和优化，“工作学习”两不耽误。

学习模式也给足了选择，想轻量化就用强化学习，从用户隐式反馈里优化；想深度提升就采用在线策略蒸馏，结合高质量文本反馈进行进阶。

主打一个你想怎么训就怎么训。

三步上手

用起来也相当简单，只需三步。

第一步先安装依赖，前面是常规服务和模型相关库，跑API、发请求、接大模型都用得上。

后面的tinker和tinker-cookbook是关键，这是云端LoRA训练的SDK。

- pip install fastapi uvicorn httpx openai transformers
- pip install tinker tinker-cookbook

第二步运行配置脚本将OpenClaw网关指向MetaClaw的代理，比较推荐的是Kimi2.5。

- bash openclaw_model_kimi.sh

第三步是设置Tinker API密钥，直接运行训练脚本。

- export TINKER_API_KEY=”xxx”
- cd /path/to/metaclaw
- python examples/run_conversation_rl.py

搞定。之后你只需要像平时一样和Agent聊天，MetaClaw会自动收集对话轮次、评分、训练模型。

攒够一批样本就热替换一次权重，全程无需人工干预。

如果想启用技能注入，只需在配置中设置：

- config = MetaClawConfig(use_skills=True)

想开始技能进化，可以设置（以GPT5.2为例）：

- config = MetaClawConfig(
use_skills=True,
enable_skill_evolution=True,
azure_openai_deployment=”gpt-5.2”,

然后配好密钥：

- export AZURE_OPENAI_API_KEY=”xxx”
- export AZURE_OPENAI_ENDPOINT=”https://your-endpoint.openai.azure.com/“

所有配置项都集中在MetaClawConfig中，包括模型选择、LoRA参数、批次大小、训练步数、损失函数类型等，一目了然。

好好好，这下变成真·“养成系”了。

MetaClaw这项工作由姚莫诩领导，他是电子科技大学校友，现任UNC计算机科学系的助理教授，曾在Stanford AI Lab从事博士后研究，专注于智能体和具身AI。

项目地址已公布。

[2]

— 完 —