腾讯Youtu团队开源轻量级语言模型Youtu-LLM

Youtu-LLM：腾讯Youtu实验室的开源轻量级语言模型

Youtu-LLM是腾讯Youtu实验室推出的开源轻量级大语言模型，其参数量为196亿。该模型专为智能体任务深度定制，具备原生的智能体能力，在多项基准测试中表现优于同级别甚至更大规模的模型。它采用了高效紧凑的网络结构，并支持长达128K的上下文窗口，能够胜任长程、多步推理类任务；同时针对STEM领域优化了分词器词表，显著提升专业文本的理解与生成效率。目前模型已完全开源，提供Base和Instruct两种版本，并配套完整的微调与部署工具链，便于开发者快速集成与适配。

Youtu-LLM的核心能力

• 原生智能体支持：无需额外插件或框架即可自主进行任务拆解、步骤规划、动作执行及结果反馈迭代，适用于高复杂度、多阶段的实际场景。
• 高效长上下文建模：基于精简架构实现128K上下文长度支持，在复杂代码调试、跨文档分析、长链逻辑推理等任务中保持稳定性能。
• STEM导向的词表优化：构建专属128K规模词表，重点覆盖数学符号、编程语法与技术术语，提升token利用率与领域推理精度。
• 结构化预训练路径：采用从基础常识出发，逐步过渡至STEM强化、最终聚焦智能体行为建模的三阶段课程式训练策略，系统性塑造模型能力边界。
• 高质量智能体轨迹数据注入：融合大量真实场景下的智能体交互轨迹，涵盖数学证明推演、代码缺陷修复、跨源文献深研等典型任务，强化模型的任务泛化性与策略鲁棒性。
• 开放易用的工程生态：全量开源模型权重与训练代码，支持灵活微调与轻量化部署，尤其适配算力受限环境下的本地化应用需求。

Youtu-LLM的技术实现

• Dense MLA架构设计：采用密集型多层注意力结构，在保障表达能力的同时控制计算开销，兼顾长上下文处理与实时响应需求。
• 面向STEM的分词器优化：定制化构建128K词表，对公式表达、代码片段、技术缩写等高频专业单元进行细粒度切分，增强语义捕获能力。
• 阶梯式预训练范式：依次经历常识理解 → STEM领域深耕 → 智能体行为内化三个训练阶段，使模型逐步掌握“感知—推理—决策—反思”的完整闭环能力。
• 智能体轨迹驱动的数据合成机制：通过高质量人工标注与强化学习生成相结合的方式，构建覆盖多任务类型的智能体行为轨迹数据集，夯实模型的自主执行基础。
• 轻量但强健的智能涌现路径：依托“常识奠基→专业强化→智能升维”的渐进式训练流程，让小规模模型也能自然习得规划、调用、验证等原生智能体特质。

Youtu-LLM的最新资源

• 项目主页：
• GitHub仓库：

Youtu-LLM的典型应用场景

• 智能编程助手：深入理解项目级代码结构，精准定位Bug根因，自动生成修复补丁与符合规范的新代码，支撑全流程自动化开发。
• 学术研究协作者：高效完成跨论文知识抽取、多源信息比对、因果链梳理与综述报告生成，助力科研人员加速知识沉淀与创新产出。
• 通用任务型智能体：可自主协调多个外部工具，完成端到端任务闭环，作为个性化AI助手嵌入日常办公与生活。
• 边缘端智能服务：凭借较小参数量与低显存占用，可在消费级显卡、手机芯片及边缘网管设备上本地运行，满足低延迟、高隐私、离线可用等关键诉求。
• 多跳逻辑推理引擎：擅长处理需串联多个事实、跨越多个文档或执行多次中间推导的问题，例如政策影响评估、故障根因溯源、实验方案设计等。
• 企业知识中枢：高效对接内部文档库、FAQ系统、技术手册等结构化/半结构化知识源，实现精准问答、要点提炼与智能摘要生成。