模型缓存是大模型推理过程中存储中间计算结果（特别是注意力机制的Key-Value对）的技术，让后续生成无需重复计算，大幅降低延迟和算力消耗，是支撑实时交互和长文本场景的关键优化手段。

质量感知路由是一种根据实时网络链路质量动态选择传输路径的技术，能有效提升流媒体、在线游戏等场景的用户体验。

Latency-aware Routing 是一种智能网络路由技术，它通过实时监测链路延迟，动态选择时延最低的路径传输数据，从而提升实时应用的用户体验。在云游戏、视频会议、自动驾驶等场景中，延迟的微小波动可能直接影响服务质量，这项技术让网络“看见”拥堵并自动绕行。

一种在路由决策中综合考虑资金成本、网络延迟、带宽占用和能耗等因素，选择总体代价最低路径的网络优化技术。

Prompt Router 是一种智能路由机制，根据用户输入或任务类型，自动将提示词分发到最合适的大模型或处理流程，提升效率与精度。

Model Gateway 是介于用户请求与多个 AI 模型之间的中间层服务，负责路由、负载均衡、鉴权、限流、缓存与模型切换。它让企业像管理微服务一样管理模型集群，大幅降低重复开发与运维成本，同时提升推理响应的稳定性和安全性。

Capability Router 是一种智能路由机制，能在多个AI能力模块或模型之间，根据输入任务的特征自动选择最合适的处理单元，从而提升整体效率与准确性。它类似于“AI大脑中的调度员”，常见于混合专家系统和多模型协作场景。

多模型协同指多个AI模型通过分工、互补或投票等方式共同完成同一任务，常用于提升推理质量、降低单一模型偏见，并支持更复杂的场景如多模态理解和智能体协作。