模型压缩是一系列旨在减少深度学习模型大小和计算需求的技术总称，目的是让强大的AI模型能在手机、汽车、物联网设备等资源受限的环境中高效运行。

模型部署是将训练好的机器学习或深度学习模型集成到生产环境中，使其能够接收输入、处理并返回预测结果的过程。它是AI项目从研发走向实际应用的核心环节，决定了模型的最终价值。

张量推理是人工智能模型执行计算的核心过程，它基于张量（多维数组）进行数学运算，将输入数据转化为模型输出。这一过程高度依赖专门的硬件（如GPU、TPU）和软件框架进行优化，以实现高效、低延迟的AI应用部署。

推理加速是一系列旨在提升AI模型在部署后实际运行（即推理）阶段速度和效率的技术总称。它通过硬件优化、软件算法和模型压缩等手段，让模型在保持精度的前提下，用更少的计算资源和时间完成预测任务，是AI落地应用的核心瓶颈突破点。

端侧大模型是指经过优化后，能够直接在手机、电脑、汽车等终端设备上运行的大型人工智能模型。它无需时刻联网，将数据处理和智能响应完全放在本地完成，是AI技术走向普及和隐私保护的关键一步。

云端大模型是指部署在云服务器上、通过 API 或 Web 界面提供服务的超大规模人工智能模型。它将复杂的模型训练与推理过程放在云端，用户只需通过网络调用即可获得文本生成、代码编写、图像创作等能力，极大地降低了 AI 技术的使用门槛。

本地部署是指将AI模型、软件或服务安装并运行在用户自己的物理服务器或私有数据中心，而非依赖第三方的公有云平台。这种方式将数据和算力完全置于用户自己的掌控之下。

私有部署指将AI系统部署在企业自有服务器或专有云环境，实现数据、模型和服务的完全自主控制。

知识库是为AI系统提供的结构化、高质量信息集合，用于增强其回答的准确性、专业性与时效性，是解决大模型“幻觉”问题的关键技术之一。

向量检索是一种基于深度学习的技术，它将文本、图像等数据转换为高维空间中的向量（一组数字），并通过计算向量间的相似度来寻找最相关的内容。它突破了传统关键词匹配的局限，实现了基于语义的智能搜索与推荐。