我的江湖梦

随着深度学习模型，特别是大语言模型（LLM）的规模不断膨胀，在本地开发和部署它们时，对GPU显存（VRAM）的需求也跟着水涨船高。搞一台多GPU的机器，不过是万&里长征第一步。真正麻烦的地方在于，大多数库和应用程序默认只认单卡。这意味着，你得给这台机器配上合适的驱动，以及能真正发挥多卡优势的库，才算

AppleIntelligence在2024年WWDC亮相，深度集成于iOS18等系统。苹果发布技术报告，详述了30亿参数的端侧模型AFM-on-device与云端模型AFM-server的构建逻辑，包括模型架构、预训练、后训练及系统部署。后训练采用自研iTeC和MDLOO算法，系统通过端云结合、LoRA适配器和4位量化实现高效落地。

OpenAI推出了SearchGPT搜索功能和GPT-4o高级语音模式，并与美国AI安全研究所合作以确保模型安全。StabilityAI的核心成员创业并开源了FLUX 1系列图像生成模型。Midjourney发布了V6 1版本，Runway推出了Gen-3AlphaTurbo视频生成模型。谷歌开源了端侧模型Gemma22B。CharacterAI被谷歌以25

本地部署大模型构建知识库，通过Ollama运行开源模型（如Qwen2），搭配LobeChat实现Web交互，再用AnythingLLM搭建RAG应用，集成嵌入模型和向量数据库，保障数据隐私与离线使用，适配企业定制需求，支持内部文档检索与问答。

使用Llama-Factory对Qwen2-1 5B模型进行Text2SQL微调，采用指令微调格式准备数据集并配置参数，BLEU-4达88 44。合并LoRA权重导出为safetensors，转换为GGUFFP16并用量化方法Q4_K_M压缩，实现本地高效部署。