把大模型运行在自己的电脑或服务器上，听起来既自由又安全：数据不离开设备，没有按次调用费用，也不依赖外部服务。但本地部署并不总是更便宜或更省心。
为什么选择本地模型
- 隐私：敏感文档和代码可以留在内部环境。
- 可控：模型版本、系统提示和运行参数不会突然变化。
- 离线：没有网络时也能使用。
- 可定制：便于接入内部工具、知识库或微调流程。
如果只是偶尔聊天或写作，云端服务通常更方便。本地部署的价值，往往出现在隐私要求高、调用量稳定或需要深度集成的场景。
先理解参数与显存
模型名称中的 7B、14B、32B，通常表示参数数量级。参数越多，一般能力上限越高，同时需要更多内存或显存。原始高精度权重非常大，因此本地运行常使用量化版本。
粗略来说，4 位量化后的 7B 模型权重约占 4 至 6GB，14B 约占 9 至 12GB，32B 常需 20GB 以上。实际占用还包括上下文缓存和运行框架。
量化意味着什么
量化通过降低参数存储精度来减少内存和计算需求。它让消费级硬件能够运行更大的模型，代价是一定程度的能力损失。常见的 4 位量化通常在效果与资源之间取得较好平衡。
不要只看“能否加载”。如果模型把全部内存占满，系统会频繁交换数据，生成速度可能慢到难以使用。
CPU、GPU 与统一内存
- 独立 GPU：速度通常最好，但受显存容量限制。
- CPU：兼容性强，适合小模型与低频任务，速度相对较慢。
- 统一内存设备：CPU 与 GPU 共享内存，可加载较大模型，但仍需关注带宽和系统余量。
模型大小不是唯一指标
选择模型时还要考虑语言、代码能力、上下文长度、许可证、工具调用支持和实际任务表现。一个针对中文或代码优化的小模型，可能比更大的通用模型更适合你的工作。
部署前的四个问题
- 哪些数据必须留在本地？
- 每天大约调用多少次，延迟要求多高？
- 现有硬件能否留下至少 20% 的运行余量？
- 谁负责模型更新、安全补丁和服务监控？
从小处开始
先选择一个 7B 或 8B 的量化指令模型，用真实任务测试速度与质量。不要先购买昂贵硬件，再寻找使用场景。收集失败案例后，才能判断应该换更大模型、增加检索系统，还是继续使用云端 API。
本地部署不是把云端模型搬回家，而是在隐私、效果、速度、成本和维护之间重新做一次工程选择。
写作的价值，不是给变化下一个永久结论，而是留下此刻足够诚实的理解。