大模型参数越大越强？7B、13B、70B怎么选才不亏

先说结论

参数大 ≠ 一定强，但大概率更强。 7B、13B、70B 代表模型参数数量（B=10亿），参数量越大，模型容量越大，能记住更多知识，推理能力也更强。但选模型不是越大越好，还得看你的硬件、任务和钱包。简单说：
- 7B：日常问答、简单代码、轻量部署，消费级显卡（如RTX 3060 12GB）就能跑。
- 13B：中等复杂任务，需要一定推理，适合有16GB以上显存的用户。
- 70B：专业级推理、长文生成、复杂代码，需要多卡或大显存（如A100 80GB）。
另外，"小模型+精调"在很多垂直任务上能吊打"大模型+提示词"，但泛化能力不如大模型。

参数量到底代表什么？

参数是模型内部的权重和偏置，可以理解为"神经元连接的数量"。7B模型有70亿个参数，13B有130亿，70B有700亿。参数量越大，模型能拟合更复杂的函数，存储更多世界知识。但智商不只是参数量决定，训练数据质量、架构设计（如MoE）也影响巨大。比如Mixtral 8x7B虽然只有47B总参数，但实际推理时只激活13B，效果却接近70B。

本地部署门槛：显存是硬指标

模型加载需要显存，粗略估算：
- 7B（FP16）：约14GB显存，量化后（INT4）仅需4GB。
- 13B（FP16）：约26GB，量化后8GB。
- 70B（FP16）：约140GB，量化后40GB。
所以，7B适合大多数玩家，13B需要中高端显卡，70B基本告别消费级设备。我用RTX 4090 24GB跑13B量化版很流畅，但70B只能云上跑。

性价比：小模型+精调 vs 大模型+提示词

这里直接上对比案例：
任务： 从客服对话中提取用户情绪（正面/负面/中性）。

方案A：7B模型 + 精调
我用Llama 3 8B（实际8B）在1000条标注数据上精调了1小时（单卡A100），准确率92%。

方案B：70B模型 + 提示词
直接调用GPT-4（类比70B）写prompt："请判断以下对话的情绪，只输出正面、负面或中性。" 准确率88%。

结果：小模型精调胜出，且推理更快、成本更低。但注意：如果任务需要广泛知识（如写诗、翻译），大模型提示词更强，因为精调很难注入新知识。

怎么选？三步决策法

1. 看任务复杂度：简单分类、抽取 → 7B；中等推理、创作 → 13B；专业领域、长文本 → 70B。
2. 看数据量：如果有几百条标注数据，精调7B性价比极高；没有数据就选大模型+提示词。
3. 看硬件：显存 < 16GB 就别想13B以上了，量化也不行。

总结

参数大小是重要指标，但不是唯一。选模型就像买车：7B是代步车，13B是家用SUV，70B是卡车。别为了炫酷买卡车，结果没地方停。最后记住：对于垂直任务，精调小模型往往比提示大模型更香。