扫描二维码加入本站交流QQ群：962693412 ！！！本站QQ群：962693412...

先说结论：显存就是AI的命门大模型时代，显存决定了你能跑多大的模型、多长的上下文、多大的batch size。显存不够，要么模型加载不了，要么跑起来直接OOM（Out of Memory），要么慢到怀疑人生。7B模型至少14GB，13B至少26GB，70B至少140GB——这只是参数，还没算KV C...