LLM基础资料整理：推理所需显存与速度

通过此文你可以了解以下几个方面的内容：

• 要运行一个LLM需要多少显存？ （我的GPU可以运行多大LLM？）
• 不同LLM推理速度如何？
• 量化对显存，推理速度，性能的影响？
• vLLM，DeepSeed等工具加速效果如何？
• 上下文，batch-size对显存和推理的影响？

本文内容和测试数据主要来自Qwen，零一万物，Nvidia等官方材料(相关文档请查看参考资料部分)。

1 不同参数量LLM推理需要多少显存？

实验设置：batch-size = 1
部分模型只推荐GPU，没有显存数据。

1.1 低配使用（计算资源有限）

Int4量化，约2K上下文

1.2（标配）中配使用（性能与资源平衡用法）

Int8量化，4k，6k上下文

1.3 高配使用（高级用法，性能优先）

性能优先，不量化，数据格式FB16，32K上下文

2 Batch Size，量化对所需显存有什么影响？

要点：

• BatchSize增加，显存占用也会增加。
• 量化可以节省显存：通过下表中的数据可以看到，6B模型在float16时占用12G显存，8bit量化占用7G，4bit量化只需要4G显存。

数据来源：https://huggingface.co/01-ai/Yi-6B-Chat

3 上下文长度对所需显存和推理速度的影响有多大？

• 上下文越长，推理速度就会越慢
• 显存占用也会跟着增加。

数据整理自Qwen2官方测试报告。

4 量化对推理速度的影响如何？

要点：

• 量化后推理速度会变慢或者持平

• 当量化影响到GPU使用量时，比如从多张GPU降低到单GPU，推理速度会明显变快

• Qwen2模型的测试结果如下：

  • Qwen2-0.5B模型：量化模型速度变慢
  • Qwen2-1.5B模型：量化与fb16相比速度持平
  • Qwen2-7B模型： 稍微变慢，使用vLLM时，量化版本更快
  • Qwen2-72B模型：速度变快（尤其是Int4量化后，从2GPU变为1GPU后推理速度变快明显），但是当使用长context时（120k），量化版本推理速度变慢

  详细结果请访问：https://qwen.readthedocs.io/en/latest/benchmark/speed_benchmark.html

5 参数量对推理速度的影响？

单位：tokens/s

模型：Qwen2系列，上下文6K，FB16模型

6 vLLM，DeepSeed，CTranslate2等工具推理速度如何？

• 与Transformers相比，使用vLLM，DeepSeed等工具加速，推理速度可以提升2到5倍。

• DeepSeed， vLLM， Ctranslate2 三个加速工具中 CTranslate2 的表现更好，尤其是batch size为1时。

  
  图片来源于参考资料 [9]：生成速度测定使用了同一个问题的生成所用时间（感觉方法不太合理，与常用的 tokens/s 不太一样，但是从结果来看，与Qwen2中给出的结果比较一致）。

7 量化对模型性能的影响如何？

• Int8量化模型性能与float16格式差别不大
  
  https://github.com/01-ai/Yi?tab=readme-ov-file#quantization

• Int4量化模型与float16模型相比，精度损失在 1 - 2 个百分点左右。（Yi模型与Baichuan2模型有类似的结论）
  https://github.com/baichuan-inc/Baichuan2

8 常见LLM用GPU参考