仅列表介绍目前（2025年）常见的（指淘宝上可以买到的）一些显卡型号，在对比算力时请注意单位中的"TOPS"和”GOPS“。
文章末尾有常用模型参数量与显存占用的介绍。
Tesla P系列
显卡名称
核心 | Tesla P4
GP104 | Tesla P10
GP102 | Tesla P40
GP102 | Tesla P100
GP100 |
|---|
发布时间 | 2016年9月 | 2016年9月 | 2016年9月 | 2016年6月 |
GPU 架构 | Pascal | Pascal | Pascal | Pascal |
显存大小 | 8GB | 24GB | 24GB | 16 GB |
显存类型 | GDDR5 | GDDR5X | GDDR5 | HBM2 |
显存位宽 | 256 bit | 384 bit | 384 bit | 4096 bit |
显存带宽 | 192.3 GB/s | 694.3 GB/s | 347.1 GB/s | 732.2 GB/s |
FP64算力
（双精度） | 89.12 GFLOPS | 358.3 GFLOPS | 367.4 GFLOPS | 4.763 TFLOPS |
FP32算力
（单精度） | 5.704 TFLOPS | 11.47 TFLOPS | 11.76 TFLOPS | 9.526 TFLOPS |
FP16算力
（半精度） | 89.12 GFLOPS | 179.2 GFLOPS | 183.7 GFLOPS | 19.05 TFLOPS |
INT8算力 | 22 TOPS | | 47 TOPS | |
最大功耗 | 75W | 150 W | 250 W | 250 W |
备注 | | | | 有12G显存版 |
Tesla M系列
显卡名称
核心 | Tesla M4
GM206 | Tesla M10
GM107 | Tesla M40
GM200 | Tesla M60
GM204 |
|---|
发布时间 | 2015年11月 | 2016年10月 | 2015年11月 | 2015年8月 |
GPU 架构 | Maxwell 2.0 | Maxwell | Maxwell 2.0 | Maxwell 2.0 |
显存大小 | 4 GB | 8 GB * 4 | 24 GB | 8 GB * 2 |
显存类型 | GDDR5 | GDDR5 | GDDR5 | GDDR5 |
显存位宽 | 128 bit | 128 bit * 4 | 384 bit | 256 bit * 2 |
显存带宽 | 88.00 GB/s | 88.00 GB/s * 4 | 288.4 GB/s | 160.4 GB/s * 2 |
FP64算力
（双精度） | 68.61 GFLOPS | 52.24 GFLOPS * 4 | 213.5 GFLOPS | 150.8 GFLOPS * 2 |
FP32算力
（单精度） | 2.195 TFLOPS | 1.672 TFLOPS * 4 | 6.832 TFLOPS | 4.825 TFLOPS * 2 |
FP16算力
（半精度） | | | | |
INT8算力 | | | | |
最大功耗 | 50 W | 225 W | 250 W | 300 W |
备注 | | | 有12G显存版 | |
M10是在单卡中塞入4个核心，每个核心都带有8G显存，M60则是在单卡中塞入2个核心。虽然这两张卡的面板性能看起来十分优秀，但是实际使用场景十分受限，买了约等于上当受骗。
Tesla 新系列
显卡名称
核心 | V100 PCIe 32 GB
GV100 | A100 PCIe 80 GB
GA100 | H100 PCIe 80 GB
GH100 | H100 PCIe 96 GB
GH100 |
|---|
发布时间 | 2018年3月 | 2021年6月 | 2023年3月 | 2023年3月 |
GPU 架构 | Volta | Ampere | Hopper | Hopper |
显存大小 | 32 GB | 80 GB | 80 GB | 96 GB |
显存类型 | HBM2 | HBM2e | HBM2e | HBM2e |
显存位宽 | 4096 bit | 5120 bit | 5120 bit | 5120 bit |
显存带宽 | 897.0 GB/s | 1.94 TB/s | 2.04 TB/s | 3.36 TB/s |
FP64算力
（双精度） | 7.066 TFLOPS | 9.746 TFLOPS | 25.61 TFLOPS | 31.04 TFLOPS |
FP32算力
（单精度） | 14.13 TFLOPS | 19.49 TFLOPS | 51.22 TFLOPS | 62.08 TFLOPS |
FP16算力
（半精度） | 28.26 TFLOPS | 77.97 TFLOPS | 204.9 TFLOPS | 248.3 TFLOPS |
INT8算力 | | | | |
TF64算力 | | 19.49 TFLOPS | | |
TF32算力 | | 155.92 TFLOPs | | |
BF16算力 | | 311.84 TFLOPS | | |
最大功耗 | 250 W | 300 W | 350 W | 700 W |
备注 | 有16G显存版 | 有40G显存版 | | |
TF32：Tensor Float 32，英伟达针对机器学习设计的一种特殊的数值类型，用于替代FP32。首次在A100 GPU中支持。由1个符号位，8位指数位（对齐FP32）和10位小数位（对齐FP16）组成，实际只有19位。在性能、范围和精度上实现了平衡。
BF16：Brain Float 16，由Google Brain提出，也是为了机器学习而设计。由1个符号位，8位指数位（和FP32一致）和7位小数位（低于FP16）组成。所以精度低于FP16，但是表示范围和FP32一致，和FP32之间很容易转换。
游戏显卡
显卡名称
核心 | RTX 5090
GB202 | RTX 4090
AD102 | RTX 5080
GB203 | RTX 4080
AD103 |
|---|
发布时间 | 2025年1月 | 2022年9月 | 2025年1月 | 2022年9月 |
GPU 架构 | Blackwell 2.0 | Ada Lovelace | Blackwell 2.0 | Ada Lovelace |
显存大小 | 32 GB | 24 GB | 16 GB | 16 GB |
显存类型 | GDDR7 | GDDR6X | GDDR7 | GDDR6X |
显存位宽 | 512 bit | 384 bit | 256 bit | 256 bit |
显存带宽 | 1.79 TB/s | 1.01 TB/s | 960.0 GB/s | 716.8 GB/s |
FP64算力
（双精度） | 1.637 TFLOPS | 1,290 GFLOPS | 879.3 GFLOPS | 761.5 GFLOPS |
FP32算力
（单精度） | 104.8 TFLOPS | 82.58 TFLOPS | 56.28 TFLOPS | 48.74 TFLOPS |
FP16算力
（半精度） | 104.8 TFLOPS | 82.58 TFLOPS | 56.28 TFLOPS | 48.74 TFLOPS |
INT8算力 | | | | |
最大功耗 | 575 W | 450 W | 360 W | 320 W |
备注 | | | | |
移动端显卡
显卡名称
核心 | RTX 5090 Mobile
GB203 | RTX 4090 Mobile
AD103 | RTX 5080 Mobile
GB203 | RTX 4080 Mobile
AD104 |
|---|
发布时间 | 2025年1月 | 2023年1月 | 2025年1月 | 2023年1月 |
GPU 架构 | Blackwell 2.0 | Ada Lovelace | Blackwell 2.0 | Ada Lovelace |
显存大小 | 24 GB | 16 GB | 16 GB | 12 GB |
显存类型 | GDDR7 | GDDR6 | GDDR7 | GDDR6 |
显存位宽 | 256 bit | 256 bit | 256 bit | 192 bit |
显存带宽 | 896.0 GB/s | 576.0 GB/s | 896.0 GB/s | 432.0 GB/s |
FP64算力
（双精度） | 496.9 GFLOPS | 515.3 GFLOPS | 384.0 GFLOPS | 386.3 GFLOPS |
FP32算力
（单精度） | 31.80 TFLOPS | 32.98 TFLOPS | 24.58 TFLOPS | 24.72 TFLOPS |
FP16算力
（半精度） | 31.80 TFLOPS | 32.98 TFLOPS | 24.58 TFLOPS | 24.72 TFLOPS |
INT8算力 | | | | |
最大功耗 | 95 W | 120 W | 80 W | 110 W |
备注 | | | | |
顺便解释一下模型参数量和显存之间的关系，在这之前先引入计算机中存储容量转换的概念：
1byte（字节）=8bit（比特位）
1kb（千字节）=1024byte
1mb（兆字节）=1024kb
1gb（吉字节）=1024mb
模型参数量通常表示为xxB，例如3B、4B、8B、12B等，这里的B是英文单词十亿（billion）的缩写。也就是说，1B的模型指的是它的参数量为10亿。
假设每个参数占用1bit，那么每8个参数占用为1byte。这样的话1B的模型共占用1,000,000,000/8=125,000,000byte，换算一下约等于0.12GB。
然后模型还有一个量化的概念，指的是每一个参数以什么形式存储。例如FP16量化，指的是将每一个参数读取为float16格式。我们来看一下各个量化参数的具体占用：
float64
别名：fp64/全精度/双精度/Q64
每一个参数占用64bit内存，也就是说一个参数占用8byte。
如果1B的模型以float64量化，则占用显存为1,000,000,000*8=8,000,000,000byte。
8,000,000,000byte=7,812,500KB≈7,629MB≈7.45GB
也就是说，1B模型以float64量化载入，将会占用约7.45G显存。
这个精度一般只用于模型训练，因为它可以最大限度地保证精度。
float32
float16
别名：FP16/半精度/Q16
每一个参数占用16bit内存，也就是说一个参数占用2byte。
如果1B的模型以float16量化，则占用显存约1.86GB。
这个精度是推理模型的最佳选择，它可以在保证模型质量损失忽略不计的前提下，最大限度地提升模型推理速度。
大部分情况下，人们都是用这个精度加载模型并进行推理。除了那些专门为双精度运算优化的显卡以外，绝大多数显卡的FP16运算性能都是最好的。因此使用该精度量化的模型可以有很好的推理速度。
INT8
别名：Q8
每一个参数占用8bit内存，也就是说一个参数占用1byte。
如果1B的模型以INT8量化，则占用显存约0.93GB。
INT8是一个相对比较“穷”的选项，如果你的显存容量无法以FP16精度加载模型，那么试试INT8也是一个不错的选择。只是相较于FP16，INT8量化通常有着较为明显的质量损失。
INT4
别名：Q4
每一个参数占用4bit内存，也就是说一个参数占用0.5byte。
如果1B的模型以INT4量化，则占用显存约0.46GB。
超级丐版的精度，模型质量损失非常明显。使用INT4量化加载的文本模型有时候会输出一些牛头不对马嘴的上下文。你应该优先考虑参数量更少的模型，而不是将一个大参数量的模型强行以INT4量化加载到你的显存中。
