如何选择GPU卡数

更新时间：2025-07-17 18:30:25

类型	模型参数量	模型精度	最小显存（GB）	最小GPU数要求（型号/张）
全参数微调	7B	bf16 or fp16	120GB	H800A *2
	14B	bf16 or fp16	240GB	H800A *4
	30B	bf16 or fp16	600GB	H800A *8
	70B	bf16 or fp16	1200GB	H800A *16
LORA	7B	bf16 or fp16	16GB	H800A *1
	14B	bf16 or fp16	32GB	H800A *1
	30B	bf16 or fp16	64GB	H800A *2
	70B	bf16 or fp16	160GB	H800A *4