模型参数配置
输入方式 ?
模型参数量 ?
7 B
0.5B
1.5B
7B
14B
32B
70B
110B
180B
405B
671B
1T
1.5T
预估模型文件大小（当前精度下）
GiB = GPU实际占用 | GB = 操作系统显示
权重精度 ?
上下文长度 (Context) ?
2048
2K
4K
8K
16K
32K
64K
128K
256K
层数 (Layers) ?
隐藏维度 (Hidden) ?
推理/训练配置
批处理大小 (Batch Size) ?
1
KV Cache 精度 ?
注意力头数 (Heads) ?
推理模式 ?
GPU 数量 ?
1