大模型微调
大模型微调
1. 大模型**SFT监督微调**核心目标是（单选题）
A. 对齐指令，让模型遵循人类指令输出
B. 扩充通用世界知识
C. 单纯提升推理速度
D. 缩小模型体积
2. 不属于**参数高效微调PEFT**的是（单选题）
A. 全参数微调
B. LoRA
C. IA3
D. Prompt Tuning
3. LoRA低秩适配微调主要作用于模型哪一层（单选题）
A. 注意力权重矩阵
B. 输入嵌入层
C. 输出层
D. 归一化层
4. LoRA核心原理正确的是（单选题）
A. 冻结主干，仅训练低秩增量矩阵
B. 全部权重同步更新
C. 删减网络层减少参数量
D. 修改激活函数提升效果
5. LoRA超参数**Rank秩**常用取值（单选题）
A. 8、16、32
B. 1、2、4
C. 100、200
D. 512、1024
6. LoRA缩放系数Alpha主要作用（单选题）
A. 调节低秩权重融合强度
B. 控制训练批次大小
C. 调整学习率大小
D. 限制文本长度
7. QLoRA相比普通LoRA最大优势（单选题）
A. 4-bit量化基座，极低显存即可微调
B. 训练速度最慢
C. 微调效果远超全参微调
D. 不需要训练数据
8. QLoRA主流量化格式为（单选题）
A. NF4
B. FP32
C. FP16
D. INT16
9. QLoRA训练模式特点（单选题）
A. 基座4bit量化，LoRA权重全精度训练
B. 全部参数统一4bit训练
C. 仅量化LoRA不量化基座
D. 全程FP32高精度训练
10. 本地单卡16G显存最适合微调方案（单选题）
A. QLoRA
B. 全参数微调
C. 纯预训练
D. 直接蒸馏大模型