大模型微调

大模型微调

1. SFT微调可以让大模型更好遵循人类指令进行输出(单选题)

A. 正确

B. 错误

2. 全参数微调属于PEFT参数高效微调范畴(单选题)

A. 正确

B. 错误

3. LoRA微调训练过程中不会改动原有模型主干权重(单选题)

A. 正确

B. 错误

4. LoRA的Rank数值越大,可训练参数数量越少(单选题)

A. 正确

B. 错误

5. QLoRA是4bit量化结合LoRA的低成本微调方案(单选题)

A. 正确

B. 错误

6. 微调训练时学习率越大,训练收敛越平稳(单选题)

A. 正确

B. 错误

7. 统一对话模板是对话类SFT微调必备要求(单选题)

A. 正确

B. 错误

8. 早停机制可以有效抑制模型出现过拟合(单选题)

A. 正确

B. 错误

9. 梯度累积能够在低显存设备模拟大批量训练效果(单选题)

A. 正确

B. 错误

10. 模型推理阶段必须关闭Dropout随机失活层(单选题)

A. 正确

B. 错误