大模型微调

大模型微调

1. 预训练语言模型主要学习通用语义知识(单选题)

A. 正确

B. 错误

2. SFT微调不属于有监督训练方式(单选题)

A. 正确

B. 错误

3. PEFT参数高效微调可以大幅降低训练硬件门槛(单选题)

A. 正确

B. 错误

4. LoRA训练时会冻结Transformer主干权重(单选题)

A. 正确

B. 错误

5. target_modules参数用于指定LoRA训练哪些层(单选题)

A. 正确

B. 错误

6. rank数值越小,模型拟合能力越强(单选题)

A. 正确

B. 错误

7. QLoRA可以在低显存显卡微调7B、13B大模型(单选题)

A. 正确

B. 错误

8. 4-bit量化会把模型权重转为更高精度存储(单选题)

A. 正确

B. 错误

9. 分页内存优化能够缓解微调显存不足问题(单选题)

A. 正确

B. 错误

10. 训练数据集格式杂乱不影响SFT微调效果(单选题)

A. 正确

B. 错误