大模型微调
大模型微调
1. 预训练语言模型主要学习通用语义知识(单选题)
A. 正确
B. 错误
2. SFT微调不属于有监督训练方式(单选题)
A. 正确
B. 错误
3. PEFT参数高效微调可以大幅降低训练硬件门槛(单选题)
A. 正确
B. 错误
4. LoRA训练时会冻结Transformer主干权重(单选题)
A. 正确
B. 错误
5. target_modules参数用于指定LoRA训练哪些层(单选题)
A. 正确
B. 错误
6. rank数值越小,模型拟合能力越强(单选题)
A. 正确
B. 错误
7. QLoRA可以在低显存显卡微调7B、13B大模型(单选题)
A. 正确
B. 错误
8. 4-bit量化会把模型权重转为更高精度存储(单选题)
A. 正确
B. 错误
9. 分页内存优化能够缓解微调显存不足问题(单选题)
A. 正确
B. 错误
10. 训练数据集格式杂乱不影响SFT微调效果(单选题)
A. 正确
B. 错误