大模型微调
大模型微调
1. 下列属于SFT监督微调核心训练范式的是（单选题）
A. 指令跟随范式
B. 无监督续写范式
C. 对比学习范式
D. 掩码填空范式
2. PEFT参数高效微调不具备的优势是（单选题）
A. 完全等同全参微调算力消耗
B. 显存占用极低
C. 训练周期短
D. 权重体积小
3. LoRA仅训练注意力层矩阵，主要避开训练（单选题）
A. 前馈网络全量权重
B. 偏置项参数
C. 缩放因子
D. 嵌入层增量
4. 调整LoRA的Alpha缩放值变大，代表（单选题）
A. 适配器权重影响力增强
B. 训练学习率自动降低
C. 模型上下文变长
D. 量化精度提升
5. QLoRA中分页优化器主要作用（单选题）
A. 显存不足时自动内存置换，突破显存限制
B. 加快数据集读取速度
C. 提升模型推理精度
D. 减少训练迭代次数
6. NF4量化相比普通INT4优势在于（单选题）
A. 数值分布适配大模型权重，精度损失更小
B. 压缩体积更大
C. 推理速度翻倍
D. 仅支持小模型使用
7. 多轮对话SFT数据集必须严格统一（单选题）
A. 对话上下文承接逻辑
B. 单句文本长度
C. 问答字数比例
D. 语种使用比例
8. 梯度累积步数增大，等效效果是（单选题）
A. 扩大训练批次大小
B. 降低训练学习率
C. 缩短训练时长
D. 减少显存占用
9. 大模型微调中学习率衰减策略常用（单选题）
A. 余弦退火衰减
B. 线性递增
C. 指数暴涨
D. 固定数值不变
10. 训练集loss持续下降，验证集loss上升说明（单选题）
A. 模型出现严重过拟合
B. 模型拟合效果优秀
C. 学习率设置过小
D. 数据集样本不足