本地模型部署
本地模型部署
1. 开启Ollama跨域访问可让前端页面直接调用本地接口(单选题)
A. 正确
B. 错误
2. Llama.cpp支持指定CPU线程数来控制推理占用资源(单选题)
A. 正确
B. 错误
3. vLLM开启连续批处理可大幅提升并发对话吞吐量(单选题)
A. 正确
B. 错误
4. 模型量化级别越高,体积越小,推理速度越慢(单选题)
A. 正确
B. 错误
5. Ollama离线模式下无法查看已存在的本地模型列表(单选题)
A. 正确
B. 错误
6. RAG系统中嵌入模型负责语义比对检索,对话模型负责生成回答(单选题)
A. 正确
B. 错误
7. 同一台服务器可同时运行Ollama和vLLM不同端口服务(单选题)
A. 正确
B. 错误
8. 温度值设为0,模型每次回答内容完全一致(单选题)
A. 正确
B. 错误
9. 修改系统默认提示词会改变所有调用该模型的输出风格(单选题)
A. 正确
B. 错误
10. 显存充足时无需划分GPU加载层,可全部放入显卡运行(单选题)
A. 正确
B. 错误