本地模型部署
本地模型部署
1. 开启Ollama跨域配置,可适配前端网页直接调用接口(单选题)
A. 正确
B. 错误
2. Llama.cpp使用–threads参数可自定义CPU调用线程数量(单选题)
A. 正确
B. 错误
3. vLLM依靠连续批处理机制,大幅提升多用户并发效率(单选题)
A. 正确
B. 错误
4. 同等模型下,量化数值越高,模型体积越大精度越高(单选题)
A. 正确
B. 错误
5. Ollama本地缓存的模型,断网后依旧可以正常查询列表(单选题)
A. 正确
B. 错误
6. RAG架构中嵌入模型与对话大模型可以分开独立使用(单选题)
A. 正确
B. 错误
7. 同一服务器可同时运行Ollama和vLLM,区分端口即可(单选题)
A. 正确
B. 错误
8. temperature设置为0,模型输出内容固定无随机性(单选题)
A. 正确
B. 错误
9. 修改全局系统提示词,会统一改变该模型所有输出风格(单选题)
A. 正确
B. 错误
10. 显卡显存充足时,可将模型全部加载至GPU运行提速(单选题)
A. 正确
B. 错误