vllm部署的deepseek如何将推理结果和普通结果分开
2025-08-27 本文已影响0人
wwq2020
背景
最近在使用vllm部署llm推理服务,发现deepseek的推理结果也在content内不符合预期
最终在vllm文档中发现需要修改启动参数,在此简单记录一下
解决方案
vllm启动参数添加--enable-reasoning --reasoning-parser=deepseek_r1
详见https://github.com/vllm-project/vllm/blob/main/docs/features/reasoning_outputs.md