vllm部署的deepseek如何将推理结果和普通结果分开

2025-08-27  本文已影响0人  wwq2020

背景

最近在使用vllm部署llm推理服务,发现deepseek的推理结果也在content内不符合预期
最终在vllm文档中发现需要修改启动参数,在此简单记录一下

解决方案

vllm启动参数添加--enable-reasoning --reasoning-parser=deepseek_r1
详见https://github.com/vllm-project/vllm/blob/main/docs/features/reasoning_outputs.md

上一篇 下一篇

猜你喜欢

热点阅读