10月20日开源的DeepInfer,正在把大厂最赚钱的看家本领摊在桌面上

10月20日,DeepSeek把自家生产服务用的推理框架DeepInfer传到了GitHub,Apache-2.0协议,随便用。同一批还附了一个叫deepseek-recipe的小工具,负责把请求转成模型输入、把输出转回标准格式。两件套齐了,等于把一家顶级大厂线上服务的“上菜流程”公开了一半。

开源的不是模型,是赚钱的姿势

很多人一听开源就想到模型权重,这次不一样。DeepInfer管的是模型跑起来之后的事:怎么把请求切分到多块芯片上、怎么批量处理、怎么猜词加速、怎么保证输出格式稳定。按DeepSeek自己的说法,这套框架每天支撑着上万亿token级别的生产流量,首发版本只跑DeepSeek-V4.1-Flash一个模型,且只支持离线推理。也就是说,它开源的是“怎么把大模型便宜地跑起来”,而不是模型本身。

最耐人寻味的,是支持的芯片名单

首发版本同时支持英伟达SM100系列GPU和华为昇腾950。两边都写进第一版支持列表,这在开源推理引擎里并不常见。对开发者来说,这意味着同一套 serving 代码可以在两种硬件路线上跑;对行业来说,推理这层正在从“绑定某一家芯片”变成“谁便宜、谁有货就用谁”。DeepInfer本身大量基于开源vLLM,又吸收了SGLang和TensorRT-LLM的思路,等于站在开源社区的肩膀上再往前推了一步。

别急着神话,先看缺了什么

按公开的README梳理,首发版本还缺不少完整服务需要的部件,比如KV缓存系统、完整的预填充与解码分离、负载均衡。有报道提到,上线一下午仓库星标就超过了8000个,热度是真的,但热度不等于开箱即用。想拿它省成本的团队,得先掂量自己有没有能力补齐缺失的环节、调通自己的硬件。

写在最后

大厂愿意把推理框架开源,说明一件事:模型本身的差距在缩小,真正的护城河正在往“跑得便宜、跑得稳”上转移。开源把这条护城河的水位线公开了,但会不会游泳,还得看各家自己的本事。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注