2.8万亿参数塞进一台风冷服务器：Kimi K3不再只属于云厂商，中小企业也能本地跑顶级大模型了？

11月5日，Skymizer与神达电脑在SC26超算大会上联合展示了一件挺震撼的事：月之暗面的Kimi K3，一个2.8万亿参数的MoE大模型，在单台MiTAC风冷服务器上跑起来了。配置是8张Skymizer HTX301 LPU卡加2TB卡载内存。

2.8万亿参数是什么概念？Kimi K3的权重约1.56TB，采用原生MXFP4量化感知训练。2TB显存的配置，正是为了装下整套权重并留出KV缓存空间。以前这种量级的模型是云厂商的专属玩具，现在它被塞进了一台不用液冷的普通服务器。

本地部署的门槛，正在被硬件吃掉
这件事真正的看点不是”跑起来了”，而是”怎么跑起来的”。HTX301芯片预计2027年第一季度量产，目前仍处工程验证阶段——也就是说，这还不是量产货，是工程样机阶段的展示。但方向已经很清楚：专用推理硬件正在把超大模型的本地运行成本往下拉。

同周的另一条消息佐证了这个趋势：Kimi K3.1 Pro的完整权重已于11月4日前后上线Hugging Face，公开无门槛下载，兑现了”11月4日前发布权重”的承诺。架构与K3同为2.8万亿总参数、每token激活约1040亿，上下文100万token。模型开源、硬件跟上，本地部署的拼图正在一块块拼齐。

有开发者实测参考：用8张英伟达B300单节点跑通Kimi K3，单用户104 tokens/秒、64并发会话约2000 tokens/秒，整套实验成本约49美元——这是个人实测，不是官方数据，但足以说明”本地跑顶级大模型”已经不是天方夜谭。

写在最后
Kimi K3塞进一台风冷服务器，标志着大模型正在走下云端神坛。过去两年，顶级模型是少数云厂商的护城河；接下来，护城河可能变成”谁能把模型便宜地装进客户自己的机房”。对中小企业来说，这意味着不用再把数据送上云也能用上顶级模型；对云厂商来说，卖算力的生意要多一个”卖部署方案”的对手。本地化这条线，2026年才刚刚开始加速。