Kolibri 78B 怎么部署？FP8、BF16 显存与 vLLM 插件要求

先回答：能不能像普通 3B 模型一样部署？

Aleph Alpha 于 2026 年 10 月 3 日发布 Kolibri，提供开放权重与推理接入资料。它采用 MoE 架构，总参数约 78B，每个 token 激活约 3.46B。活跃参数影响计算量，而模型仍需容纳完整权重；不能据此判断普通运行 3B 模型的设备就够用。

如果你准备做自托管应用，先确认硬件、权重格式和推理软件是否匹配，再下载文件。下面按 Linux GPU 环境说明首次部署；这些是依据公开文档整理的步骤，不是本站对某台显卡的实测结果。

FP8 与 BF16：先看完整模型，再留运行余量

FP8 仓库 Aleph-Alpha/Kolibri-1 的模型卡标注权重约占 78GB。官方最低配置例子包括单张 H200、B200、B300，或两张 A100 80GB；完整列表以该模型卡为准。不要把“约 78GB 权重”理解成“单张 80GB 显卡一定能运行”。

BF16 仓库 Aleph-Alpha/Kolibri-1-BF16 的权重约占 156GB。其最低配置例子包括四张 H100 SXM5、两张 H200；推荐配置还列有两张 B200。两种格式应分别核对，不能沿用 FP8 的硬件结论去加载 BF16。

建议在选机器前记录 GPU 型号、数量、每卡可用显存，以及是否还有其他进程占用。权重之外还有缓存与运行开销，所需余量会随请求设置改变。把“能装下模型”和“能承受计划中的请求”作为两次验收，避免下载完才发现容量规划不成立。

准备环境：采用 Linux 和兼容的插件版本

官方 aleph-alpha-inference 插件当前为 1.0.0，依赖范围限定 vLLM ≥0.29.0 且 <0.30.0，项目声明 Python ≥3.10、Linux。为减少版本交叉问题，本文采用 Python 3.12；这不表示所有更高 Python 版本都能直接使用。

vLLM 的 GPU 安装文档建议新建环境，避免现有 PyTorch、CUDA 构建组合造成兼容问题。先对照该版本的驱动与安装要求，确认 GPU 对进程可见，再在独立测试目录执行：python3.12 -m venv .venv；随后执行 source .venv/bin/activate。

在已激活的环境中执行 python -m pip install 'aleph-alpha-inference==1.0.0' 'vllm==0.29.0'。普通安装会带入其支持的 vLLM；不要先强行升级 vLLM 再忽略依赖警告。完成后运行 python -m pip show aleph-alpha-inference vllm，并用 python -m pip check 检查依赖，保留版本信息用于排查。

首次启动：本机地址、小上下文

下面是基于官方启动参数收窄的验证示例，面向符合 FP8 模型卡条件的单 GPU 环境，例如官方推荐列表中的单张 B200。请先确认这张 GPU 的可用资源与软件兼容性；多卡部署还需按实际拓扑配置并行，不能直接照搬单卡例子。

在刚才的环境执行一条完整命令：vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 --reasoning-parser kolibri1 --tool-call-parser kolibri1 --enable-auto-tool-choice --host 127.0.0.1 --port 8000 --max-model-len 8192 --max-num-seqs 1

其中 8192 是本文建议的首次验证上限，包含输入与输出，并非模型能力上限。--max-num-seqs 1 限制首次验证的同时处理序列数。127.0.0.1 让本例只从服务所在机器访问。先等待权重加载和服务就绪；如果启动过程退出，应先处理日志中的第一个错误，不要继续反复发送请求。

要换成 BF16，应使用 Aleph-Alpha/Kolibri-1-BF16，并按官方示例去掉 --kv-cache-dtype fp8，同时重新安排满足 BF16 要求的资源。只修改模型名而不重新核对硬件，不能完成格式迁移。

发一次短请求，确认客户端真的连上服务

在同一台 Linux 机器的另一个终端执行：curl -sS http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"Aleph-Alpha/Kolibri-1","messages":[{"role":"user","content":"Reply with one short greeting."}],"max_tokens":128,"chat_template_kwargs":{"enable_thinking":false}}'

本例关闭 thinking，以便用简单输出检查调用链。确认收到正常 JSON，并查看 choices 中是否有非空的 message.content；若返回 error，应保留错误类型和服务端同期日志。能看到端口监听或下载完成，均不能代替这次模型请求。

OpenAI-compatible 描述的是接口形式；这个例子的请求发到你自己的本机服务。把它接入客户端时，分别填写本机 base URL 与准确模型名。客户端在另一台电脑时，其 127.0.0.1 指向它自己，需要另行规划受控访问，不能原样复制地址。

先跑通，再增加上下文和业务负载

模型卡列出最长 1,048,576 tokens，并建议效率敏感部署及复杂任务使用不超过 262,144 tokens。首次接入不宜直接把最大数字设为目标；先保存一份能正常完成短请求的配置，再按真实文档长度逐步调整。

建议每次只增加一个变量：先输入长度，再输出预算，最后才提高同时请求数。记录成功率、等待时间和显存占用，用自己的样例判断是否达到要求；本文没有给出吞吐或延迟保证。

验证业务质量时，准备有标准答案的小样本，分别检查结果正确性、格式与遗漏。若要启用工具调用，先使用不会改变真实业务的测试工具，确认参数解析和结果回传，再接实际操作。普通问答通过，只能说明这条基础调用链可用。

失败时按阶段排查，避免一次改动所有设置

安装或启动前报依赖错误：先确认当前终端激活的是哪个环境，核对插件与 vLLM 版本，再处理 pip check 的结果。不要把旧环境的安装记录当成新环境已经准备好。

加载权重或初始化时显存不足：先核对加载的是 FP8 还是 BF16、进程实际看到了哪些 GPU，以及其他任务的占用。若完整权重已无法容纳，单纯缩短请求不能补足这一缺口；若错误发生在缓存规划阶段，再检查上下文和并发设置。

连接被拒绝：先看服务是否仍在运行、端口是否一致、请求是否来自同一台机器。模型不存在或参数报错：核对请求中的仓库名和 JSON，先恢复本文短请求，再逐项加入自己的参数。

提交问题时，附插件和 vLLM 版本、GPU 信息、启动命令、错误发生阶段及脱敏日志。建议同时保留成功配置与失败配置的差异，这比只贴最后一句“跑不起来”更容易定位。