服务对象与地域限制
PuppyIP 仅面向海外合规企业及其授权人员提供服务,不面向中国大陆地区开放或提供代理服务。本服务仅限用于中国大陆境外的合法业务活动,严禁在中国大陆境内使用本服务。
代理 IP 或服务器位于境外,不改变上述限制。不得通过中转、转接、共享或转售向中国大陆境内的最终使用者提供本服务。使用前请阅读用户服务协议。
本文要点
- 12GB 显存不能单独判断整机够用;还要按模型选择核对 RAM、驱动与磁盘。
- 作者为 32GB RAM 机器推荐的 Coder 保留半数路由专家,能力取舍不同于普通量化。
- 先确认本地服务和加载模型,再确认客户端;API 可达不代表全部工具功能兼容。
- Anthropic 官方不支持 Claude Code 经 gateway 接非 Claude 模型;作者给出的接法属于第三方兼容尝试。
12GB 显卡能尝试,但先看整台机器
如果你只有一张 12GB 显卡,还不能据此认定 Strata 一定能跑。显存负责一部分计算和缓存,系统内存与磁盘仍要承载其他模型数据。决定是否尝试的顺序应是:先确定模型变体,再对照整机条件,最后确认客户端所需接口。
本文依据 Strata v0.1.39 的作者文档解释这些条件。该正式版在 2026 年 10 月 4 日 12:32:47 UTC 发布,北京时间为当日 20:32:47;它增加无状态 Responses 接口。这里没有本站安装或测速结果,也不将转帖时间当成模型发布日期。
32GB 内存对应什么模型取舍
Strata 的模型选择围绕 Qwen3.8-Flash-Next 展开。作者为 32GB RAM 机器推荐 Coder:它在每层 512 个路由专家中保留 256 个,按编码数据选取。删除专家与降低权重量化精度是不同处理,不能把这个配置理解为完整模型只需 12GB 总内存。
作者提醒 Coder 在非编码任务、中文等非英语任务上有取舍;需要通用问答或中文长文时,先比较保留全部专家的模型。安装菜单中的型号与量化档位要一起记录。对自己的真实任务选取一小组样本,比照抄别人的速度表更有助于选型。
下载前核对硬件和剩余空间
固定版本文档列出 Windows 10/11 或 Linux,常规现成引擎要求 x86-64 与 AVX2;NVIDIA 路径要求当前驱动,版本 580 或更新。其他显卡需对照具体支持名单,旧 CPU 路径带实验标记。先记下操作系统、GPU 型号、驱动和空闲 RAM,勿只看显卡包装上的容量。
安装说明估算模型约 70–80GB,MTP 还约 6GB;部分选项会再产生额外文件,所以不能把剩余 80GB 当成总量保证。到作者 release 选择版本,读对应安装说明:Windows 入口为 START-HERE.bat,Linux 为 ./setup.sh。首次会下载依赖和权重,完成时间取决于机器与网络。
先验收本地服务,再连接客户端
启动完成后,先打开本机 http://127.0.0.1:8080。随后读取 GET /health 和 GET /v1/models:分别核对服务可达与实际加载的模型。若服务启用了 API key,按实际配置提供认证。保留版本、模型名称和启动日志,后续问题才容易复现。
这一步成功只说明服务层可用。接下来在测试目录用少量无敏感内容,确认所需客户端的回答和工具行为,再决定是否用于日常任务。本文未执行这些请求;模型列表正常也不能证明全部客户端能力已经通过验证。
OpenAI 格式与 Claude Code 的边界
作者给出的 OpenAI 兼容 base URL 是 http://127.0.0.1:8080/v1。v0.1.39 的 Responses 实现无状态,不支持 previous_response_id 或托管工具;依赖云端状态保存的程序需要另外检查兼容性。接口名称相同不能用来推断云端功能全部可用。
作者的 Claude Code 接法将 ANTHROPIC_BASE_URL 填为 http://127.0.0.1:8080,不追加 /v1;服务端仍运行本地 Qwen。Anthropic 官方明确不支持 Claude Code 通过 gateway 路由到非 Claude 模型。因此这属于第三方兼容尝试,不能按官方支持方案采购或承诺团队可用。填入 Claude 模型名不会让本机实际运行 Claude。
连接失败时怎样缩小范围
按三层定位:本地页面打不开,先看服务窗口是否完成启动,并对照所选模型的内存与磁盘条件;页面能开而客户端不通,核对端口、base URL 和认证;能返回结果却无法完成工具任务,则检查该客户端依赖的接口能力。每次只改一项并保留日志,避免同时改模型和接入方式后失去对照。
作者文档指出,请求提示词加输出额度超过配置上下文时可能返回 400。可先缩短测试内容、核对输出上限,不要把所有失败归因于网络。错误码也不是唯一病因,应结合服务日志确认。需要正式支持的 Claude Code 工作流时,按官方支持的模型与接入渠道重新配置。
本地推理、许可和工具链分别确认
推理在本机运行,不等于整个工具链绝不外连:首次下载、客户端自身功能和外部工具要分别检查。Strata 默认仅监听 127.0.0.1;本机验收无需开放到局域网。作者的安全说明还指出,选配 MCP 工具按当前用户权限运行,项目尚未经过外部安全审计。
模型许可也应单独读取。Qwen 基座采用 Qwen Community License 1.0;Coder 卡头标记 Apache-2.0,正文却写明权重继承基座许可。这个差异不能被简化成无条件商用。准备分发、托管或商业助手服务时,先确认所下载权重的实际许可与用途条件,再决定方案。
资料来源
常见问题
Strata 只需要 12GB 显存吗?
不能只看显存。还要按具体模型检查系统内存、驱动与磁盘,并为其他程序留出空间;作者的推荐配置有适用条件。
Coder 与原版只是量化精度不同吗?
不是。Coder 还裁剪了路由专家,属于编码方向的取舍。是否适合中文和通用任务,应拿自己的样本比较。
本地 API 能访问,就能保证 Claude Code 正常工作吗?
不能。服务可达、接口兼容和工具任务成功是不同层次;Anthropic 官方也不支持通过 gateway 将 Claude Code 接到非 Claude 模型。
运行本地模型就一定没有云端费用或外部通信吗?
不能据此推定。应检查客户端实际连接的地址、凭据和外部工具,分别确认网络路径与计费;本地引擎状态不能证明整条链路。