本文要点
- AWS 于 2026 年 8 月 20 日 17:25 UTC 发布 Studio 中的 Generative AI Inference Recommendations，这是 4 月 API 能力的可视化入口，不是一套新的模型。
- 用户先选择 Interact、Generate、Summarize 或 Custom 场景，再以降低延迟、提高吞吐或降低成本为目标生成候选配置。
- 服务使用真实 GPU 和 NVIDIA AIPerf 比较实例、容器与优化策略，并返回 TTFT、ITL、吞吐和成本等实测指标。
- 推荐任务本身不另收费，但优化任务和基准测试端点按标准 SageMaker 计算费用计费，不能把无额外费用理解成压测免费。
- 当前界面在七个 AWS Region 开放；一键部署前仍需做质量、安全、容量、峰值与回滚验证。
这次更新适合谁，先解决什么决定
这项能力面向在 SageMaker AI 托管自有或开源生成式模型的机器学习平台、性能工程和 FinOps 团队。真正要回答的是同一模型和流量目标下，哪种实例、容器、实例数量与优化方式能满足可解释的延迟、吞吐和成本边界。
AWS 早在 2026 年 4 月提供 API 路径，本次新增 Studio 低代码、无代码流程。已有 API 自动化的团队不必重写管线；仍靠表格记录手工压测、需要跨团队比较结果的团队更适合使用。
从业务目标开始，不要先猜实例型号
在 Studio 的 Jobs、Inference optimization 中先选 Interact、Generate、Summarize 或 Custom，再明确最小化延迟、最大化吞吐或最小化成本这一主目标。交互场景偏重首 token 与尾部延迟，批量任务更重吞吐和单位成本。
模型可来自 JumpStart、S3、Model Registry 或现有 SageMaker 模型。必须固定模型版本、权重格式、提示与输出长度、并发和流式行为，否则排名差异可能来自工作负载变化。
读懂 TTFT、ITL、吞吐和成本
TTFT 是请求到首 token 的时间，ITL 是连续 token 间隔；吞吐要同时看 token 与目标并发下的请求处理量。不要只看平均值，应保存 P50、P90、P99 与失败率。
成本应结合实例数、模型副本、可维持并发、冷启动、空闲与利用率，换算到业务单位。推荐是给定负载下的测量结果，不是未来任意流量的价格或 SLA 承诺。
优化技术改变什么，不能推断什么
SageMaker 可能采用 speculative decoding 或 kernel tuning，结果会列出优化类型、参数、镜像、实例类型、数量和环境变量等可部署配置。
官方对特定优化说明不等于所有业务质量自动不变。上线前仍需检查准确性、格式、工具调用、长上下文和安全输出；自定义格式、inference component 与多 LoRA 也要按各自支持边界验证。
费用、Region 与权限边界
公告说明生成推荐不收额外费用，但模型优化任务和基准测试端点按标准 SageMaker 计算费用计费。任务前应设预算、候选实例范围与停止条件，结束后清理测试端点和中间资源。
发布时支持 N. Virginia、Ohio、Oregon、Ireland、Frankfurt、Singapore 和 Tokyo，共七个 Region。还要核对 IAM、配额、GPU 容量以及模型、测试数据和日志的合规位置。
从推荐到生产的七步验收
固定模型与负载版本；设置主目标和硬上限；限制候选实例并估算预算；运行并保存完整指标；用独立业务样本复测质量和 P99；小流量部署；观察错误率、容量和单位成本后扩量。质量退化、P99 超限或预算异常均应回滚。
一键部署不是审批完成。应记录旧 endpoint config、模型包 ARN、镜像、环境变量、实例数、CloudWatch 告警、容量配额与回滚 owner。
常见误区与连接排查边界
常见误区包括把 Studio 界面当成新模型、把平均延迟当尾部延迟、把推荐无额外费用写成 GPU 压测免费、跳过业务质量复验，以及跨 Region 直接复制结果。
任务失败先查执行角色、模型格式、配额、Region 与资源状态。仅在 DNS、超时、TLS 或代理认证证据出现时，按<a href="/resources/proxy-connection-troubleshooting-checklist">代理连接排查清单</a>定位网络层；API 参数可参考<a href="/resources/ai-api-key-base-url-model-guide">AI API 配置指南</a>。需要稳定访问官方文档时可 <a href="/" target="_blank" rel="noopener noreferrer">访问 PuppyIP 官网</a>了解固定出口，但网络出口不能增加 GPU 配额或替代 IAM。
资料来源
常见问题
SageMaker AI Studio 推理推荐是新模型吗？
不是。它是比较生成式 AI 推理部署配置的可视化流程，建立在 2026 年 4 月发布的 API 能力之上。
生成推理推荐是否完全免费？
不是。生成推荐不收额外费用，但模型优化任务和基准测试端点仍按标准 SageMaker 计算费用计费。
TTFT 和 ITL 有什么区别？
TTFT 衡量请求到首个 token 的等待时间，ITL 衡量后续 token 之间的间隔。
推荐排名第一可以直接上线吗？
不建议。应复测质量、P99、错误率、单位成本和峰值容量，并保留回滚路径。
哪些 Region 支持新界面？
发布时包括 N. Virginia、Ohio、Oregon、Ireland、Frankfurt、Singapore 和 Tokyo。
更换代理能解决权限或容量错误吗？
不能。代理只影响网络路径；IAM、模型格式、Region、配额和 GPU 容量必须在 AWS 配置中处理。