云网洞察 · 专题研究

AIDN 公有云产品洞察与移动云规划建议

覆盖现有产品与技术路线的专题研究 · 资料核验日期 2026 年 10 月 27 日

建议优先验证多地域自有模型托管与推理调度
公有云已提供多模型网关、缓存、路由和托管推理。移动云可研究以专网接入、多地域模型部署和统一运维组成 AIDN 首期产品，先用客户业务验证时延、可用性和成本，再扩大节点范围。以下产品范围与路线均为规划建议。
对照厂商7 家
产品层次接入治理 / 模型运行 / 跨地域调度
建议周期90 天验证，非发布承诺
下载 Word 版 查看来源
资料核验日期 2026-10-27
总览结论 建议优先验证多地域自有模型托管与推理调度
官方来源数量 22
研究范围与产品定位七家厂商的产品布局技术路线与性能边界客户需求与首批场景移动云产品范围与建设顺序商业化与效益测算验证指标与规划决策

研究范围与产品定位

AIDN 的研究口径

  • 本文按 AI 推理分发网络的工作定义研究 AIDN：连接应用、模型服务与推理资源，统一提供接入、调度、运行治理和用量管理。该名称用于本次规划讨论，各厂商对应产品名称不同。
  • 对标分为三层：接入层处理协议、鉴权和流量；模型运行层负责模型部署、算力和版本；调度层决定请求进入哪个已就绪实例。统一 API 入口与边缘 GPU 执行需要分别验证。[阿里云] [腾讯云] [Cloudflare]
  • 建议产品表述：AIDN 为多地域业务提供模型统一接入、客户自有模型托管、地域约束调度、故障切换和用量管理；对适用负载提供缓存与推理引擎优化。上述为拟研究范围。

对移动云的判断

  • 网关、缓存和基础路由已在多家平台出现，单独作为卖点较难建立持续优势。可优先研究把模型部署、企业专网与分布式节点运营组合成可购买服务。该判断来自产品对照，尚需客户访谈和实测验证。[阿里云] [火山引擎] [Microsoft Azure] [Cloudflare]
  • 首期应明确承诺客户可以交付什么：把指定模型版本部署到约定资源池，在允许地域内提供服务，记录调用去向、故障恢复和账单。全国边缘节点数量需以实际可交付 GPU 和模型覆盖为准。

七家厂商的产品布局

产品对照

厂商及产品主要交付模型与节点边界对移动云的参考
阿里云 AI 网关 / PAI模型代理治理与自有模型推理网关与模型运行分属不同产品明确网关、托管与网络的责任边界
腾讯云 EdgeOne 边缘推理边缘节点模型部署自定义镜像或预置模型；文档注明内测模型交付与 GPU 时长计量
火山引擎 CDN AI 应用加速统一模型入口与链路调度当前开放大模型接入；工单申请CDN 客户转化与入口治理
Cloudflare AI Gateway / Workers AI模型治理与全球网络 GPU 推理网关代理与模型目录是两类能力开发者入口及按用量付费
AWS Bedrock托管模型跨区域推理按模型和 inference profile 限定地域容量调度与处理地域可追溯
Azure API Management / AI Gateway tierAI API 与工具访问治理现有 APIM 能力和独立预览 tier 分开企业身份、Token 配额和私网
Google Cloud Model Garden开放及自定义模型托管部署项目内部署；私网依模型及端点类型模型运行与企业 VPC 集成

阿里云

  • AI 网关支持多模型代理、鉴权、Token 限流、语义缓存和可观测，后端可包含商用 API 及 vLLM、SGLang 等自建模型服务。它承担接入治理，模型算力仍由后端服务提供。[阿里云]
  • PAI InferX 支持自定义模型、镜像、启动命令和资源配置，并可关联 KV Cache 服务、配置 Prefill / Decode 分离。这些能力说明，自有模型托管和引擎优化已进入云平台产品范围。[阿里云]
  • 百炼提供上下文缓存，隐式缓存的实际命中不保证。移动云如提供同类优化，应展示缓存命中 Token 和实际账单变化，避免只显示“缓存已开启”。[阿里云]

腾讯云

  • EdgeOne 官方边缘推理文档提供预置模型与自定义镜像部署路径，并将就近调度、弹性伸缩和托管运维列为产品能力。评估应进一步索取可部署城市、GPU 规格、模型限制与冷启动数据。[腾讯云] [腾讯云]
  • 计费文档注明该边缘推理功能处于内测，需白名单且仅支持企业版套餐；自定义推理按 GPU 实例运行时长计费。该结论针对引用文档的功能范围，不推广到 EdgeOne 全部 AI 产品。[腾讯云]
  • 对移动云的参考：客户交付单元可设计为“某模型在某地域运行的服务实例”，将模型上线、弹性策略和实例账单一起提供。节点覆盖和空闲资源成本决定此方案能否长期运营。

火山引擎

  • CDN AI 应用加速通过统一域名接入模型 API，文档列出链路加速、权重路由、失败回退、语义缓存、敏感信息检测及 Token 用量分析。当前开放大模型接入；Agent 与 MCP 需求需咨询支持，开通需提交工单。[火山引擎]
  • 该产品主要证明 AI 入口与链路治理的交付方式，不能据此推断用户模型已在 CDN 节点运行。移动云评估入口产品时，应同时确认后端来源、处理地域和模型执行位置。[火山引擎]

Cloudflare

  • AI Gateway 提供调用分析、日志、缓存、限流、重试和模型回退；Workers AI 则在 Cloudflare 网络的 GPU 上提供模型目录与 Serverless 调用。客户接入网关和购买推理用量是两种不同交付。[Cloudflare] [Cloudflare]
  • Dynamic routing 文档标注 Beta，支持条件、比例分流、预算限制和版本回退；接口格式存在限制。该设计适合参考为租户级策略和灰度发布能力，不宜直接承诺支持任意模型协议。[Cloudflare]
  • 官方定价文档列出 AI Gateway 基础分析、缓存和限流免费提供；Workers AI 按用量收费。该组合给基础网关收费带来压力，付费层需要明确服务保障、专网接入或模型运行价值。[Cloudflare] [Cloudflare]

AWS

  • Bedrock 跨区域推理通过 inference profile 限定模型与可处理地域，区分地理范围和全球范围；当前 inference profile 不支持 Provisioned Throughput。跨区域数据走 AWS 网络，日志可标识实际推理区域。[AWS]
  • 该能力适合参考地域约束、处理去向和跨区域容量使用。仅凭跨区域路由功能，不能推出每次都选择最近节点或承诺最低端到端时延。[AWS]
  • Bedrock 的 prompt caching 依赖模型和 API，跨区域调度可能带来更多缓存写入。移动云的调度策略需要同时考虑缓存、排队和允许地域，不能只按网络距离排序。[AWS]

Microsoft Azure

  • Azure API Management 的 AI gateway 能力覆盖模型负载均衡、Token 配额、语义缓存和调用观测。语义缓存需配合外部缓存和向量化服务，与 GPU 内部 KV Cache 分开评估。[Microsoft Azure] [Microsoft Azure]
  • 独立 AI Gateway tier 仍为公开预览，官方列出 East US 2 与 Sweden Central 两个区域，商业模式待公布。不能把 APIM 既有功能的成熟度套用于该预览 tier。[Microsoft Azure]
  • 移动云可参考其按应用或团队分配 Token 配额和集中管理凭据的方式。面向企业的交付还应覆盖私网 DNS、租户权限与审计；具体连接方式须按产品版本核验。[Microsoft Azure] [Microsoft Azure]

Google Cloud

  • Model Garden 支持开放、合作伙伴与自定义模型的自部署，实例在客户项目环境内运行；自部署模式需要管理部署资源，与免部署的模型 API 服务不同。官方文档当前归入 Gemini Enterprise Agent Platform。[Google Cloud]
  • 部分模型可部署到 Private Service Connect 端点，接入 VPC 私网；端点支持受模型和部署方式影响。自部署合作伙伴模型可能只支持共享公共端点，不能笼统承诺所有模型均可私网访问。[Google Cloud] [Google Cloud]
  • 对移动云的参考是把模型版本、资源规格、端点和 VPC 关系放入同一交付流程。向全国分发模型前，应先解决单地域内模型启动、回滚和访问控制。

技术路线与性能边界

四类优化分别解决什么

  • 链路优化减少连接、传输和网络绕行耗时；模型仍可能在远端运行。结果缓存直接复用已生成答案；语义缓存还需判断业务是否允许相似问题返回同一结果。[火山引擎] [Microsoft Azure]
  • KV Cache 复用减少相同输入前缀的重复计算，输出仍由模型生成。P/D 分离把同一次请求的 Prefill 和 Decode 放在不同实例，需传输中间 KV 状态。两者可组合，但收益来源不同。[阿里云] [NVIDIA]
  • 跨地域调度选择服务地域或资源池，池内调度再选择实例。建议先按模型版本、允许地域和健康状态筛选，再综合排队、缓存命中与负载；性能目标需由业务测试决定。[AWS] [阿里云] [NVIDIA]

P/D 分离的部署条件

  • NVIDIA Dynamo 文档说明，分离式推理依赖高效 KV 传输，在低并发下聚合部署往往可避免传输和资源池碎片开销。所引资料为 dev 版本，实施需锁定稳定版本验证。首期建议把 P/D 限定为具备合适互联条件的资源池内选项。[NVIDIA]
  • 异地之间默认转发完整请求到已就绪模型副本。跨城 KV 传输需单独证明带宽、尾延迟和恢复成本可接受，再决定是否纳入产品，不宜把普通广域网直接当作池内高速互联。
  • 验收应拆解端到端耗时：客户端至入口、入口排队、模型 Prefill、首 Token、持续输出和重试。首 Token 更快不代表完整任务更快，平均值也不能替代 P95/P99。

模型分发与冷启动

  • 模型上线包括镜像与权重准备、驱动兼容、加载、预热、健康检查和小流量验证。建议控制台展示各阶段耗时与状态，只有预热通过的副本进入可调度集合。
  • 模型权重、推理 KV、结果缓存分别管理版本与权限。首期按租户和模型版本隔离缓存；对外账单同时记录真实上游用量、平台计量和缓存命中，支持逐请求核对。

客户需求与首批场景

建议优先验证的客户

  • 已有自有或行业模型、需要在多个地域提供服务的企业：验证统一部署和版本回滚能减少多少运维工时，以及就近运行是否改善实际业务时延。
  • 通过专网访问行业模型的政企客户：验证专网入口、地域约束、租户隔离和日志审计是否可一起交付。是否满足具体监管要求需按客户场景论证。
  • 跨省连锁、园区和多地客服业务：优先选择一个模型、多个站点、可复现的请求集，测出中心运行与分布式运行的差别。
  • 仅调用一家成熟模型 API、流量较低且无私网需求的客户：迁移收益可能不足，应先核对凭据治理、回退和账单需求，再判断是否值得付费。

业务场景如何收敛

  • 先分别验证语音对话和行业文本问答。语音同时考察首段音频、流式链路和会话恢复；文本问答考察答案质量、首 Token、完整耗时和高峰排队，避免用一个指标评价所有业务。
  • 多模态视觉或园区推理作为后续方向，先核对输入体量、实时性、模型授权与客户数据处理要求。联网能力带来的收益需与边缘算力常驻成本一起测算。
  • 客户购买理由应写成可验收结果，例如“在两个约定地域运行同一模型并完成单地域故障切换”。具体时延和恢复承诺由试点结果确定。

移动云产品范围与建设顺序

建议的产品组成

  • 统一模型入口：提供模型 API、流式响应、租户密钥、应用配额、超时重试、后端健康检查及逐请求追踪。先选择兼容范围明确的协议。
  • 自有模型托管：提交镜像与权重，选择资源池，完成版本发布、健康检查、预热、灰度和回滚；每个实例标注 GPU 规格、模型版本与服务状态。
  • 地域约束调度：按客户允许地域和模型就绪状态选择副本，提供地域优先与故障回退策略；输出处理地域、排队耗时和回退原因。
  • 运营与计量：统一展示请求、Token、实例时长、专网资源和服务费用，支持按租户、应用、模型及地域查询。跨产品费用要能对账。

与现有产品的关系

  • 建议云网产品团队负责入口、连通、路由策略和端到端观测；AI 平台团队负责模型服务、推理引擎及版本；资源团队负责 GPU 容量、驱动与运维。该职责划分需在立项时确认。
  • 面向客户形成一个交付单，内部复用现有 API 网关、容器、模型平台、专网与计费能力。立项前先做可复用能力盘点，再决定新增哪些组件。
  • 移动云的网络与节点资源是否形成优势，需要用可交付资源池清单、专网接入时限和客户测量证明。现有公开材料不足以确认内部产品成熟度，规划不写成已实现能力。

90 天验证安排

  • 以下为建议的工作顺序，起点以项目获批和资源到位为准。每阶段均给出交付结果和进入下一阶段的条件。
阶段交付结果通过条件
第 1 至 30 天客户访谈、现有能力盘点、固定请求集、两个候选地域确认付费对象与资源责任人；形成可重复基线
第 31 至 60 天一个模型的双地域部署、统一 API、健康检查、回退及追踪跑通模型发布回滚、流式调用与单地域故障演练
第 61 至 90 天客户试点、逐请求账单、总成本测算、产品范围建议质量不退化；达到约定业务指标；客户确认购买条件

后续再扩展的能力

  • 待首期验证通过，再研究国产 GPU 多规格适配、按缓存与负载选路、模型快速分发和资源池内 P/D 优化。每项分别立基线并比较成本。
  • 跨省 KV 搬迁、多云任意模型迁移和所有节点全模型覆盖，不宜直接列入首期交付承诺。先完成网络、授权、容量与引擎适配验证，再确定可支持范围。

商业化与效益测算

建议的收费边界

  • API 治理服务可研究按租户、网关规格或请求用量收费，价值对应凭据管理、审计、私网和服务支持。基础功能存在免费供给，定价需通过客户访谈验证。[Cloudflare]
  • 客户自有模型托管建议优先采用 GPU 或服务实例时长，便于对应保留容量、空闲时段和资源成本；按 Token 计费需先建立模型、输入输出长度与 GPU 消耗的换算。[腾讯云]
  • 第三方 API 转售或统一结算应核对供应商授权、账期与价格变化。模型用量、网络和平台服务可分别列账，避免把 Token 收入全部视为平台收入。

测算口径

  • 单期服务毛利＝客户收入－模型采购成本－GPU 资源成本－网络与带宽成本－存储日志成本－直接运维及支持成本。再计入研发和折旧等分摊，判断产品总体效益。
  • 同一模型质量和完成任务口径下比较成本。每千次成功任务成本＝同一测试周期全部相关成本÷成功且满足质量门槛的任务数×1,000；重试和失败调用成本计入分子。
  • 盈亏平衡需要客户规模、并发分布、GPU 单价、保留容量、上下游账期和实测吞吐。目前没有这些经营数据，本期提供公式和采集字段，不给出虚构的收入或回收期。
  • 最需要关注的成本风险是边缘副本长期空闲、模型冷启动过长、跨地域回退费用和低估日志存储。节点扩张应以付费需求和利用率数据为依据。

验证指标与规划决策

测试设计

  • 使用同一模型版本、量化方式、输入输出长度、并发和质量门槛，对比中心直连、增加网关、双地域调度，以及可选 KV 与 P/D 优化。记录预热和冷启动两种状态。
  • 分别测试健康运行、突发流量、后端 429/5xx、节点失联和单地域不可用。流式响应已开始后的失败要单独统计，避免重试产生重复输出或额外费用。
  • 按请求追踪关联入口地域、实际推理地域、模型版本、重试次数、Token、实例时长和账单。合规地域约束的违规次数目标建议为零，具体验收条款由项目确认。
维度记录指标判断方式
体验端到端首 Token、ITL、完整耗时及 P95/P99按业务 SLA 与中心直连基线比较
质量任务成功率、答案评分或场景准确率模型切换与缓存不得突破预设质量门槛
运行发布耗时、冷启动、故障恢复、人工工时从日志和演练记录计算
资源吞吐/GPU、利用率、缓存命中 Token看有效业务负载，包含空闲与失败
经营每千成功任务总成本、收入、毛利统一成本范围后比较
治理地域约束、租户隔离、凭据轮换与审计逐项演练并保留证据

立项前应确定的事项

  • 产品团队确认首批客户与采购对象：需要统一模型 API、需要自有模型托管，还是两者都需要；形成客户访谈记录与试点意向。
  • 资源与 AI 平台团队确认两个试点地域的 GPU、引擎和模型交付能力，列明缺口、责任人和可用时间。云网团队确认专网接入、DNS 和跨地域回退链路。
  • 计费及运营团队确认 Token、实例和网络费用归属，完成一批请求的对账样例。商法与安全团队按拟交付范围核对模型授权、数据处理和服务责任。
  • 规划评审可先决定是否启动有限试点。扩大节点、价格与服务等级，在客户收益、资源成本和故障验证具备证据后再定。

附录：来源链接清单

更新于 2026-11-09 08:43:29 · insight.zskmm.cn