ตอนนี้หน้านี้มีให้เฉพาะภาษาจีน แต่การนำทางและเมนูเป็นภาษาไทยแล้ว

可靠性与故障转移

InOneAPI 通过多供应商路由、健康评分、异常流量检测和主动熔断降低单一上游带来的中断风险。它不会承诺服务永不中断;应用仍需设计明确的超时、幂等、重试和降级路径。

网关何时重试

网关只在相对安全的场景尝试其他渠道,例如请求尚未发送时的连接失败,或未向客户端开始响应时上游明确返回的可重试状态。以下情况不会无条件重放:

  • 已经产生外部副作用的请求。
  • 流式响应已经向客户端发送内容。
  • 请求参数或权限错误。
  • 预算、配额或模型限制阻止请求。

流式响应开始后切换渠道可能拼接两份不一致内容,因此中断会返回客户端处理。

客户端重试

客户端只重试幂等请求,并采用指数退避与随机抖动:

完整流式与重试边界见流式响应与重试。不要使用捕获所有异常并无条件重放的通用重试包装器。

应根据 HTTP 状态和 error.gateway_code(或上游的 error.code)判断是否可重试。401、403、参数错误和明确的预算超限通常不应自动重试。遇到 429 时遵守 Retry-After。

熔断与恢复

当渠道错误率、超时率或异常流量超过阈值时,网关可主动熔断并停止发送新请求。恢复阶段使用少量探测流量验证健康度,再逐步恢复权重,避免刚恢复的渠道立即承受全部流量。

网关还可识别失控 Agent、重试风暴或 Key 滥用,并通过控制台、微信或邮件告警。收到告警后先限制流量,再根据 Trace 判断是客户端循环、上游异常还是预算配置问题。

生产检查清单

  • 为每类请求设置合理的连接、首 Token 和总时长超时。
  • 保存 X-Gateway-Trace-ID,不要在日志中保存 Key 或完整提示词。
  • 限制客户端最大重试次数,避免与网关重试叠加成风暴。
  • 为 Agent 设置最大轮次、预算和命令审批。
  • 准备用户可理解的降级提示和异步补偿路径。
  • 对非幂等业务使用自己的请求 ID 与去重记录。

需要定位具体失败时,参阅Trace、告警与排障。

ความเสถียรและการสลับระบบ · เอกสาร · InOneAPI