スマートルーティング

スマートルーティングは、同じモデルを提供する複数のサービスプロバイダーにリクエストを動的に振り分けます。アプリケーションはリクエスト内のモデル ID をそのまま使用し、別のモデルに置き換えられることはありません。

ルートの選択方法

ゲートウェイは、認証、予算、レート制限、モデル権限、プロトコル、モダリティ、稼働状態を確認します。その後、利用可能なサービスプロバイダーを価格、初回 Token までの時間（TTFT）、総レイテンシ、スループット、失敗リスクで評価します。直近のリクエストデータに応じて選択確率は継続的に更新されます。

モダリティ確認ではリクエスト内容も参照します。画像・音声・動画の入力を含むリクエストは、そのモデルで対応する理解機能を宣言しているプロバイダーにのみルーティングされます。該当するプロバイダーがない場合、ゲートウェイは INPUT_MODALITY_NOT_SUPPORTED を返し、その入力を処理できないプロバイダーへは転送しません。

ルーティングモード

モード主な優先項目適した用途トレードオフ
バランス価格、TTFT、総レイテンシ、スループット、失敗リスク多くのオンライン業務、新規プロジェクト単一指標を極端に最適化しない
価格優先総合スコアにおける価格の比重を高めるバッチ処理、オフライン生成レイテンシが高くなる場合がある
速度優先TTFT、総レイテンシ、スループットの比重を高めるチャット、コード補完、リアルタイム処理より高価なサービスプロバイダーを選ぶ場合がある

新規プロジェクトではバランスモードを推奨します。InOneAPI が現在サポートするのは、この 3 モードだけです。

各モードに共通する動作

すべてのモードで稼働状態、失敗リスク、異常検知、サーキットブレーカーが適用されます。価格優先でも最安値に固定されず、速度優先でも安定性と価格が無視されることはありません。「可用性優先」という独立したモードはありません。

サービスプロバイダーを指定する

任意の X-InOneAPI-Provider リクエストヘッダーに、モデル詳細ページに表示されるプロバイダー名を設定します（例: X-InOneAPI-Provider: Tencent Cloud）。指定すると価格優先、速度優先、バランスの各モードによるプロバイダー選択は行われず、そのプロバイダーだけにリクエストします。同じプロバイダーに設定された複数の API Key は内部で切り替えたり再試行したりできますが、別のプロバイダーには切り替えません。そのプロバイダーがモデルまたは API に対応していない場合は PROVIDER_NOT_AVAILABLE を返します。一時的に利用できない場合も、他のプロバイダーへのフォールバックは行いません。モデル詳細ページのプロバイダー名をコピーして指定できます。

モードを検証する

代表的な業務サイクルを通して、成功率、P50/P95 レイテンシ、TTFT、再試行率、リクエスト単価を比較してください。リクエスト履歴と X-Gateway-Trace-ID を使うと、ルーティング、サービスプロバイダー、トラフィック構成のどこで変化したかを確認できます。