スマートルーティング
スマートルーティングは、同じモデルを提供する複数のサービスプロバイダーにリクエストを動的に振り分けます。アプリケーションはリクエスト内のモデル ID をそのまま使用し、別のモデルに置き換えられることはありません。
ルートの選択方法
ゲートウェイは、認証、予算、レート制限、モデル権限、プロトコル、モダリティ、稼働状態を確認します。その後、利用可能なサービスプロバイダーを価格、初回 Token までの時間（TTFT）、総レイテンシ、スループット、失敗リスクで評価します。直近のリクエストデータに応じて選択確率は継続的に更新されます。
ルーティングモード
| モード | 主な優先項目 | 適した用途 | トレードオフ |
|---|---|---|---|
| バランス | 価格、TTFT、総レイテンシ、スループット、失敗リスク | 多くのオンライン業務、新規プロジェクト | 単一指標を極端に最適化しない |
| 価格優先 | 総合スコアにおける価格の比重を高める | バッチ処理、オフライン生成 | レイテンシが高くなる場合がある |
| 速度優先 | TTFT、総レイテンシ、スループットの比重を高める | チャット、コード補完、リアルタイム処理 | より高価なサービスプロバイダーを選ぶ場合がある |
新規プロジェクトではバランスモードを推奨します。InOneAPI が現在サポートするのは、この 3 モードだけです。
各モードに共通する動作
すべてのモードで稼働状態、失敗リスク、異常検知、サーキットブレーカーが適用されます。価格優先でも最安値に固定されず、速度優先でも安定性と価格が無視されることはありません。「可用性優先」という独立したモードはありません。
モードを検証する
代表的な業務サイクルを通して、成功率、P50/P95 レイテンシ、TTFT、再試行率、リクエスト単価を比較してください。リクエスト履歴と X-Gateway-Trace-ID を使うと、ルーティング、サービスプロバイダー、トラフィック構成のどこで変化したかを確認できます。