~AI開発を安全に、もっと自由に~ マルチLLMゲートウェイサービス開発とAWS Summit Japan 2026での反響

石川堅也 - Nomura Research Institute, Ltd.

はじめに

こんにちは、NRIの石川です。
普段は、NRIの提供するパブリッククラウド運営サービス「QUMOA」のAWSを中心としたクラウド基盤の運用・企画に携わっており、最近では生成AI活用を支える基盤づくりにも取り組んでいます。
先日公開された「AWS Summit Japan 2026 参加レポート！ - atlax blogs」でも触れられていた通り、2026年6月25日（木）・26日（金）に開催されたAWS Summit Japanに、NRIはダイヤモンドスポンサーとして出展しました。私自身も期間中のNRIブースにて、現在QUMOAで検討している新サービス「マルチLLMゲートウェイ」の紹介と、デモアプリを使った説明を担当しました。
本記事では、開発中のマルチLLMゲートウェイがどんなサービスなのか、そして当日NRIブースでいただいた反響についてご紹介します。
（※本サービスは現在開発中のものであり、詳細は今後変更となる可能性があります）

なぜ「マルチLLMゲートウェイ」が必要なのか

LLMの進化とそれに伴う生成AI活用が広がる中、開発者・業務ユーザーそれぞれが次のようなメリットを得られるようになりました。

開発者：コード生成・レビューの加速、エージェント／RAG構築によるタスク自動化
業務ユーザー：文書要約・翻訳・議事録作成など日常業務の効率化、チャットボット導入による顧客対応品質の向上

これらメリットの効果をより高め、継続的に改善していくには用途に応じた最適モデルの選定や、最新LLMへの切り替えが必要不可欠です。ですが、継続的な切り替えの実現には課題があります。モデルごとにAPIや認証仕様が異なるため、切り替えのたびに実装コストが発生しますし、実装にはある程度時間がかかるため、本質的な開発業務の着手が遅れてしまう点もあります。性能競争が激化し、わずか数か月で主役となるモデルが交代することも珍しくない現在の市場において、開発着手の遅延は大きな損失であり、特定のモデル・ベンダーへの依存はリスクにもなります。
また、複数のLLMを部門・組織横断で本格的に活用しようとすると、開発上の観点だけでなく、運用・統制・ガバナンスの観点も考慮する必要があります。具体的にコストやモデル利用の状況管理や機密・個人情報の漏えい防止、監査・規制対応などが求められます。これらに対して、そもそも何から検討すればよいかわからない、何に対応すれば必要な対策がとれていることになるのかわからないといったことも少なくなく、導入段階で時間/費用/工数など大きなコストがかかってしまいます。
以上のような課題に個別に向き合っていると、本来やりたかった「AIをどう業務に活かすか」という本質的な業務の前に、環境準備だけで疲弊してしまいます。この状態を解消し、利用者が「AIを安全に・自由に利用できる」ことを目指したものがマルチLLMゲートウェイサービスです。

AWS に関するソリューション・事例はこちら

マルチLLMゲートウェイとは

サービスの概要

マルチLLMゲートウェイは、一言で言うと「最適なAIを安全に・素早く使える」ことを目指したAI活用の共通基盤です。認証・アクセス分離・ガードレール・コスト管理・可観測性といった、複数のLLMを安全に活用するために本来各部署が個別に作り込む必要のある要素を、共通基盤としてまとめて提供します。
これにより、各モデル間の差異をゲートウェイ側で吸収し、アプリ側からは統一APIでAmazon Bedrockを用いたClaudeなどのモデル呼び出しはもちろん、AzureのGPT、GCPのGeminiなど複数クラウドにまたがって利用することができます。

サービス提供によって得られる価値

本サービスの価値を大きく4つに整理しました。

①	すぐに始められる	環境構築や認証基盤の自前準備は不要。申請するだけで、検証にすぐ入れる状態を目指す
②	最適なAIを選べる	複数クラウドのモデルをOpenAI互換APIで横断利用。モデルの差し替え・比較が容易で、検証サイクルを速く回せる
③	安全・統制が効いている	アクセス分離、ガードレール、接続元IP制限や閉域接続などを共通基盤で担保
④	見える・抑えられる	コスト・予算・利用量の可視化と、利用ログの記録により、使いすぎやブラックボックス化を防ぐ

アプリ開発担当者はモデルの違いを意識せず開発に集中でき、基盤担当者/プロジェクトの責任者などは複雑な基盤構築をせずに統制と可視性を確保でき、両者ともにメリットを得ることができるのが、このサービスの特徴です。

期間中、NRIブースではこれまでに説明したサービスの紹介に加え、マルチLLMゲートウェイで動作するデモアプリを使い統一APIによって複数モデルを利用できる体験コーナーを用意しました。

デモアプリについて

今回はデモ用に「複数モデル並列回答アプリ」を開発しました。こちらは、1つの問いかけに対して複数のモデルから回答を受け取り、その結果を「集約」または「多数決」のモードで最終的な回答としてまとめる、というものです。利用者はアプリ上で使いたいモデル（許可されたモデルの中から）を選択することができます。

このアプリの実際の呼び出し側において、モデルが変わってもコードはほとんど変わりません。イメージとしては次のようなコードにおいて、「model」に与えるIDを切り替えるだけで別のLLMを呼び出すことが可能です（model部分を`anthropic.claude-opus-4-7`や`azure/gpt-5.4-mini`とするだけで呼び出すモデルを切り替えられます）。これにより「モデルごとの仕様を意識しない」開発を実現可能となります。ブースでは、デモアプリをその場で操作することで、実際の開発をイメージしてもらいました。

切り替えイメージ

以下、赤字部分を書き換えるだけでモデル切り替え可能。

const response = await fetch(endpoint, {
method: "POST",
headers: { "Content-Type": "application/json", Authorization: `Bearer ${apiKey}` },
body: JSON.stringify({ model: anthropic.claude-opus-4-7, messages: [{ role: "user", content: "日本の2023年度の名目GDPと主要先進国の中での順位は？"}],),
});

来場者の反響

ブースでは、マルチLLMゲートウェイサービスおよび提供価値に関する紹介とデモアプリを組み合わせて説明する形式で実施しました。パネルでの概要説明に加えて、実際にデモアプリを操作しながら「モデルを切り替えても呼び出し方が変わらない」という体験を目の前でお見せできたことで来場者の理解を後押ししたと感じています。
今回、多くの方とお話するなかで、特に以下2点が印象的でした。

① AI活用に関する質問・ディスカッションが非常に活発
マルチLLMゲートウェイに限らず、生成AI活用そのものに関する質問を多くいただき、ディスカッションに発展することもありました。業種・部門を問わず「生成AIをどう業務に組み込むか」という思いや、AI活用の広がりを肌で感じました。

②AI活用時の統制やベンダーロックイン回避への関心の高さ
マルチLLMゲートウェイについては、特に「AI利用時のガバナンス/統制をどう確保するか」「特定ベンダーに依存しない構成をどう作るか」といった文脈での質問が目立ちました。ベンダー依存のリスクや、ガバナンス/統制については多くの来場者が共通して抱える課題であることを改めて実感し、今後、マルチLLMゲートウェイの活躍が期待できると感じました。

最後に

今回、開発中のマルチLLMゲートウェイのご紹介およびAWS Summit Japan 2026での反響についてまとめました。複数モデル利用における開発負担や、統制/ガバナンスなどの課題に対して、マルチLLMゲートウェイサービスにより解決することが可能となります。また、AWS Summitでも多くのお客様から直接本サービスについて意見や感想をいただけたことは、サービスの方向性に対する自信につながる貴重な機会となりました。今後もマルチLLMゲートウェイおよびQUMOAのより良いサービスの展開に向け注力していきます。当サービスについてご興味を持っていただければ幸いです。

最後までお読みいただきありがとうございました！