RAG-1グランプリでPrize獲得！コンサルタントが挑むRAG技術の最前線

atlax編集部

こんにちは、atlax編集部中の人です。
2024年9月12日～10月10日に、AI・データサイエンス分野に特化したコンペティションプラットフォーム「SIGNATE」で開催された「RAG-1グランプリ」において、野村総合研究所（NRI）の川名拓己がPrizeを獲得しました。

コンペティションの入賞は1位から20位までが対象であり、その中の一つとして「Prize」が授与されます。川名拓己はその入賞者のひとりとして、優秀な成績を収めました。

RAG-1グランプリとは

LLMの誤情報生成（ハルシネーション）問題に対処するRAG（Retrieval-Augmented Generation）技術の実装と精度を競うコンペです。著作権切れの小説データを活用し、与えられた質問に対する回答精度を評価します。評価はGPT-4oによって回答の質が判定され、技術の知見共有を目的としています。

今回は、「RAG-1グランプリ」でPrizeを獲得した川名拓己にインタビューを実施しました。コンペティション（以下、コンペ）参加のきっかけや開催中に工夫した点、今後の展望について伺いました！

Q1：RAG-1グランプリにてPrize獲得おめでとうございます。今回のコンペに参加したきっかけや動機を教えてください。

RAG-1グランプリへの参加は、以前、同じプロジェクトで携わっていた上司からのお誘いがきっかけでした。そのプロジェクトでは実際にRAG技術を活用しながらお客様の支援を行っており、本コンペを通じて自身のスキルを向上させ、お客様へさらなる貢献をしたいと考え参加を決めました。
従来の機械学習のコンペは、既存のデータセットを用いてモデルを学習させる形式が主流でしたが、RAGをテーマにした今回のコンペは新しい試みでとても興味深く感じました。
特に印象的だったのは、生成AI特有の評価方法です。一般的な0～1のスコアによる定量評価ではなく、生成AIが回答を定性的に分析し、「Perfect, Acceptable, Missing, Incorrect」の４段階で評価するという手法です。こうした生成AI時代ならではの先進的な取り組みに触れられることも興味を持ったきっかけの一つです。

Q2：RAG-1グランプリに参加してみて、大変だったことや良かったことなど感想を教えてください。

大変だった点は、多様な設問に応じて様々な考慮が必要であった点です。
本コンペでは、7つの長編小説のデータセットと、それに対する約60の設問が与えられました。設問の内容は、小説中の単語の登場回数を問うものから物語の詳細に踏み込むものまで多岐にわたりました。さらに、その設問が「どの小説に対するものか」自体を読み解く必要もあり、単純なRAGシステムでは全く精度が出ない難易度でした。
そのため、設問と小説の紐づけや意図解釈、小説のチャンキング（分割）の工夫、さらには検索機構やプロンプトの調整など、あらゆる工程で試行錯誤が必要となり、非常に苦労しました。

良かった点としては、RAGの本質的な技術課題に集中して取り組めた点です。
普段の業務でお客様の支援を行う際は、表や図、テキスト、画像などが混在した複雑なデータを扱うことが多く、RAGの精度以前にデータ処理の検討に時間を割くのが現状です。一方、今回のコンペはテキストデータに特化していたため、検索手法やチャンキング、プロンプトチューニングといった「RAGのコア技術」に注力して検証を重ねることができました。純粋にRAG技術を磨くことができ、非常に貴重な機会となりました。

Q3：コンペに挑戦するにあたり、どのような戦略やアプローチを立てましたか？また、工夫された点があれば教えてください。

戦略としては、RAGシステムの精度低下の要因を体系的に整理し、誤答パターンを詳細に調査しながら一つずつ精度を改善していきました。精度低下の要因としては、結果として主に二つの課題が挙げられます。

一つ目は「必要なコンテキストが取得できていない」という検索段階の問題です。これは、設問文が非常に簡素であること、古語で書かれた小説に対して標準語の設問文でベクトル検索を行うことによる言語・文体のミスマッチが生じること、そして物語の情報が複数の小説チャンクに分散していることが原因でした。
二つ目は「必要なコンテキストは取得できているが、回答時にハルシネーションが発生する」という生成段階の問題です。回答に必要のないチャンク(=ノイズ)の多さ、プロンプト指示の曖昧さ、モデル性能不足、固有名詞対応不足などが要因として挙げられました。
これらの分析を踏まえ、特に以下の3点を工夫しました。

1点目は、古語テキストに対する検索精度の向上です。小説データを生成AIで現代語訳し、検索用の翻訳版データを作成しました。検索には翻訳版を使用し、回答は原文の古語データを基に行うことで、言語ミスマッチの問題を解決しました。
2点目は、設問タイプ別の最適化です。事前に60の設問を7つのタイプに分類し、タイプに応じて検索対象のチャンクサイズや検索手法を使い分けました。物語全体を考慮する必要があるもの、特定箇所の詳細に関するもの、単語の登場回数を問うものなど、多岐にわたる設問タイプに対応しました。また、設問文の意図を具体化してから類似度検索に活用する前処理を組み込むことで、取得するチャンクの検索精度を改善しました。
3点目は、ハルシネーション対策の徹底です。コンテキストの絞り込み、プロンプトのチューニング、性能の高いモデルへの切り替え、固有名詞の定義・辞書登録といったアプローチを実施しました。
これらの対策により、前処理から検索方式、回答生成まで一連のプロセスを体系的に改善し、RAGシステム全体の精度向上を実現しました。

データアナリティクスに関するソリューション・関連記事はこちら

Q4：他の参加者との違いを生んだ、自身の強みやスキルはどこにあると考えていますか。

私はコンサルタントとしての経験が強みだと考えています。
従来の機械学習モデルでは、モデルの表現力や学習可能なパターンに制約があるため、限られたデータから最大限の性能を引き出すことが求められます。そのため、ドメイン知識を活かした特徴量エンジニアリングや、データの前処理・クレンジングといったデータエンジニアリングのスキルが精度向上の鍵となります。

一方、生成AIの分野では、モデル自体が高い柔軟性と汎用性を持つため、むしろ「どのような情報を、どのような形で与えるか」というデータの構造化や抽象化が重要になります。生成AIは、適切な指示と文脈さえ与えれば多様なタスクに対応できる反面、情報の与え方次第で出力の質が大きく変動します。いわば、高いポテンシャルを持つ新人社員のようなもので、どのような情報をどう整理して伝えるか、どの方向性で思考させるかという「情報設計」が成果を左右します。

これらの能力は、まさにコンサルティング業務で培ったものです。コンサルタントは、クライアントの複雑な課題を理解し、膨大な情報の中から本質的な要素を抽出・構造化し、意思決定者に分かりやすく伝える必要があります。また、問題解決の方向性を定め、限られた時間とリソースの中で最適なアプローチを設計する力も求められます。このような「情報の本質を見極め、構造化し、適切な形で活用する」というスキルセットが、生成AIを効果的に活用する上で直接的に活かせる部分であり、その点が他の参加者との差別化につながったと考えています。

Q5：今回の成果を、社内および社外でどのように活かしていきたいとお考えですか。

社内・業務のデータを生成AIに教える手法として、現在はRAGが代表的な手法となっています。ファインチューニングなど他の方法もありますが、学習データや学習用モデル・環境の用意にコストがかかるため、現段階では広く使われていません。しかし、この分野は技術の進歩が非常に速いため、将来的にはこれらの手法もより手軽に利用できるようになると予想されます。そのため、業務やプロダクトの特性に応じて、様々な学習方法の特徴を踏まえた上で最適な手法を選択することが重要です。

RAGは検索結果をプロンプトへ渡す仕組みがシンプルで、利用した情報の記録が残りやすい特徴があります。これにより監査やガバナンスの面でも有効であり、出力に影響を与えるプロンプトを直接操作できることから、今後も一定のニーズが見込まれます。

実際に担当させていただいた案件でも、業務上の課題をRAGで解決する際に、精度面が課題になることが多く、その解決に今回のコンペで学んだことを活かすことができました。コンペを通じて、RAGの精度を妨げる原因を事象ごとに分解しながら特定できる力が身についたと感じています。
今後もこの経験を基に、技術の進化と共に最適な活用方法を模索し、お客様の課題解決に貢献していきたいと考えています。

Q6：atlaxブログの読者やNRIのお客様にメッセージがあれば、最後にお願いします。

AI活用に関心はあっても、「まず何から始めれば良いか分からない」という方は多いと思います。また、データをそのままAIに投入しても、うまく活用できないケースも少なくありません。
さらに、ChatGPTのようなパブリックなモデルは急速に進化していますが、セキュリティ面の懸念から安易に利用できない場合もあります。
その点、NRIではセキュリティ対策をはじめ、コンサルティングを含めた全社的な支援体制を整えています。技術面のノウハウに加え、お客様の業務課題に応じたコンサルティングやソリューションの提供が可能です。
業界を問わず、AI活用にご興味がある方は、ぜひお気軽にお問い合わせください。

編集部の感想

業務の中でお客様支援の質をさらに高めるためにコンペ参加を決断し、スキル向上を目指して挑戦する姿に実務と技術の両面で成果を追求する熱意が伝わってきました。
また、技術的スキルだけでなく、コンサルタントとしての問題構造の把握や情報の分類・構造化といった視点が、コンペでの成功に大きく寄与していることを感じました。普段の業務から自身の強みを生かしつつ、コンペを通じて新たな知見を得ることで、それを普段の業務に落とし込み、さらにお客様に信頼される質の高い技術支援につながっているのだなと感じました。

今後もatlax blogsでは、最新技術の専門的な解説や実践的なインタビューを通じて、読者の皆様がAIをはじめとしたデジタル技術の活用をより深く理解し、業務やビジネスに役立てていただける情報発信に努めてまいります。