RAGASとは？RAGの精度を「検索」と「生成」に分けて数字で測る評価方法

「RAGを作ってみたが、精度が出ている気がしない」という声をよく聞きます。答えがもっともらしいのに間違っている、欲しい答えが返ってこない、といった悩みです。

しかし、そこで終わってしまうケースが少なくありません。「なんとなく良さそう」「なんとなく悪そう」という感想のまま止まり、何を直せば良くなるのかが分からないまま放置されてしまうのです。感覚での判断は、改善の方向を決められないだけでなく、追加投資の社内承認も通せません。

そこで本記事では、
・RAGの精度を感覚でなく数字で切り分ける必要性
・RAG専用の評価フレームワーク「RAGAS」とは何か
・検索側・生成側それぞれの主要指標
・評価セット（QAペア）の作り方と実務での回し方
についてわかりやすく解説します。コードは一切使いません。RAGを導入したが精度の測り方が分からない経営者・DX担当者の方は、ぜひ最後までご覧ください。

「自社のRAGの精度をどう測ればいいか整理したい」という方は、リベルクラフトへご相談ください。
⇨リベルクラフトへの無料相談はこちら

RAGの「精度が出ない」は、感覚でなく数字で切り分ける

RAG（検索拡張生成）を導入した企業から「精度が出ない」という相談を非常に多く受けます。国内のAIシステム市場は2024年の1兆3,412億円から2029年には4兆1,873億円へ拡大する見込みで、RAGを「知っている」企業は約3社に1社にのぼる一方、「導入済み」は17.8%にとどまるとの調査もあります（出典：IDC Japan）。導入した企業の多くが、次に直面するのが「精度が出ない」という壁です。まずは、なぜ感覚での判断では前に進めないのかを整理します。

「なんとなく良さそう」では改善もPoC承認も進まない

RAGを試作した後によく起きるのが、「いくつか質問してみたら、答えてくれた」という段階で評価が止まってしまうことです。この状態では、次に何を直せば精度が上がるのかが分かりません。

さらに問題なのは、社内承認の場面です。「精度が上がった気がします」という報告では、追加の投資判断も本番運用への移行判断もできません。PoC（試作・検証）の担当者がどれだけ手応えを感じていても、数字の裏付けがなければ、次のフェーズへ進む稟議は通りにくいのが実情です。

精度が出ない原因は、検索と生成のどちらかにある

RAGの仕組みを一段だけ確認します。RAGは「質問に関連する社内文書を検索して取り出し、その文書を根拠にAIが回答を組み立てる」という2段階の処理です。AIが見られる情報は、検索で渡された文書の範囲に完全に制約されます。つまり検索の段階で関連文書が漏れていれば、その後どれだけ優れたモデルを使っても正しい答えは作れません。

裏を返せば、「精度が出ない」の原因は、大きく分けて検索側（そもそも正しい文書が取り出せているか）と生成側（取り出した文書をもとに正しく答えられているか）のどちらかにあります。この2つを分けずに「なんとなく精度が悪い」と一括りにしてしまうと、的外れな打ち手を打つことになります。RAG構築で精度を上げる具体的な打ち手については、以下でも整理しています。

参照記事：RAGの精度向上を実現する6つの手法

この記事では、その一歩手前にある「そもそもどちらに問題があるのかを、どう数字で見極めるか」という評価の仕組みを扱います。

RAGASとは何か

検索と生成のどちらに問題があるかを数字で切り分けるために使われるのが、RAG専用の評価フレームワーク「RAGAS（ラガス）」です。

RAG専用に設計された評価フレームワーク

RAGAS（Retrieval Augmented Generation Assessment）は、2023年9月に研究論文として発表されたRAG評価のためのオープンソースのフレームワークです（出典：arXiv “RAGAS: Automated Evaluation of Retrieval Augmented Generation”）。質問・回答・検索で取り出された文書（コンテキスト）・正解例（あれば）を入力すると、複数の指標を自動でスコアリングしてくれます。

一般的な文章生成AIの評価は「回答が正しいか」だけを見がちですが、RAGASはRAGという仕組みの特性 ー 検索と生成の2段階構造 ー に合わせて設計されている点が特徴です。指標の定義や実装は現在も活発に更新されており、最新の指標一覧は公式ドキュメントで確認できます。

何より「検索」と「生成」を別々に測れることが価値

RAGASの最大の価値は、「検索」と「生成」を別々の指標で測れることにあります。これにより、「答えが間違っている」という一つの症状から、原因が検索の取りこぼしにあるのか、生成（回答の組み立て方）にあるのかを数字で切り分けられます。

例えば、検索側の指標が低ければ「そもそも正しい文書が取り出せていない」ことが分かるので、検索の仕組み（キーワード検索の併用・文書の区切り方の見直しなど）を疑うべきだと判断できます。逆に検索側の指標は高いのに生成側の指標が低ければ、取り出した文書はあるのにAIがうまく使えていない、つまりプロンプトの指示や回答の組み立て方に原因があると判断できます。この切り分けができるかどうかで、改善のスピードが大きく変わります。

RAGASの主要指標を、コードなしで理解する

RAGASにはいくつかの指標がありますが、まず押さえるべきは検索側2つ・生成側2つの計4指標です。

検索側の指標｜Context Precision・Context Recall

検索側の指標は、「正しい文書をきちんと取り出せているか」を測ります。

Context Precision（文脈の適合率）は、検索で取り出した文書のうち、実際に質問への回答に役立つ文書がどれだけ含まれているか、しかもそれが上位に来ているかを測る指標です。関係の薄い文書ばかりが上位に来ていると、この値は低くなります。

Context Recall（文脈の再現率）は、本来取り出すべきだった正解の文書を、どれだけ漏れなく取り出せているかを測る指標です。答えの根拠となる重要な文書が検索結果に含まれていなければ、この値は低くなります。

いずれも0〜1のスコアで示され、1に近いほど検索の質が高いことを意味します。この2つが低ければ、検索の仕組み自体（キーワード検索の併用・文書の区切り方・メタデータでの絞り込みなど）を見直す必要があると判断できます。

生成側の指標｜Faithfulness・Answer Relevancy

生成側の指標は、「取り出した文書をもとに、正しく答えられているか」を測ります。

Faithfulness（忠実性）は、生成された回答が、検索で取り出した文書の内容にどれだけ忠実か ー 文書に書かれていないことを勝手に補って答えていないか ー を測る指標です。この値が低い場合、AIが文書にない情報を推測して答える、いわゆる「幻覚（ハルシネーション）」が起きている可能性があります。

Answer Relevancy（回答の関連性）は、生成された回答が、そもそも質問にきちんと答えられているかを測る指標です。的外れな回答や、冗長で要点がぼやけた回答は、この値が低くなります。

指標が悪い時に疑うべき原因（検索側／生成側の対応表）

4つの指標のどれが低いかによって、次に見るべき場所が変わります。

• Context Precision・Context Recallが低い → 検索の取りこぼし・ノイズを疑う（検索方法・文書の区切り方を確認）
• Faithfulnessが低い → 幻覚（文書にない情報の補完）を疑う（プロンプトのガードレールを確認）
• Answer Relevancyが低い → 質問と回答のズレを疑う（質問の解釈・回答の組み立て方を確認）
• 全ての指標が高いのに現場の評判が悪い → 評価セットの質問が実際の利用シーンとズレている可能性

このように、4つの指標を見比べるだけで「どこから手を付けるべきか」の見当がつきます。RAGの精度改善を具体的な打ち手まで落とし込む方法は、以下の記事も参考になります。

参照記事：RAGの精度向上を実現する6つの手法

評価セット（QAペア）の作り方

RAGASで評価するには、評価の物差しとなる「評価セット」が必要です。

テスト質問と正解例を数十問用意する

評価セットとは、「こういう質問には、こう答えるのが正解」という質問と正解例のペア（QAペア）を集めたものです。べき論ではなく、正解の状態が定義されていなければ、AIにも人にも良し悪しの判断ができません。

最低限、数十問程度のQAペアを用意します。多ければ多いほど評価の信頼性は上がりますが、最初から完璧を目指す必要はありません。まず小さく作り、運用しながら質問を追加して育てていく前提で始めるのが現実的です。正解例を作る担当者が分からなければ、実際にその業務を担当している現場のメンバーに作ってもらうことも有効です。

現場の詰まりやすい質問を優先的に入れる

評価セットの質問は、実際にRAGを使う場面で聞かれやすい質問、特に過去に答えられなかった質問や、担当者が間違えやすいと感じている質問を優先的に入れます。網羅性よりも、業務で本当に困る質問をカバーできているかを重視してください。

型番や固有名詞を含む質問、複数の文書にまたがる質問、最新版と旧版が両方存在する状態での質問など、精度が落ちやすい典型パターンを意図的に含めておくと、評価セットとしての実用性が高まります。

ここまでの内容を踏まえて、自社のRAGにも評価の仕組みを取り入れたいと感じた方もいるでしょう。リベルクラフトでは、評価セットの設計からAI採点・人手スポットチェックの運用体制づくりまで、業務内容に合わせて伴走支援しています。過去のRAG構築案件で培った評価設計のノウハウを活かし、遠回りせずに「数字で語れるRAG」に近づけます。まずはどこから評価を始めるべきか、無料相談で一緒に整理しませんか。

⇨資料のダウンロードはこちら

評価を実務でどう回すか

評価セットを作った後は、それを一度きりの評価で終わらせず、継続的な改善サイクルに乗せる必要があります。

AIによる自動採点（LLM-as-a-judge）で量をこなす

評価セットの質問すべてを人が採点するのは現実的ではありません。そこで、RAG自身とは別のAIに採点させる「LLM-as-a-judge」という方法を使います。RAGASの各指標も、内部的にはこの仕組みで自動的にスコアを算出しています。AI採点なら、数十〜数百問の評価を安く速く回せるのが利点です。

人手のスポットチェックで採点のズレを補正する

一方で、AIによる採点も完全ではありません。採点役のAIと回答役のAIの性質が近いと、同じ種類の間違いを見逃しやすいという弱点があります。そのため、AI採点の結果の一部を人が抜き取って確認する「スポットチェック」を必ず併用します。AI採点で全体の傾向をつかみ、人の目で重要な誤りを見逃していないかを確認する、という役割分担です。

打ち手・データ更新のたびに再評価する

評価は一度やって終わりではありません。検索方法を変えた、文書を追加した、プロンプトを修正した ー こうした変更を加えるたびに評価セットで再評価し、指標が改善したか、あるいは意図せず別の指標が悪化していないか（リグレッション）を確認します。この繰り返しによって、精度は「なんとなく」ではなく数字の裏付けを持って育っていきます。

小さく始めて精度を育てる

最後に、評価を成果につなげるための進め方を扱います。

「最新版が確実な領域」に対象を絞る

「全社のあらゆる質問に対応するRAG」をいきなり評価しようとすると、対象文書が膨大になり、古い版や矛盾した情報も混じって、そもそも評価セット自体が作りにくくなります。現実的なのは、最新版が確実で、件数が多く、定型度が高い領域に絞って始めることです。特定製品のマニュアルQ&A、ある部署の規程・手続きなど、範囲を狭めることで評価と改善のサイクルを回しやすくなります。狭く始めるのは妥協ではなく、精度を出すための戦略です。

合格基準を先に数字で決めておく

評価を始める前に、「このカテゴリの正答率は何%以上を目指すか」「分からないときに正しく『分かりません』と答えられる率は何%以上か」といった合格基準を、数字で先に決めておきます。基準がないまま評価だけを行っても、その数字が良いのか悪いのか判断できず、次の投資判断につながりません。

あわせて、正答率などの技術指標だけでなく、問い合わせ削減時間や調べる作業の短縮時間といった業務効果と結びつけて報告すると、追加投資の社内承認も得やすくなります。RAGがPoCで止まる最大の原因は、モデルや検索の出来ではなく、対象・合格基準・評価の設計が抜けていることにあります。

まとめ

RAGの「精度が出ない」は、感覚ではなく数字で切り分けることが出発点です。RAGASのようなRAG専用の評価フレームワークを使えば、検索側（Context Precision・Context Recall）と生成側（Faithfulness・Answer Relevancy）を別々の指標で測り、どちらに問題があるかを判断できます。評価セット（QAペア）を用意し、AI採点と人手のスポットチェックを組み合わせて継続的に評価を回し、最新版が確実な領域から合格基準を決めて小さく始める ー この流れを押さえれば、RAGの精度改善を「なんとなく」から「数字で判断できる状態」へ引き上げられます。

ウェビナー資料（ホワイトペーパー）のダウンロード

本記事の内容は、ウェビナー「『精度が出ない』の前に確認する5つのこと：RAG構築で詰まる本当の理由」（2026年7月9日開催）でお話しした内容の一部です。RAGの精度が出ない原因を5つの観点（検索・チャンク分割・データ品質・取り込み範囲・プロンプト）に切り分ける方法や、精度を上げる具体的な打ち手を、当日の資料にまとめています。

⇨ウェビナー資料のダウンロードはこちら

RAGの精度評価・改善の相談は「リベルクラフト」へ

リベルクラフトでは、RAGの構築から精度改善、評価の仕組み化まで一気通貫でご支援しています。

「RAGを作ったが、精度が検索側と生成側のどちらに問題があるか切り分けられていない」「評価セットの作り方から相談したい」「PoCを本番運用に進めるための合格基準を一緒に設計してほしい」という方は、お気軽にご相談ください。

⇨リベルクラフトへの無料相談はこちら