「根拠あり / 矛盾 / 無関係」の三段階で RAG の回答を毎回チェックする：Jev AI 日本語トップページの RAG 評価カードを読む
Ella Moore（jev-ai[.]org チームのために執筆）。本稿は 2026 年 11 月 15 日（Asia/Shanghai）に閲覧した公開日本語トップページの記述にもとづきます。設計例は筆者の提案であり、ページが保証する内容ではありません。
RAG（検索拡張生成）を運用していると、いちばん困るのは「答えはもっともらしいが、検索した文書には書いていない」ケースです。人が全件を読むわけにはいかず、サンプリングで確認するしかない、というチームも多いと思います。Jev AI の日本語トップページには、この問題にそのまま向けたカードが 1 枚あります。「RAG 評価」です。この記事では、カードの文言を一行ずつ読み、どう組み込むかを考えます。
カードに書かれていること
「Jev AI API で作られているもの」というセクションの 3 枚目がそのカードです。本文は次の一文です。
回答が検索結果に基づいているかを判定します。低コストなので、すべてのクエリで実行できます。
その下に 3 つの要点が並びます。
- 根拠あり / 矛盾 / 無関係
- 段階ごとの確率
- 32K コンテキスト
セクションの冒頭には、各ガイドが「解決したい課題、Jev AI に投げる質問、そのまま動くリクエスト、1 回あたりのコスト」を解説している、とあります。
二択ではなく三段階であることの意味
「根拠があるかどうか」を判定すると聞くと、はい/いいえの二択を想像しがちです。しかしカードが挙げているのは三段階です。この違いは実務では大きいと思います。
- 矛盾：検索した文書と回答が食い違っている。いちばん危険で、ユーザーに出す前に止めたいケースです。
- 無関係：回答が検索結果とは別の話をしている。検索の段階で外れた文書を拾っている可能性があり、直すべき場所は生成ではなく検索側かもしれません。
- 根拠あり：回答が文書に支えられている。
二択だと「矛盾」と「無関係」が同じ「いいえ」にまとまってしまい、どちらを直すべきかが分かりません。三段階なら、止める回答と、検索を見直す回答を分けられます。
「段階ごとの確率」が使える理由
トップページは回答タイプの説明で、スコア型を「自分で定義した順序付きの尺度上の位置」とし、答えが段階と段階の間に来ることもあると説明しています。さらに、すべての答えに確率と確信度が付くので、「明確なケースは自動化し、それ以外は人がレビューできます」と書いています。
RAG 評価に当てはめると、たとえば次のような運用が考えられます（筆者の例です）。
- 「矛盾」の確率がはっきり高い回答は、ユーザーに出さずに差し戻す。
- 「根拠あり」がはっきり高い回答はそのまま出す。
- どちらとも言えない回答だけを人のレビュー待ちに回す。
閾値をどこに置くかはページには書かれていません。ページの言葉どおり、それは自分のコードで決めることです。
「すべてのクエリで」が現実的かどうか
カードの「低コストなので、すべてのクエリで実行できます」という主張は、同じページの別の記述と合わせて読むと根拠が見えます。課金は入力トークンのみで出力は無料、TypeSafe によると 100 万トークンあたり約 $0.042。判断の速さは上流の中央値で約 0.22 s。さらに、1 つの入力に最大 20 個の型付き質問を投げても入力トークンの課金は 1 回分です。
つまり、根拠チェックに加えて「回答は質問に答えているか」「個人情報を含んでいないか」といった確認を同じリクエストにまとめても、入力の課金は 1 回で済みます。
32K コンテキストの読み方
「32K コンテキスト」は、検索した文書と回答をまとめて一度に渡せる量の目安です。カードに書かれているのはこの数字だけで、超えた場合の挙動や単位の詳しい定義はトップページにはありません。長い文書を多く検索するパイプラインでは、まずドキュメントでこの点を確認するのが先です。
ページが答えていないこと
トップページには、RAG 評価の精度を示す数値や、人手評価との一致率は載っていません。三段階の判定がどの程度信頼できるかは、自分のデータで確かめる必要があります。
RAG 評価のカードとガイドは Jev AI の日本語トップページにあります。ユースケースのタブには「引用チェック」もあり、同じ Jev AI Website のプレイグラウンドで実際の文書と回答を貼って試せます。
Write a comment