RAGポイズニング:コーパス汚染と解釈ドリフト
このページは、RAGポイズニングを、取り込まれる権威を変質させ、解釈ドリフトを引き起こすリトリーバル用コーパスの汚染として定義する。
RAG(検索拡張生成)のアーキテクチャは、「モデルだけで」回答するわけではない。モデルとリトリーバルシステム、すなわちインデックス、埋め込み、検索エンジン、文書ベース、フィルター、ランキングのルール、コンテキストの組み立てによって回答する。この枠組みでは、攻撃対象領域は指示(プロンプト)に限られない。システムが引用し、要約し、あるいは参照として扱う素材も含まれる。
gautierdorval.comでは、RAGポイズニングは「AIポイズニング」の特殊な事例として扱われる。すなわち、解釈の連鎖において権威として取り込まれるソースの変質であり、偏った回答、不安定な回答、あるいは歪められた回答を生み出すものである。
このページの位置づけ
このページは解釈上の明確化である。
「RAGポイズニング」という用語を、通常のリトリーバルの誤り、単なる公開の偽情報、プロンプトインジェクション攻撃と区別することで、その内部的な用法を安定させることを目的とする。
運用上の定義
RAGポイズニング:コンテキストのリトリーバルに使われるインデックス化されたコーパス(文書、断片、メタデータ)を、取り込まれる権威をずらす、想起を偏らせる、あるいは出力を体系的に変質させる断片を注入する目的で、意図的に、または道具的に汚染すること。
中心となる特性は次のとおりである。汚染されたコンテンツは単に目に見えるだけではなく、取り込まれ、インデックス化され、その後、回答の中でコンテキストとして想起される。これによって、暗黙の権威の序列が与えられる。
コーパス汚染:実際に狙われるもの
RAGアーキテクチャにおいて、攻撃が「モデル」を狙うことはまれである。攻撃はコーパスとその選択の仕組みを狙う。
- ソースとなるコンテンツ(ページ、文書、メモ、データベース、チケット)
- セグメンテーション(チャンク)とコンテキストの境界
- 埋め込みと意味的類似性
- ランキング(何が最初に浮上するか)
- フィルターと選択ポリシー
- 重複排除、正準化、ノーマライゼーション
汚染が成功すると、システムが読みうるものだけでなく、システムが「関連性がある」とみなすものが変わる。
最小限の類型(効果の仕組み)
- 参照のすり替え:正規でないソースを、より権威があるかのように浮上させる。
- 方向性のある偏り:回答を、特定のナラティブや繰り返される帰属へと誘導する。
- 想起の不安定化:クエリ、セッション、表現によって矛盾を生じさせる。
- 断片による汚染:多くの主題に付着する「もっともらしい」チャンクを注入する。
- 劣化:全体的な信頼性を低下させ、推論の余地を広げるための意図的なノイズ。
必要な区別(これが該当しないもの)
- リトリーバルが不十分であることは、自動的にポイズニングであるわけではない。弱いインデックス、不適切に分割されたチャンク、不適切なランキングである可能性もある。
- 誤解を招く公開ページは、システムによってコンテキストとして取り込まれ、想起されないかぎり、ポイズニングではない。
- プロンプトインジェクションは指示を狙う。RAGポイズニングは、権威のソースとして想起される素材を狙う。
間接インジェクションとの関係
間接インジェクションとRAGポイズニングは、しばしば組み合わされる。
- 間接インジェクションは、処理されるコンテンツ(例:要約)を通じて敵対的な指示を通そうとする。
- RAGポイズニングは、その汚染されたコンテンツを多くのクエリにとって「関連性がある」ものにすることで、繰り返し想起させようとする。
その場合、問題はもはや一時的なものではない。持続的かつシステム全体にわたるものになる。
この明確化の範囲
このページは、人間による読解、自動化された要約、ゼロクリックの引用、相互接続されたエージェントのチェーンに適用される。このページは、原則としての明確化として解釈されなければならない。RAGにおいて、権威のガバナンスは、指示の制御と同じくらいコーパスのガバナンスを通じて行われる。