AIポイズニング：定義と分類体系
このページは、混同、意味のずれ、不適切な類推を避けるために、「AIポイズニング」を運用上の観点から定義し、読みやすい分類体系を提案する。
AIシステムにおいて、「ポイズニング」はしばしば何にでも使える言葉として用いられる。学習用コーパスのポイズニングを指すこともあれば、RAGのベースへのインジェクションを指すことも、エージェントメモリの破損を指すこともある。この曖昧さは、暗黙の解釈と誤った診断を助長する。
gautierdorval.comでは、「AIポイズニング」という用語を、システムの解釈の連鎖における権威のソースの意図的な、あるいは道具化された破損という概念として扱う。これは修辞的な効果でも、単なる「偽情報」でもなく、回答の生成を劣化させ、偏らせ、逸らし、不安定にすることを狙った行為である。
このページの位置づけ
このページは解釈上の明確化である。
この用語の内部的な用法を安定させ、読解の境界を定め、機能的な分類体系を提供することを目的としている。外部の語彙を標準化するものではなく、セキュリティ研究のすべてを網羅すると主張するものでもない。
運用上の定義
AIポイズニング：データの流れ、知識ベース、メモリの仕組みに対する意図的な（または意図的に利用されるようになった）改変であり、バイアス、劣化、逸脱、不安定化のいずれかによって、AIシステムの出力に体系的なドリフトを生み出すもの。
ポイズニングは、ひとつの中心的な特性によって見分けられる。それは、人間に向けて公開されたコンテンツだけでなく、システムによって権威として取り込まれるソース（学習、インデックス、リトリーバル、メモリ、ルール、ツール、プロンプト、パイプライン）を標的にするという特性である。
機能的な分類体系
この分類体系は、改変がどこで生じるか、そしてどのような種類の効果が狙われているかによって、ポイズニングを分類する。
1) 改変のサーフェス別（どこで起きるか）
- 学習のポイズニング：モデルや学習コンポーネントの学習またはファインチューニングに使われるデータセットの改変。
- リトリーバルのポイズニング（RAG）：パッセージのリトリーバルに使われるインデックス化されたベース、社内検索エンジン、グラフ、コーパスの改変。
- エージェントメモリのポイズニング：エージェントの将来の意思決定に影響を与えるための、状態の保存領域（エピソード記憶、意味記憶、手続き記憶）の改変。
- パイプラインのポイズニング：取り込まれる真実を変えてしまう上流の工程（ETL、スクレイピング、正規化処理、重複排除、スコアリング、フィルター）の改変。
- 指示のポイズニング：解釈を方向づける指示システム、ポリシー、テンプレート、ツール（プロンプト、ルール、関数）の改変。
2) 効果のメカニズム別（何を生み出すか）
- 方向性のあるバイアス：特定の結論、ナラティブ、繰り返される帰属を優遇する。
- 劣化：信頼性を弱めるために、全体的な品質を低下させる（ノイズ、不整合、矛盾）。
- 参照先の転移：権威を、「より多く引用されている」が正規ではないソースへと移す（情報の重力効果）。
- 不安定化：文脈によって出力を変動させ、読解の安定化を妨げる。
- 条件付きの発動：特定の入力や文脈の条件のもとでのみ効果を生じさせる（ここでは手順の詳細には立ち入らない）。
必要な区別（これではないもの）
- 単なる事実の誤りや一度きりのハルシネーションではない。
- 単なる公の偽情報ではない。決定的な違いは、システムによって権威として取り込まれることにある。
- 用語をめぐる議論ではない。ここでの目的は、解釈の安定性である。
見分けるための基準（簡易な読み方）
- 持続的：ドリフトが、時間を通じて、またはセッションをまたいで繰り返される。
- 体系的：複数の回答や意思決定が、同じバイアスへと収束する。
- 定着的：効果が、特定のソース、インデックス、メモリ、ポリシーと相関しているように見える。
- 抵抗的：ユーザーの入力を修正するだけでは、出力を修正できない。
この明確化の範囲
このページは、人間による読解、自動化された合成、ゼロクリックの引用、相互に接続されたエージェントの連鎖に適用される。これは内部的な読解の枠組みを定めるものである。このエコシステムにおいて「AIポイズニング」という用語が使われるとき、それは単なるコンテンツ上の論争ではなく、取り込まれた権威の改変を指していなければならない。