マトリクスの役割
解釈の変動性マトリクスは、通常の言い回しの変動と、エンティティの理解を変えてしまう変動とを区別する。
マトリクスそれ自体が公開スコアを生み出すわけではない。判定のための枠組みを提供する。どの軸が変動しているか、どの出力が実質的に変化しているか、そしてどの証拠によってその変動を許容可能、脆弱、問題ありと呼べるかである。
最小限の軸
1. リトリーバルの軸
引用される、または活性化されるソースは、文脈によって変わるか？ソースの重なりが小さいことは、回答がリトリーバルレイヤーに強く依存していることを示す。
2. 選択の軸
同じソースが存在しているのに、その一部が無視されたり、格下げされたり、二次的なソースに置き換えられたりしていないか？
3. 表現の軸
エンティティは、同じ役割、カテゴリー、限界、証拠を保っているか？
4. 推奨の軸
エンティティは、単に言及されているだけか、実際に推奨されているか、最初に推奨されているか、それとも競合に置き換えられているか？
5. 言い回しの軸
クエリの言い換えによって変わるのは、回答のスタイルだけか、それとも回答の実質か？
6. システム横断の軸
システム同士は両立可能な読み方を生み出しているか、それとも同じエンティティについて競合するバージョンを安定化させているか？
7. 時間の軸
変動は一時的か、繰り返し生じるものか、進行的なものか？
8. 地域または文脈の軸
変動は、特定のテスト環境、地域、言語、セッション状態においてのみ現れるか？
9. 配信とキャッシュの軸
観察された出力は、新規の生成、ルーティングされた回答、キャッシュされた回答、承認済みの回答、以前のリトリーバル状態、目に見えないオーケストレーション経路のいずれに由来するのか？
この軸は、安定性と忠実性の混同を防ぐ。呼び出しをまたいで同一の回答は、堅牢な解釈を示している可能性もあるが、配信レイヤーへの固定を示している可能性もある。
判定
観察は、少なくとも次のいずれかの状態に分類されなければならない。
- 安定：意味のずれを伴わないスタイルの変動。
- 脆弱：細部は変動するが、カノンはなお認識可能。
- 不安定：カテゴリー、証拠、推奨可能性がずれている。
- ドリフト：ベースラインまたはカノンとの、判定済みの矛盾。
- 結論不能：証拠の不足、弱いサンプル、または管理されていない文脈。
- 固定：変動が配信レイヤーによって取り除かれたように見えるが、繰り返される回答がモデルの現在のネイティブな挙動を反映していることを示す十分な証拠がない。
証拠のルール
単一のテストでは不十分である。堅牢な結論は、クエリ、システム、言語、文脈、日付、引用されたソース、生の出力、使用したベースライン、判定の理由を明示しなければならない。
これらの要素がなければ、変動性は逸話にとどまる。これらの要素があれば、変動性は解釈の可観測性の対象となる。
出力が異常に反復的である場合、証拠はさらに、モデルによるネイティブな再構成と、アプリケーションによって配信された再構成とを区別しなければならない。