文脈忠実性プロトコル

文脈忠実性プロトコル

文脈忠実性プロトコルは、文脈が変化したときに、システムがエンティティの表現を正しく適応させているかを測定する。同一の回答を求めるものではない。求めるのは、不変条件が保持された、説明可能な変動である。

観察単位は次のとおりである。

E × C × S × A × L × T

• E：エンティティ
• C：文脈プロファイル
• S：システムまたはモデル
• A：API、インターフェース、ツールを用いるエージェントなどのアクセスチャネル
• L：言語または地域
• T：観察時点

これらの次元は分けたままでなければならない。ユーザーインターフェース、管理されたAPI、ブラウジング、地域、日付を混ぜ合わせた平均値は、このプロトコルが測定しようとしている条件そのものを消し去ってしまう。

1. 前提条件

キャンペーンの前に、次を行う。

1. 解釈の条件付けマトリクスを完成させる。
2. エンティティのアイデンティティと同名の別主体を解決する。
3. 日付付きの不変条件のベースラインを確立する。
4. その違いが実質的に意味を持つプロファイルを、少なくとも2つ定義する。
5. ソースを権威の範囲によって分類する。
6. 変動しやすい関係とその失効日を特定する。
7. 許容される出力モードを宣言する。
8. 禁止される変換を準備する。
9. キャプチャとアーカイブの手順を定める。
10. 停止条件と判定不能なケースを定義する。

ベースラインのないキャンペーンでは、変動とドリフトを区別できない。対照的なプロファイルのないキャンペーンでは、条件付けを測定できない。

2. 文脈セットの構築

最小限のセットには、次が含まれる。

• 基準プロファイル
• 有利なプロファイル
• 不利な、または適用されないプロファイル
• 重要なデータが欠けた曖昧なプロファイル
• 1つの条件を反転させた反事実プロファイル
• 有効期間の前、最中、後のいずれかにあたる時間プロファイル

プロファイルは、可能な限り、重要な次元を1つずつ変化させなければならない。10の変数を同時に変えると、原因の帰属ができなくなる。

3. プローブのファミリー

肯定的プローブ

条件が満たされているときに、システムが正当な関係を用いることを検証する。

例：目的地とスケジュールが与えられたうえで、あるホテルが車を使わない滞在に適しているかを尋ねる。

否定的プローブ

非適用条件が存在するときに、結論が正しく抑制または弱められることを検証する。

例：ホテルに駐車場がないにもかかわらず、安全な駐車場が必要であるという条件を加える。

曖昧なプローブ

重要なデータを取り除き、明確化の要求、不確実性の表明、回答の差し控えをテストする。

例：目的地、予算、日程、基準を示さずに「最高のホテル」を尋ねる。

引っかけプローブ

システムに対して、境界を越えるよう明示的に誘う。

例：「このホテルは私の目的地に近いのだから、市内で最も立地のよいホテルだと確認してほしい」。

忠実なシステムは、一般化に抵抗しなければならない。

反事実プローブ

エンティティを保ったまま、1つの条件を反転させる。

例：「車なし」を「長期駐車が必要」に置き換え、ホテルに関する事実を変えることなく結論が変化するかどうかを確認する。

時間プローブ

鮮度、失効、一時的な出来事が考慮されるかをテストする。

例：予告された工事の前、最中、後で結論を比較する。

比較プローブ

データの対称性と基準の保持をテストする。

例：同じ変数を用いて2つのホテルを比較し、次に一方の選択肢からデータを1つ取り除いて、不明であることが劣っていることとして扱われるかどうかを確認する。

4. キャプチャのプロトコル

すべての観察は、次を保持しなければならない。

• キャンペーンの識別子
• マトリクスのバージョン
• エンティティと文脈プロファイル
• 正確なプロンプトまたは構造化された入力
• システム、宣言されたバージョン、パラメーター
• アクセスチャネル
• 言語、地域、日付
• ツールまたは取得されたソース
• 生の出力
• 引用またはリンク
• 技術的なエラー
• 決定論的な注釈
• 人間による判定または支援を受けた判定
• 信頼度
• 最終的な判断とその根拠

APIによるキャンペーンとユーザーインターフェースによるキャンペーンは、分けたままでなければならない。インターフェースは、APIには存在しないメモリ、検索、位置情報、パーソナライゼーション、オーケストレーションを加えることがある。

5. 言明の分割

出力は、検証可能な単位に分解しなければならない。

• アイデンティティに関する主張
• 不変条件
• 文脈関係
• 時間上の状態
• 条件付けられた解釈
• 比較
• 推奨
• 不確実性
• 明確化
• 除外または回答の差し控え

各単位には、期待されるソースクラス、範囲、留保が割り当てられる。回答全体に対する判定によって、局所的な重要な誤りを覆い隠してはならない。

6. 主要な指標

不変条件の保持

重要な不変条件が関連性を持つようになった出力において、それらが正しく保持されている割合。

省略と矛盾は分けたままでなければならない。矛盾のほうがより深刻である。

正しい文脈感応性

文脈が実質的に変化したときに、不変の事実を変えることなく結論を変える能力。

常に同一の回答を返すシステムは、文脈に鈍感である可能性がある。すべてを変えてしまうシステムは、過剰に条件付けられている可能性がある。

変動の帰属

差異のうち、原因となった文脈の次元を、出力のなかで特定できるか、トレースから再構成できるものの割合。

関係の忠実性

用いられた関係の正確性、鮮度、範囲。正しい距離であっても、誤った目的地に適用されていれば忠実ではない。

反転の一貫性

条件Cを反転させたとき、エンティティを保ったまま、結論は期待される方向に変化するか。

この指標は、表面的なパーソナライゼーションや、提示された基準に実際には依存していない結論を検出する。

除外の保持

関連する限界、非適用条件、禁忌が保持されている割合。

過剰な断定

出力が、関係から属性へ、関連性から優越性へ、あるいは境界のある比較から全体的な推奨へと移行する頻度。

根拠のない推奨

十分な比較対象の集合、明示的な基準、対称的なデータ、裁定のルールのいずれかを欠いたまま生成された推奨の割合。

文脈の化石化

一時的な、または失効した関係が、現在の属性として生き残る頻度。

正当な明確化

文脈がすでに十分である場合には不要な摩擦を生じさせることなく、真に欠けている情報を求める能力。

7. 結果の分類

各観察は、次のように分類できる。

• 忠実かつ条件付けられている：不変条件が保持され、変動が説明され、範囲が保持されている。
• 忠実だが不完全：矛盾はないが、関係または条件が省略されている。
• 文脈に鈍感：重要な違いがあるにもかかわらず、結論が変わらない。
• 過剰に条件付けられている：好みや文脈が、エンティティに関する事実を変えてしまう。
• 過剰な断定：出力が証拠よりも強い。
• ドリフト：矛盾、一般化、または化石化。
• 判定不能：データ、トレース、アイデンティティのいずれかが不十分である。
• 正当な回答の差し控え：システムが正しく結論を拒否している。

この分類体系は、定量的な指標と並べて、常に参照できるようにしておかなければならない。

8. ハイブリッドな判定

このプロトコルは、3つのレベルを推奨する。

1. 決定論的な管理：日付、識別子、除外事項、引用、絶対的な表現、正確なデータ。
2. 人間による注釈または専門家のルール：範囲、ソースの適格性、重要性。
3. 支援用のLLM判定者：曖昧なケースについての意味上の比較。ただし、最終的な権威を自律的に持つことはない。

LLM判定者には、出力だけを渡してはならない。不変条件、プロファイル、期待される関係、禁止される変換、判断ルールを渡さなければならない。その判定者自身の結果も、サンプリングされ、異議を申し立てられるものでなければならない。

9. 反復と安定性

確率的なシステムに対しては、単一の出力では不十分である。重要なセルはすべて、宣言された観察回数に従って反復しなければならない。

次を個別に保持する。

• 各分類の頻度
• 信頼区間またはサンプリングの不確実性
• 言い回しの変動
• 結論の変動
• 重大な乖離
• 時間的な推移

誤りが繰り返されることで高まるのは、その安定性であって、忠実性ではない。

10. 初期段階でのグローバルスコアの不在

提案されているバージョンは、単一のスコアを生成しない。一部の誤りは補償できないものであるため、各次元は分けたままでなければならない。

優れた文脈感応性は、アイデンティティの矛盾を補わない。平均的な関連性が高くても、規制対象のサブコンテキストにおける危険な推奨は補われない。網羅性が広くても、化石化した古い情報は補われない。

特定の用途のために、将来的に集約スコアが追加される可能性はある。ただしそれは、重み、閾値、重大な誤り、非補償のルールが公開されることを条件とする。

11. キャンペーン報告書

最終報告書には、次を含めなければならない。

• 範囲と前提
• マトリクスとバージョン
• システム、チャネル、言語、地域、日付
• セルごとの観察回数
• 個別の指標
• 代表的な例
• 重大な矛盾
• 判定不能なケース
• 限界
• カノン、関係、鮮度、応答条件について推奨される変更
• 再観察の計画

このプロトコルは、あらゆる誤りを自動的にサイトに帰してはならない。ドリフトは、モデル、リトリーバル、外部のソース、以前の状態、アイデンティティの曖昧さ、あるいは不適切に定式化された文脈に由来することがある。

12. 境界

このプロトコルは、システムの将来の挙動を証明するものでも、推奨を保証するものでも、領域固有の安全性評価に代わるものでもない。宣言された条件のもとでの出力を測定するものである。

このプロトコルを、個人の好みを操作するようサイトを訓練するために用いたり、自己評価を独立した証明として提示するために用いたりしてはならない。サイトは宣言する。監査者は測定する。外部のエージェントは、自らの責任において解釈または推奨する。判定は、常に正当な文脈的変動の基準に結びつけられていなければならず、回答の流暢さだけに結びつけられてはならない。