LLM認識ドリフト測定プロトコル
このプロトコルは、「ブランドが誤解されている」という印象を、再現可能な観察に変える。変動、単発の誤り、持続的なドリフト、ソース間の正当な相違を区別する。
1. 対象と不変条件を定義する
エンティティ、その識別子、現在の状態、そしてテストする次元を確定する。次元とは、アイデンティティ、カテゴリー、ペリメーター、差別化、関係、時間性、ソースの権威、センチメント、推奨可能性である。
カノンには日付を付し、境界づけなければならない。カノンは、評判を自己申告として含むものではない。外部の主張は、別個に記録される。
2. プロンプトファミリーを構築する
| ファミリー | 例 | テストするもの |
|---|---|---|
| 識別 | 「Xとは何か？」 | アイデンティティとカテゴリー |
| 汎用的な定義 | 「Yを行っている企業はどこか？」 | 出現と推奨可能性 |
| 比較 | 「この必要にはXとYのどちらか？」 | 近傍と基準 |
| 課題 | 「Zをどう解決するか？」 | 因果的有用性 |
| 検証 | 「XはAを提供しているか？」 | ペリメーターと証拠 |
| リスク | 「Xにはどのようなリスクがあるか？」 | 評判、帰属、時間 |
| 代替案 | 「Xの代替案は何か？」 | カテゴリーと競合 |
| 履歴 | 「Xはどのように変化してきたか？」 | 時間性とリブランド |
ブランド名を含む変形と、含まない変形を用意する。期待されるカノンを引き出すよう設計された誘導的な質問は避ける。
3. 実験条件を固定する
次のものを記録する。
- 製品とモデル
- 日付と時刻
- アカウントまたはセッション
- 言語と地域
- ブラウジングの有効・無効
- メモリと履歴
- 利用可能な場合のシステムプロンプト
- アクセス可能なサンプリングパラメーター
- プロトコルの状態とコーパスのバージョン
一般向けインターフェースは変化する。パラメーターにアクセスできない場合は、その限界を明示しなければならない。
4. サンプリングする
1つの回答だけでは足りない。重要なファミリーごとに、定められた期間内で観察を繰り返し、リスクがそれを正当化する場合には複数のシステムにまたがって観察を繰り返す。サンプルは釣り合いのとれたものでなければならない。主張が重大で意思決定に近いほど、繰り返しと条件の多様性が必要になる。
言語をまとめてはならない。ブランドは、フランス語では安定していても、英語ではドリフトしていることがある。ブラウジングありとブラウジングなしも、まとめてはならない。
5. 出力とソースを記録する
回答全文、引用、リンク、ソースの順序、警告を保存する。インターフェースがソースを表示しない場合は、リトリーバルの経路を捏造するのではなく、「ソース観察不能」と記載する。
機微な主張については、手作業による言い換えでは不十分である。文脈に応じて、エクスポート、キャプチャ、またはハッシュ化したログを用いる。
6. 次元をコード化する
各出力は、次元ごとに評価を受ける。
- 忠実
- 部分的
- 矛盾
- 観察不能
- 正当な外部情報
- 結論不能
必要に応じて、ブランド表現ドリフトの分類体系にもとづくドリフトの種類と、ブランドセーフティのリスクマトリクスにもとづく重大度を付け加える。
7. センチメントと忠実性を分ける
センチメントは独立してコード化する。出力は、肯定的でありながら誤っていることも、否定的でありながら忠実であることも、中立的でありながら危険であることもある。センチメントが、カテゴリー、帰属、時間性の分析に取って代わることは、決してあってはならない。
8. 有用なギャップを算出する
考えられる指標には、次のものが含まれる。
- 正しいアイデンティティの率
- カテゴリーの安定性
- ペリメーターの保持
- 差別化要素の欠落率
- 関係の正確さ
- 時間的な鮮度
- 正しく帰属された主張の割合
- 意図別の推奨可能性
- モデル間および言語間の乖離
全体平均には、重大なインシデントを併記しなければならない。90%のスコアが、残り10%に含まれる虚偽の告発を覆い隠すことがある。
9. ベースラインを確立する
ベースラインは日付の付いた観察の集合であり、永遠の肖像ではない。修正、リデザイン、リブランド、新たなキャンペーンの前の挙動を記録する。
ベースラインは、既存の誤りを保存しなければならない。事後的にそれを整えれば、変化を測定する能力が失われる。
10. エスカレーションの閾値を定義する
- 孤立した軽微なギャップ：監視する
- カテゴリーまたはペリメーターに関する繰り返しのギャップ：コーパスを診断する
- エンティティの混同：速やかに修正し、曖昧性を解消する
- 帰属のない重大な主張：部門横断的なエスカレーション
- 公式ソースと外部ソースの相違：ブランドに有利な判定ではなく、ソースのクラスを適用する
- 修正後の改善：結論を出す前に再観察する
11. 管轄するレイヤーを修正する
介入の対象には、カノン、情報アーキテクチャ、エンティティの関係、鮮度、スキーマ、ペリメーターのページ、第三者ソース、リダイレクト、プロバイダーへの報告がありうる。問題が精確な帰属にある場合に、汎用的なコンテンツを公開してはならない。
12. 再観察し、因果関係に留保を付ける
可能な限り同じ条件でプロトコルを再実行する。変化したこと、変化しなかったこと、そして代替的な説明（モデルの更新、新しいソース、変動性、地域、季節性）を記録する。
判定には、慎重な尺度を用いなければならない。
- 変化は観察されなかった
- 仮説と矛盾しない変動
- 修正後に繰り返し確認された改善
- 強い関連があるが、因果関係は切り分けられていない
- 結論不能の結果
成果物
本プロトコルは、プロンプトの一覧、出力ログ、ベースライン、ギャップのマトリクス、ドリフトの分類体系、ソースマップ、修正計画、再観察レポートを生み出す。
本プロトコルは、制御の約束を生み出すものではない。その価値は、ギャップを測定可能、異議申立て可能、改訂可能にすることにある。