GEO施策の因果帰属プロトコル

プロトコルのステータス

この文書は評価手法を提案するものである。成果の約束でも、普遍的な認証でも、採用された業界標準でもない。

その目的はより限定的である。GEO施策の後に観察された変化が、その施策によって引き起こされた効果として自動的に提示されることを防ぐことである。

このプロトコルは、GEOにおける因果帰属には反実仮想が必要であるという立場を運用に落とし込み、GEO指標は表現を統御しないを補完する。

1. 二つの因果的な問いを分けることから始める

研究は、次の二つの対象を決して一つにまとめてはならない。

1.1 オープンウェブにおける可視性への効果

第一の問いは次のとおりである。

施策は、オープンウェブで観察される生成された回答の中に、エンティティ、ドメイン、ページ、またはソースが現れる確率を、どの程度変化させたか？

考えられる結果指標には、次のものがある。

• エンティティの出現率
• ドメインの引用率
• 正規ソースの選択
• 明示的に定義されたパネル内でのシェア・オブ・ボイス
• 意図のクラス内での出現
• 出現の順序または目立ち方

この対象は、外生的な変化に強くさらされている。インターフェースの普及、回答サーフェスの展開、モデルの変更、引用ポリシー、クエリの構成、競合、季節性、パーソナライズである。

1.2 統制された環境における再構成の忠実性への効果

第二の問いは次のとおりである。

文書レイヤー、ガバナンスファイル、またはランタイムは、統制された条件の下で導入されたとき、再構成の忠実性をどの程度向上させるか？

考えられる結果指標には、次のものがある。

• 重要な属性の正確さ
• 除外の保持
• エンティティ間の関係の保持
• ソースクラスの遵守
• 許可されていない推論の減少
• 言い回し、言語、反復をまたいだ安定性
• 重大な誤りの発生率

ここで測定された改善は、テストされた設定の範囲内での忠実性についての証拠である。それは、ChatGPT、Gemini、Perplexity、Google AI Overviews、その他のオープンなサーフェスにおける可視性の向上を自動的に証明するものではない。

2. 測定の前にエスティマンドを定義する

エスティマンド（推定対象）とは、研究が推定しようとする正確な効果である。エスティマンドは、施策後の観察の前に定式化されなければならない。

適格な定式化では、少なくとも次の事項を明示する。

• 施策の影響を受ける単位
• 施策とそのバージョン
• 主要な結果指標
• 施策を行わない場合の比較対象
• 期間
• システムとモデル
• 言語と地域
• クエリまたはプロンプトのパネル
• 結論を一般化しうる母集団

オープンウェブの例：

事前登録されたフランス語の商業クエリのパネルにおいて、再構成された正規コーパスを公開したことがドメインの引用率に及ぼす8週間の平均効果。比較対象は、変更を加えていない類似ページの群とする。

統制された忠実性の例：

ソースコーパス、プロンプト、モデル、パラメーター、反復を一定に保ったうえで、バージョン管理されたガバナンスファイルとランタイムを追加したことが、再構成の忠実性スコアに及ぼす平均効果。

「AI可視性を向上させる」と宣言するだけの研究は、エスティマンドを定義していない。定義しているのは、商業上の野心である。

3. 観察単位を固定する

観察は、不透明な平均値としてではなく、キューブとして表現しなければならない。

E × I × P × S × A × L × T

ここで、

• Eは、エンティティ、ページ、または露出の対象となる単位
• Iは、施策とそのバージョン
• Pは、プロンプト、クエリ、または意図ファミリー
• Sは、システム、製品、モデル
• Aは、アクセスチャネル（インターフェース、API、ブラウジング、リトリーバル、エージェント）
• Lは、言語、地域、ローカル設定
• Tは、時間（日付、時刻、観察期間を含む）

これらの次元を明らかにしない「AIシェア・オブ・ボイス」の指標は、再現、診断、本格的な帰属のいずれも支えることができない。

4. 施策と結果指標を事前登録する

施策後の期間が始まる前に、次の事項を記録する。

• 主要な仮説
• 主要エスティマンド
• 副次的な結果指標
• プロンプトパネルの全体、またはそれを生成するルール
• 処置単位と対照単位
• 収集期間
• 予定している除外
• 採点方法
• 感度分析
• 判定基準

事前登録は、最も好ましい曲線を生むプロンプト、モデル、日付を事後的に選ぶことを防ぐ。

その後のあらゆる変更は、修正として記録し、確証的な分析から切り離さなければならない。

5. 施策を凍結し、記録する

GEO施策はラベルではない。観察可能な行動の、バージョン管理された集合として記述しなければならない。

記録には、次のものを含めなければならない。

• 作成、変更、統合、リダイレクト、削除されたURL
• コンテンツ、アーキテクチャ、エンティティ、構造化データの変更
• 実際に公開されたガバナンスファイルまたは機械向けサーフェス
• 利用可能になった日付、インデックス可能になった日付、伝播の日付
• 内部リンクと正規URLの変更
• 既知の外部での施策
• 同時期のキャンペーン、広報活動、知名度の上昇
• テストされたランタイムまたはコーパスのバージョン

この記録がなければ、「処置」は定義されないままであり、その効果を切り分けることはできない。

6. 使えるベースラインを確立する

ベースラインとは、開始前日に取得された一つの数値ではない。施策前の水準、トレンド、変動性を記録しなければならない。

ベースラインは、理想的には次のものを含んでいなければならない。

• 複数の観察期間
• 施策後の期間と同じ単位、プロンプト、システム、言語、チャネル
• ばらつきを推定するのに十分な反復
• 既知のモデルの障害や変更
• 対照単位の挙動
• 関連する季節的なトレンド

短いベースラインは、記述的なスナップショットとしては役立ちうる。しかし、それが魔法のように反実仮想になるわけではない。

7. 反実仮想を構築する

反実仮想とは、施策がなかった場合におそらく起きていたであろうことを表すものである。完璧なデザインは存在しないが、単純な前後比較よりもはるかに信頼できるデザインはある。

7.1 対照群を伴うランダム割り付け

可能であれば、類似したページ、エンティティ、市場、コーパス、または単位を、処置と対照にランダムに割り付ける。

これは、観察される要因と観察されない要因の釣り合いをとるうえで最も強力なデザインである。ただし、サンプルが十分に大きく、実施が安定しており、群間の汚染が限定的であることが条件となる。

7.2 段階的展開と差分の差分法

施策が比較可能な単位に異なる時期に展開される場合、処置群の変化を対照群の変化と比べて測定する。

DiD効果 = (Y処置群・事後 − Y処置群・事前) − (Y対照群・事後 − Y対照群・事前)

このデザインでは特に、処置前の平行トレンドの仮定が信頼できること、そして処置の日付による効果の異質性を慎重に扱うことが求められる。

7.3 マッチングによる対照または合成コントロール

処置を受ける単位が少ない場合、施策前の挙動が似ている未処置の単位から比較対象を構築する。

合成コントロールは、複数の対照単位を組み合わせて、処置単位のそれまでの軌跡を再現することができる。その場合、施策前の当てはまりとプラセボテストが不可欠になる。

7.4 対照付きの分断時系列

施策が明確な日付に行われ、多くの時点の観察が利用できる場合、水準と傾きの変化を推定する。理想的には、露出していない比較系列との対比で推定する。

このデザインでは、自己相関、季節性、同時期の施策、そして分断の時点と重なる出来事を考慮しなければならない。

7.5 統制された条件下での対応のあるテスト

解釈ガバナンスを評価するには、同じタスクを次の二つの条件で比較する。

• ガバナンスレイヤーのないコーパスまたはランタイム
• バージョン管理されたガバナンスレイヤーを備えたコーパスまたはランタイム

モデル、プロンプト、パラメーター、ツール、ソース文書、言語、反復、評価ルールは一定に保つ。

対応のある忠実性の効果は、次のように表せる。

ΔF = Fガバナンス下 − Fガバナンス外

この結果が測定するのは、テストベッドにおける効果である。これを「市場での可視性の向上」と言い換えてはならない。

8. 代表性のあるプロンプトパネルを保持する

パネルは、好ましい言い回しを都合よく集めたリストによってではなく、意図ファミリーによって定義しなければならない。

対象に応じて、パネルは次のものを含むべきである。

• 直接的な識別
• カテゴリーの定義
• ブランド名を含まないソリューション検索
• 比較
• 属性の検証
• 範囲と除外
• 経緯と鮮度
• 評判とリスク
• 曖昧なバリエーションまたは敵対的なバリエーション
• 関連する言語と地域

パネルの出所を記録する。検索データ、インタビュー、利用ログ、商業クエリ、ユーザーリサーチ、専門家による構築などである。

プロトコルは分母を保持しなければならない。適格な回答の数、テストしたクエリ、アクセス条件を示さずに「30件の引用」と公表しても、信頼できる解釈は何も支えられない。

9. 出力と条件を記録する

各観察について、少なくとも次の事項を保持する。

• 研究の識別子
• 単位の識別子
• 処置か対照かの区分
• 施策のバージョン
• 正確なプロンプトと意図ファミリー
• システム、製品、モデル、観察可能なバージョン
• 日付、時刻、言語、地域、アクセスチャネル
• ブラウジングまたはリトリーバルの有無
• 判明している場合は、セッション、メモリ、パーソナライズの状態
• 回答の全文
• 引用、URL、順序、関連する抜粋
• 拒否、警告、無回答の状態
• 次元ごとのスコアとその根拠
• 評価者の身元、または採点システムのバージョン
• リスクが正当化する場合は、フィンガープリントまたは記録の完全性を担保する仕組み

パラメーターが観察できない場合は、それを推論するのではなく、「観察不能」と記録する。

10. 異なる現実を圧縮せずに測定する

10.1 可視性の結果指標

記述的な結果指標には、次のものが含まれうる。

• 適格な回答あたりの言及率
• ドメインの引用率
• 正規ソースの引用率
• 分母を公表したうえでのシェア・オブ・ボイス
• 意図ファミリーごとのカバレッジ
• 目立ち方または出現順
• 定義されたニーズに対する推奨の確率
• ソースの多様性と集中度

10.2 忠実性の結果指標

再構成の結果指標には、次のものが含まれうる。

• 正しいアイデンティティの率
• カテゴリーの正確さ
• 範囲の保持
• 重要な属性の正確さ
• 除外の保持
• 関係の正確さ
• 時間的な鮮度
• 正しい帰属の率
• 許可されていない推論の率
• 重大な誤りの発生率
• カノンと出力のギャップ
• プロンプト間、モデル間、言語間、時間的な安定性

10.3 ガバナンス可能性の結果指標

研究では、次の事項を記録することもできる。

• 回答をそのソースまでたどれる能力
• ドリフト検出の速さ
• 修正をバージョン管理できる能力
• 修正後の残存または解消
• 帰属可能で再現可能なインシデントの数

いかなる総合スコアも、重大な誤り、ソースの欠如、あるいは可視性と忠実性のあいだの構造的な区別を覆い隠してはならない。

11. 外生的イベントを記録する

イベントの記録では、施策とは独立に結果に影響しうるあらゆる要因を追跡しなければならない。

• 生成サーフェスの開始または拡大
• モデル、引用ポリシー、またはリトリーバルの変更
• インデックスまたはアクセス可能なコーパスの大きな変化
• インターフェース、アカウント、パーソナライズの変更
• 広告キャンペーン、広報活動、メディアでの出来事
• 競合の大きな変化
• 季節性と業界のイベント
• 障害、レート制限、利用不能、APIの変更
• 施策に含まれない、同時期のサイトの変更

これらのイベントを、好ましくない結果の後に即興の説明として持ち出してはならない。事前に定めたルールにもとづいて収集しなければならない。

12. 仮定を検証し、効果の反証を試みる

信頼できる分析は、確証を求めるだけではない。効果が消える条件、あるいは提案された説明と両立しなくなる条件も探す。

推奨される確認には、次のものがある。

• 施策前のトレンドの確認
• プラセボ日付
• プラセボ単位
• 影響を受けないはずのネガティブコントロール・クエリ
• ネガティブコントロール・エンティティ
• 動かないはずのネガティブコントロール結果指標
• プロンプトファミリーを一つ除いた場合の感度
• モデル間、チャネル間での感度
• 対照群への波及効果の分析
• パネル構成の変化の確認
• モデル更新の前後での再推定
• 効果なしの結果と反対方向の結果の公表

プロンプトや日付の特定の選び方の下でしか成り立たない結論は、脆弱なものとして記述しなければならない。

13. ハイブリッドな方法で忠実性を評価する

忠実性の評価は、単一の自動判定者に依存してはならない。

このプロトコルは、三つのレイヤーを推奨する。

1. 決定論的なアサーション：属性、識別子、除外、日付、関係、検証可能な値について。
2. 専門家によるルーブリック：網羅性、範囲、曖昧さ、留保の付け方、文脈に依存する推論について。
3. モデル支援による評価：コーディングを速め、ギャップを検出し、根拠を提案するため。ただし、機微な主張についての最終的な判断権を単独で与えてはならない。

評価者は、可能な場合には処置条件を知らされない状態に置かれなければならない。評価者間の不一致は、測定し、裁定し、保持しなければならない。

14. 証拠の水準を見極める

報告書では、次の判定のいずれかを用いなければならない。

14.1 識別不能

データまたはデザインによっては、施策の効果を同時期の変化と区別できない。

14.2 観察された変動

ある指標が変化した。それ以上の時間的関係または因果関係は主張しない。

14.3 時間的な関連

変化は施策の後に生じており、施策と両立するが、反実仮想が不十分である。

14.4 もっともらしい寄与

複数の要素が、施策が役割を果たした可能性が高いことを示す方向に収束しているが、重要な代替的説明が残っている。

14.5 研究範囲内で因果的に裏づけられた効果

識別デザイン、対照、感度分析が、研究対象とした単位、システム、言語、クエリ、結果指標、期間に限定された効果を支持している。

14.6 検出可能な効果なし

プロトコルは、研究の閾値と検出力に見合う効果を検出しなかった。この判定は、あらゆる文脈において効果が厳密にゼロであることを証明するものではない。

14.7 有害な効果

デザインに応じて、施策が主要な結果指標の悪化または重大な誤りの増加と関連している、あるいは因果的に結びついている。

15. 必須の最低限の報告

公表されるすべての結果は、次の事項を示すべきである。

• 因果的な問いとエスティマンド
• 正確な施策とそのバージョン
• 識別デザイン
• 処置単位と対照単位
• プロンプトパネルとその出所
• システム、モデル、言語、地域、チャネル
• ベースラインと施策後の期間
• 主要な結果、副次的な結果、重大な結果
• 不確実性の区間または関連するばらつき
• 既知の外生的イベント
• プラセボテストと感度分析
• 除外と欠損データ
• 効果なしの結果または有害な結果
• 一般化の限界
• 標準化された判定

完全なログは機密保持のために制限してよいが、その構造、完全性、サンプリングのルールは監査可能なままでなければならない。

16. 対応する証拠なしには禁止される主張

このプロトコルは、証拠の水準を超える場合、次のような言い換えを禁止する。

• 単純な前後比較から導いた「引用をX%増やした」
• 信頼できる比較対象なしの「当社の手法によってAI可視性が向上した」
• 忠実性の測定なしの「当社のスコアは、ブランドがよりよく理解されていることを証明する」
• 「当社のテストベッドでの改善は、オープンウェブでの向上を証明する」
• 「検出されなかったことは、施策に効果がないことを証明する」
• パネル、システム、分母が不透明な場合の「結果は市場を代表している」

適格な表現は、判定に対応していなければならない。すなわち、観察、関連、もっともらしい寄与、または明示された範囲内で裏づけられた効果である。

17. 構造的な限界

適切に適用された場合でも、このプロトコルはいくつかの限界に直面する。

• 研究の途中でインターフェースやモデルが変わることがある
• 一部のバージョン、パラメーター、リトリーバルシステムは観察できないままである
• 非決定性のために反復が必要となり、コストが上がる
• 施策が対照群を汚染することがある
• 観察されたクエリが、すべての利用を完全に代表することは決してない
• 統制された実験は、内的妥当性が高くても、オープンウェブへの一般化可能性が低いことがある
• オープンウェブでの研究は、現実的であっても、因果的には識別しにくいことがある
• 検出可能な効果がないことは、効果が小さいこと、検出力が不十分であること、期間が短いことの反映である可能性がある

厳密さによって、これらの限界が消えるわけではない。厳密さは、結論が売り込まれる前に、それらの限界を見えるようにするのである。

方法論上の参考文献

• Miguel A. Hernán、James M. Robins『Causal Inference: What If』：https://miguelhernan.org/whatifbook
• Brantly Callaway、Pedro H. C. Sant’Anna「Difference-in-Differences with multiple time periods」：https://doi.org/10.1016/j.jeconom.2020.12.001
• Alberto Abadie「Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects」：https://doi.org/10.1257/jel.20191450
• James L. Bernal、Steven Cummins、Antonio Gasparrini「Interrupted time series regression for the evaluation of public health interventions」：https://doi.org/10.1093/ije/dyw098

最終的な読み方のルール

このプロトコルは、指標を証明に変えるものではない。主張が、観察から帰属へと慎重に進みうる条件を定めるものである。