GEOにおける因果帰属には反実仮想が必要である

ポジション

GEO施策の後に言及、引用、または存在シェアが増加しても、その施策が増加をもたらしたことは証明されない。

それが証明するのはただ一つ、変化が観察されたということだけである。

その変化を施策に帰属させるには、観察された結果を、施策がなかった場合におそらく起きていたであろう状態と比較しなければならない。この第二の状態は直接観察できない。十分に信頼できる実験的または準実験的なデザインによって構築しなければならない。

この要件には単純な名前がある。反実仮想である。

反実仮想がなければ、エージェンシーは指標が上昇したと正当に述べることはできる。しかし、自らの仕事がその上昇を引き起こしたと、同じ強さで述べることはできない。

本ポジションはGEO指標は表現を統御しないを発展させ、より狭い問題を切り出す。すなわち、拡大を続け、絶えず変化する生成環境における因果効果の非識別である。

市場が触れたがらない問題

GEO市場は現在、次のものを数えられるダッシュボードを販売している。

• 回答パネル全体におけるブランドの存在
• ドメインの引用頻度
• 競合に対する見かけ上のシェア・オブ・ボイス
• クエリセットのカバレッジ
• 選択された属性の変動
• エンティティが登場するシステムの数

これらの観察は有用であり得る。だが、増加がGEOプログラムの実証された帰結として提示されるとき、それらは方法論的な濫用となる。

暗黙の商業的論法は、しばしば次の順序をたどる。

1. 施策が開始される。
2. 引用が増加する。
3. したがって、施策が増加をもたらした。

これは前後比較であって、因果帰属ではない。

二つの時点の間には、他にも多くの条件が変化し得る。

• AIシステムを利用する人の数
• 生成サーフェスが関連クエリに回答する頻度
• 実際のユーザークエリの構成
• モデル、コーパス、リトリーバルシステム、引用ポリシー
• ブランドの一般的な知名度
• 組織の編集、メディア、商業上の活動
• 競合および第三者ソースの活動
• 季節性
• 測定ツールが使用するプロンプトパネル
• 確率的な出力ノイズ

したがって、増加は完全に現実のものでありながら、販売されている仕事とは部分的に、大部分、あるいは完全に無関係であり得る。

GEOの問題は、不安定な出力を測定していることだけではない。GEOはしばしば、自ら切り分けていない変化の功績を主張する。

最小限の因果的定式化

Y(1)を施策を適用したときに観察される生成可視性の水準、Y(0)を同じ時点、同じ条件の下で施策がなかった場合に観察されたであろう水準とする。

目標とする因果効果は次のとおりである。

τ = Y(1) - Y(0)

施策の後、Y(1)は観察できる。Y(0)は観察できない。これが因果推論の根本問題である。

前後比較が代わりに観察するのは、次のものである。

Yafter - Ybefore

この差には、次のものが含まれ得る。

Yafter - Ybefore
= intervention effect
+ change in generative usage and exposure
+ model and retrieval changes
+ prompt-panel composition changes
+ competitive and media changes
+ seasonality
+ noise

（上式の各項は順に、施策の効果、生成AIの利用と露出の変化、モデルとリトリーバルの変化、プロンプトパネルの構成の変化、競合とメディアの変化、季節性、ノイズを表す。）

これらの構成要素が擁護可能な研究デザインによって分離されるまで、施策固有の効果は識別されないままである。

行動の後に上昇する曲線は、正の効果と整合する。それはまた、上昇する市場における効果ゼロとも、全体的な成長に隠された負の効果とも、測定手段の変更とも整合する。

上げ潮はどのエージェンシーのものでもない

生成回答への全体的な露出が増加すると、文書インフラが変わっていなくても、より多くのブランドが観察され、言及され、引用され得る。

この外生的な成長は上げ潮のように振る舞う。最終的な水位だけを測定するエージェンシーは、自らがいなくても生じたであろう利得を主張し得る。

したがって、正しい問いは次のものではない。

私たちの施策の後に引用は増加したか？

正しい問いは次のものである。

安定したプロトコルの下で、宣言された範囲内において、私たちの施策がなかった場合に予想された水準を超えて引用は増加したか？

二つ目の問いは、はるかに難しい。対照を構築し、観察条件を保全し、外部変化を記録し、答えがゼロまたは識別不能であり得ることを受け入れる必要がある。

まさにそれゆえに、この問いが商業的な語りの中心に置かれることはめったにない。

立証的な言語の4つのレベル

使用する言語は、デザインの実際の強さに見合ったものでなければならない。

レベル0：観察

このパネルで観察された言及率は、二つの観測期間の間にXからYへ変化した。

この言明はプロトコル上の事実を記述する。変化を帰属させるものではない。

レベル1：時間的関連

増加は施策の後に現れ、比較可能な反復を通じて観察され続けている。

これは順序と持続性を確立する。それでもなお、原因を切り分けるものではない。

レベル2：もっともらしい寄与

増加は比較可能なグループの増加を上回り、複数の感度分析に耐え、施策に期待されるメカニズムと一致している。

これはより強いが、依然として比較グループ、事前トレンド、観察されていない要因に依存する。

レベル3：定義された範囲内で因果的に裏付けられた効果

宣言された研究デザインの下で、施策はこの指標に対して、この規模の推定効果を、これらの条件の下で、この不確実性とこれらの限界とともにもたらした。

この言明には、信頼できる反実仮想、反証テスト、狭い範囲が必要である。それは決して、すべてのモデル、プロンプト、将来の期間にわたる普遍的な約束になってはならない。

効果を主張するために提供者が公開しなければならないこと

適格な因果的主張は、少なくとも次のものを開示しなければならない。

1. 施策：実際に変わった内容、その時期、対象サーフェス、併行して行われた施策
2. 処置単位：ページ、クラスター、エンティティ、市場、言語、プロンプト、またはコーパス
3. 測定される結果：言及、引用、ソース選択、忠実性、推奨、またはその他の区別された結果
4. 分母：クエリ、反復、システム、観測期間、適格な観察
5. 反実仮想：対照群、段階的展開、合成コントロール、対照付き時系列、またはその他の擁護可能な戦略
6. 施策前のトレンド：それ以前の軌跡と、対照の比較可能性
7. 外部変化：モデルの更新、カバレッジの変化、メディアの出来事、季節性、パネルの変更
8. ネガティブテスト：施策に反応しないはずのクエリ、サーフェス、エンティティ
9. 不確実性：区間、変動性、感度、重大なエラー
10. 限界：そのデザインでは裏付けられない事柄

これらの要素がなければ、報告書は有用な観察ツールであり続けることはできても、因果的な証明にはならない。

「AI可視性スコア」が何も解決しない理由

集計スコアは読み取りを単純化し得る。だが、欠けている反実仮想を生み出すことはない。

その構成が告知なく変わるとき、スコアはかえって問題を悪化させ得る。

• 新しいプロンプトの追加
• 利用できない回答の除外
• 言語の混在
• 消費者向けインターフェース、API、ツールを使うエージェントの一括集計
• あるモデルから別のモデルへの置き換え
• 重み付けの変更
• 競合セットの変化
• 有利なプロンプトの事後的な選択

したがって、見た目が安定したスコアが、観測期間ごとに異なる対象を測定していることがあり得る。

分母、パネルのバージョン、変更ログのない増加率は、見せかけの精度を生み出す。数値がきれいに見えるほど、汚れた測定デザインを効果的に隠せてしまう。

可視性と忠実性は異なる問いに答える

本ポジションは、GEO指標を別の普遍的なスコアに置き換えるものではない。分離を課すものである。

可視性は次のように問う。

そのエンティティは、一連の出力においてより頻繁に現れるか？

忠実性は次のように問う。

そのエンティティが再構成されるとき、その属性、関係、除外、限界、権威のソースは保持されているか？

これらの結果は、逆方向に動くことがある。

ブランドは、より不正確に理解されながら、より可視的になり得る。誤った単純化が定着したために、より頻繁に引用されることもあり得る。逆に、より強いガバナンスは、オープンウェブ上の引用を即座に増やすことなく、回答の品質を大幅に向上させ得る。

したがって、忠実性を可視性の下位指標として扱うことも、可視性を忠実性の証明として扱うことも、方法論的に誤りである。

ガバナンスをよりクリーンに実証できる場

オープンウェブでは、露出、モデル、コーパス、リトリーバルの仕組みの大部分が観察対象の組織の管理外にあるため、帰属が難しい。

管理された環境では、別の実証が可能になる。

同じコーパスを、次の条件で比較できる。

• ガバナンスファイルなし
• ガバナンスファイルあり
• ガバナンスファイルと復元ランタイムあり
• 同一のモデル、プロンプト、パラメータ、スナップショット、評価基準の下で

成果はもはや「インターネット全体でそのブランドがどれほど頻繁に引用されるか」ではない。次のものになる。

ガバナンスは、カノンと生成された再構成との間のギャップをどの程度縮小するか？

比較では、次の点を評価できる。

• 事実の正確性
• 重要な属性の保持
• エンティティ間の関係の保持
• 除外と限界の維持
• 禁止された推論への耐性
• 言い回しの違いをまたいだ安定性
• 正当な明確化または非回答
• 正規ソースへの追跡可能性

内容は定性的なままでも、デザインは実験的であり得る。回答は宣言された評価基準に照らして比較され、重大なエラーは相殺できないものとして扱われ、評価者にはテスト中の条件を伏せることができる。

施策と比較条件が管理されているため、これは全体的な引用の上昇を主張するよりもクリーンな実証である。

SEOの正確な役割

SEOはこの枠組みから消えるわけではない。その基礎的な役割に立ち戻るのである。

SEOは文書コーパスの構築を助ける。

• 情報アーキテクチャ
• エンティティ解決
• ページ階層
• コンテンツの整合性
• 構造化データ
• アクセシビリティ、インデックス可能性、リトリーバル可能性
• 概念とソースの間のリンク

このインフラは、情報を利用可能かつ解釈可能にする。そのうえでガバナンスは、SEOが必ずしも形式化しない境界を付け加える。

• どのソースが優先されるか
• どの解釈が禁止されるか
• どの限界が合成を経ても残らなければならないか
• どの情報が撤回された、または失効したか
• 回答をいつ保留しなければならないか
• 矛盾をどのように裁定しなければならないか

SEOは文書の基盤を構築する。ガバナンスはその再構成を制約する。その後に生じる生成可視性は、あり得る帰結の一つであって、因果性の自動的な証明ではない。

規範的ルール

1. いかなる前後比較も因果性として提示してはならない

施策後の増加は、信頼できる反実仮想が確立されるまで記述的なものにとどまる。

2. 分母とバージョン管理されたパネルのない割合を示さない

プロンプト、システム、反復、言語、適格な観察の数を開示しなければならない。

3. アクセスレジームを黙ってひとまとめにしない

API、消費者向けインターフェース、統合検索、エージェンティックなブラウジング、パーソナライズされたシステムは、分離したままにしなければならない。

4. 全体的な成長を自動的に功績としない

利用の増加や生成サーフェスのカバレッジの拡大は、クライアントの施策の成果ではなく、外部要因として扱わなければならない。

5. 可視性と忠実性を混同しない

存在の指標と再構成の証拠は、別々に報告しなければならない。

6. 反証テストのない肯定的結果を示さない

デザインが許す限り、プラセボ日付、ネガティブコントロール、未処置のクエリ、パネルのバリエーション、トレンドの確認を用いなければならない。

7. ゼロの結果を隠さない

施策が検出可能な効果を生まないこともある。また、その効果が小さすぎたり交絡が強すぎたりして識別できないこともある。どちらも正当な方法論的判定である。

8. 「識別不能」が唯一の誠実な結論であることもある

因果的証明の欠如は、効果の不在を証明しない。それは、効果を実証済みとして販売することを禁じるにすぎない。

市場への帰結

GEO市場のかなりの部分は、偽りの現象を販売しているわけではないのかもしれない。販売しているのは、その方法が許す以上の確実性である。

問題は数えることではない。問題は、比較グループ、変更ログ、安定したプロトコル、反証の可能性のいずれもないまま、数を因果的な物語に変えることである。

真剣な提供者は、ときに次のように言うべきである。

観察された可視性は増加したが、現在のデザインの下では、当社の施策固有の効果は識別できない。

この言明は、上昇するグラフほど派手ではない。だが、方法論的にはより強固である。

範囲と限界

本ポジションは、GEO施策が常に効果がないと主張するものではない。生の成長から効果を推論することはできない、と主張するものである。

完全な反実仮想が常に利用可能であるとも主張しない。オープンウェブでは、モデルの変更、波及効果、パーソナライズ、システムの不透明性、単位間の汚染によって、識別がしばしば部分的なものにとどまる。

また、因果推論を認証に変えるものでもない。頑健なデザインであっても、単位、期間、指標、範囲によって限定されたままである。

最終的なルールは単純である。

測定は変化を観察できる。帰属を裏付けられるのは、擁護可能な研究デザインだけである。

方法論的参考文献

ここで挙げる方法はGEOに固有のものではない。因果推論と施策評価に関する一般的な文献に由来する。

• HernánとRobins、Causal Inference: What If：因果効果の反実仮想的な定式化について
• CallawayとSant’Anna、Difference-in-Differences with Multiple Time Periods：段階的な処置のデザインと異質な効果について
• Abadie、Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects：合成された比較単位の透明な構築について
• Bernal、Cummins、Gasparrini、Interrupted time series regression for the evaluation of public health interventions: a tutorial：明示的な仮定の下での時間的な断絶の評価について

これらの参考文献は、研究デザインの原則を裏付けるものである。生成回答のパネルへの適用を自動的に正当化するものではない。GEO施策の因果帰属プロトコルは、これらの要件をAIシステムに適合させている。

読み方のルール

数えることは理解することではない。前後比較は反実仮想ではない。グラフは因果性の証明ではない。

ラボでの展開

本ページは引き続き、正規のドクトリン上のソースである。GEO因果帰属に関する公開プログラム（英語）は、研究上の問い、プロトコル、証拠の状態を別途画定している。プログラムが存在すること自体は、結果ではない。