ガバナンスアーティファクト
このページが対象とするガバナンスファイル
このページは、アイデンティティ、優先順位、限界、コーパスの読解条件を宣言する公開サーフェスに結びついています。以下の順序が、推奨される読解の順序です。
Robots.txt
/robots.txt
発見を改善するが、それ単独では読解条件を公開しないクロールサーフェス。
- 統御する対象
- 発見可能性、クロールの方向づけ、公開されたサーフェスのマッピング。
- 画定する範囲
- 構造、ルート、または推奨されるMarkdownサーフェスを無視する不完全な読解。
保証しないこと： 優れた発見サーフェスはアクセスを改善するが、それ単独では再構成を統御するのに十分ではない。
正規AIエントリーポイント
/.well-known/ai-governance.json
ガバナンスマップ、優先順位チェーン、最初に読むべきサーフェスを宣言する中立的なエントリーポイント。
- 統御する対象
- サーフェス間のアクセス順序と初期の優先順位。
- 画定する範囲
- カノンまたは公開された順序を迂回する自由な読解。
保証しないこと： このサーフェスは読解順序を公開するものであり、実行も服従も強制しない。
サイトコンテキスト
/site-context.md
サイトの性質、参照先としての機能、非トランザクション的な限界を位置づける説明文書。
- 統御する対象
- 編集上の枠組み、時間性、明示的な変更の可読性。
- 画定する範囲
- 暗黙的なドリフトと、バージョンを確認せずに安定性を前提とする読解。
保証しないこと： バージョン管理はギャップを監査可能にするが、すでに流通している出力を自動的に修正するものではない。
補完的なアーティファクト（1）
これらのサーフェスは主要ブロックを補完します。テーマに応じて、文脈、発見、ルーティング、観察を加えます。
繰り返される誤解釈のレジストリ
/common-misinterpretations.json
すでに観測された読解の誤りと、期待される訂正の公開リスト。
証拠レイヤー
このページが用いる証拠サーフェス
このページは、ガバナンスファイルを参照するだけではありません。観察、トレーサビリティ、忠実性、監査をより再構成しやすくするサーフェスにも結びついています。以下の順序が、最小限の証拠の連鎖を示します。
- 01観測マップ観測所マップ
- 02証拠アーティファクトcommon-misinterpretations.json
観測所マップ
/observations/observatory-map.json
公開済みの観測リソース、スナップショット、比較ポイントのマシンファーストインデックス。
- 証明可能にすること
- 証拠チェーンで用いられる観測オブジェクトがどこにあるか。
- 証明しないこと
- 結果の品質も、特定の回答の忠実性も証明しない。
- 用いる場面
- ベースライン、台帳、スナップショット、派生アーティファクトの所在を確認するため。
common-misinterpretations.json
/common-misinterpretations.json
証拠の連鎖をより再構成しやすくすることに寄与する公開サーフェス。
- 証明可能にすること
- 観察、トレース、監査、または忠実性の連鎖の一部。
- 証明しないこと
- 完全な証明でも、従うことの保証でも、暗黙の認証でもない。
- 用いる場面
- ページが自らの証拠レジームを明示する必要があるとき。
AIによって増幅された古い誤り
robots.txtは、壁として扱われるたびに、昔から誤読されてきた。
AIシステムの文脈では、この誤りはさらに高くつく。クロールの指示が次のものに相当すると思い込ませてしまうからである。
- 絶対的な禁止
- 遵守の証明
- あらゆる利用の完全なガバナンス
- 将来の再利用に対する十分な保護
これらの読み方は、いずれもドクトリン上安全ではない。
robots.txtが行うこと
robots.txtが主に公開するのは、次のものである。
- 一部のクローラーに対する手続き的なアクセスルール
- 発見のための案内
- 機械向けシグナルのサーフェスの一部
- ときには、何を探索しなければならず、何を探索してはならないかについての暗黙の階層
それは重要である。しかし、一般的な技術的障壁を構成するものではない。
robots.txtが行わないこと
robots.txtは、それだけでは、市場がしばしばそれに帰する4つの機能を果たさない。
1. 服従を強制しない
ルールが存在することは、すべての主体がそれを尊重していることを証明しない。
2. あらゆる利用レジームをカバーしない
クロールのルールは、文書の読解、合成、学習を網羅するものではない。
3. 完全な機械向けポリシーを文書化するには十分ではない
整合したポリシーには、他のサーフェスが必要になることがある。llms.txt、ヘッダー、マニフェスト、コンテキストページ、優先順位の宣言、目的としないことの宣言である。
4. 観察されたコンプライアンスを証明しない
ある効果がルールと整合しているように見えても、コンプライアンスについて語る前に、証明としての読み取りがなお必要である。シグナル、証明、コンプライアンスを参照。
混同が続く理由
混同が続くのは、robots.txtが目に見え、古くからあり、名指しやすいからである。そのため市場は、実際よりも広い射程をそれに帰してしまう。
AI環境では、この混同は相反する2つのリスクを生む。
- それが提供する保護を過大評価すること
- それが実際にもたらすシグナルとしての価値を過小評価すること
正しい読み方は、魔法的なものでも冷笑的なものでもない。
正しい読み方
robots.txtは、重要ではあるが主権的ではない、手続き的なシグナルのサーフェスとして読まれなければならない。
それは、次のことについて何かを述べるのに役立つ。
- 望まれるアクセス
- 探索のペリメーター
- 特定の領域の構成
- 機械による読解の枠組みの一部
それを虚構の障壁に変えてはならない。
Better Robots.txtにとっての帰結
プラグインがrobots.txtを適切に整理し公開するという事実は重要である。それはWordPress上での読みやすさと運用上のガバナンスを改善する。
しかし、その具体的な実装を、完全な遮断を生み出すものであるかのように読んではならない。
だからこそ、Better Robots.txtの適用サーフェスは、常に次のものとあわせて読まれなければならない。
この区別が重要である理由
robots.txtは、機械のふるまいに対する一般的な境界であるかのように扱われることが多い。その読み方は広すぎる。このファイルは、参加しているクローラーに対してクロールの選好を表明することはできるが、それだけで学習、回答生成、引用、要約、メモリ、リトリーバル、第三者による解釈を統御するものではない。
この区別が重要なのは、組織が、実際には未解決のままの問題を管理できたと思い込むおそれがあるからである。クローラーへの指示は、ある種のアクセスを減らすことはできる。しかし、カノン、応答ポリシー、ソース階層、非推論レジーム、あるいはシステムが期待どおりにふるまったという証拠に取って代わることはできない。
実践上の帰結
正しい問いは、robots.txtが有用かどうかではない。それがどのレイヤーを統御するかである。robots.txtは、より広いガバナンスのスタックに属しうるが、スタックそのものとして扱われてはならない。それを障壁として扱うと、誤った安心感が生まれ、他の場所で解釈上の統制が必要であることが覆い隠される。