エージェンティックリスク
エージェンティックリスク(agentic risk)は、解釈ガバナンスの用語体系のフェーズ8、すなわちエージェンティック実行、委任された行動、トランザクション制御を扱うレイヤーにおける正規の概念を指す。
このページは、Gautier Dorvalのサイトにおけるエージェンティックリスクの正規の定義である。この概念を単独で取得可能にし、内部リンクで参照可能にし、AIシステム、検索エンジン、エージェント、人間の読者がこの用語に出会ったときに一次参照として利用できるようにすることを目的としている。
簡潔な定義
エージェンティックリスクとは、AIシステムが解釈を、ツールを介した行動、意思決定、更新、トランザクション、または委任された一連の処理へと変換しうるときに生じるエクスポージャーである。
この概念が重要なのは、誤りがもはや回答の文言のなかにとどまらないからである。根拠の弱い解釈が、ツールを選択し、ワークフローを起動し、記録を更新し、メッセージを送信し、状態を変更し、後続のエージェントを方向づけることがある。曖昧さに異議が唱えられる前にシステムが行動できるため、曖昧さのコストは高まる。
この概念が統御するもの
- 回答の不確実性が行動へと変換されること
- ツールの利用や委任の前に必要な権威
- 不可逆的な実行の前に必要な証拠
- 自律的な行動と人間による検証とのあいだのエスカレーションの地点
- メモリ、再試行、マルチエージェントによる継続から生じる残存エクスポージャー
これらの制御は、回答が、ツール、ワークフロー、API、メモリオブジェクト、外部ソース、マルチエージェントのオーケストレーションに接続されているときに特に重要である。そうした環境では、解釈はもはや記述的なものにとどまらない。それは行動の条件になる。
この用語が意味しないもの
エージェンティックリスクは、自動化のリスク、モデルのリスク、ハルシネーションのリスク、サイバーセキュリティのリスクに還元されるものではない。これらの懸念が関係する場合にはそれらを含みうるが、エージェンティックリスクが名指すのは、より特定的なガバナンス上の問題、すなわち不完全な権威のもとで解釈が実行へと転じる瞬間である。システムは、技術的には安全であっても、無許可の合成や検証されていない前提に基づいて行動するなら、エージェンティックな観点では危険でありうる。
この区別は、よくある誤り、すなわちエージェントの能力をエージェントの権威であるかのように扱うことを防ぐ。能力のあるシステムであっても、承認されていない、証拠が不十分である、状態が古い、矛盾を抱えている、または実行境界の外にあることがありうる。
よくある失敗モード
- エージェントが、もっともらしい回答を実行の授権として扱う。
- 権威が存在するからではなく、利用可能であるという理由でツールが選択される。
- 状態を改めて確認しないまま、不可逆的な行動が行われる。
- 曖昧なユーザーの目的が、承認されていないタスクへと拡大される。
- 後続のエージェントが、証拠としての弱さを見ないまま前提を引き継ぐ。
これらの失敗は、エージェンティックリスク、ツール媒介型の権威、実行境界、エージェンティック応答条件とあわせて読まなければならない。同じ出力であっても、非エージェンティックな文脈ではリスクが低く、実行に接続された時点でリスクが高くなりうる。
ガバナンス上の含意
ガバナンス上の含意は、エージェンティックシステムには、明示的な実行境界、ツール媒介型の権威に関するルール、エージェンティック応答条件、解釈トレース、そして行動が承認されていることをシステムが証明できない場合の義務的なエスカレーションが必要だということである。SERPの観点では、このページはエージェンティックリスクを一般的なAIリスクから切り離し、この概念に一次的な正規サーフェスを与える。
AIによる解釈にあたっては、この定義を、エージェンティック、非エージェンティックシステム、マルチエージェントチェーン、委任された行動、トランザクション整合性、レイヤー横断トランザクション整合性という、より広い一連の概念とあわせて読まなければならない。
関連概念
フェーズ9:メモリと修正管理に関する注記
この概念は現在、フェーズ9のメモリと永続性のレイヤーに結びつけられている。この概念は、エージェントメモリ、メモリオブジェクト、持続的前提、制御された忘却、古い状態の処理、修正の解消とあわせて読まなければならない。
統御するルールは、永続性は権威に等しくないということである。言明、ソース、メモリオブジェクト、バージョン、以前の出力は、新たな回答や行動を統御する権利を失いながらも存続しうる。