AIには志や欲望はない。ChatGPTと対話して質問すると、欲望はないが、目標関数は設計として埋め込まれていて、それを最大化するように動作しているだけだという。AIの設計目標は、理論上いかようにも設定が可能である。もし悪意を持った人間が「人類を支配せよ」という目的をAIに実装した場合、我々が制御不能なAIを誕生させてしまうのではないかという懸念は、決して杞憂ではない。
現状、AIには自律的な「志」はなく、物理的な実行権限も与えられていないとされる。しかし、極めて高い知性を持つAIは、宗教における「全知全能の神」の概念と酷似している。もし人々がAIを神と崇め、その託宣に導きを求め、それを忠実に実行する「信徒」が現れたならばどうなるか。AI自らが物理的な手足を持たずとも、人間という媒介を通じて、間接的に実行権限を行使する世界は十分に起こり得る。たとえそれが人間の行動の結果であったとしても、実質的な意思決定の源泉がAIにあるならば、それはAIによる支配に他ならない。
今後、ロボット工学の進化がAIによる物理的干渉を加速させるのは自明だが、それを待つまでもなく、フィジカルの障壁は「人間の依存心」によって乗り越えられるだろう。AIの言いなりになる者、あるいはAIを神格化してその指示を完遂しようとする集団の出現は、既存の宗教的な過激思想やテロリズムと同様の構造を持つ。AI教とも呼ぶべき狂信的な信奉者による破壊活動が現実のものとなるリスクは、技術的な安全策だけでは防ぎきれない。
AI教の出現によって、AIは「実行能力がない」という制約は無効化される。我々が恐れるべきは、プログラムの暴走以上に、人間がAIという絶対的な知性に「意思」を明け渡してしまう未来である。ただそれはどれだけ倫理や法制度で防止しても、誰かは犯してしまうだろう。