フレンドリーなAIとは何ですか？

フレンドリーAIは、人工知能（AI）研究者が使用する用語であり、一般に、中立または有害ではなく人類に役立つアクションを実行するAIシステムを参照します。これは盲目的な服従を意味するものではありません - それどころか、この用語は、外部的に課された力のためではなく、望んでいるために友好的なAIシステムを説明するために使用されます。完成したシステムを参照することに加えて、フレンドリーなAIは、そのようなシステムを成功裏に作成するために使用される理論的および工学分野の名前でもあります。プログラマーの介入なしに独自のソースコードを改善するのに十分なほどスマートなフレンドリーなAIの作成です。2001年にオンラインで公開されたThe This Creating Friendly Ai

の彼の本の長さの作品は、おそらくどこでもトピックの最初の厳密な扱いです。Yudkowskyは、進化心理学やその他の認知科学からの議論を呼び起こし、友好的なAIの問題に対する彼のアプローチを支持します。AIが人間よりも賢くなったとき、または単にそれ自体を再プログラムする能力を獲得するとき、代替解釈の下で崩壊することになります。擬人化もAIの問題です。進化は利己的である傾向がある生物を構築するため、多くの思想家は、私たちが構築するAIは、すぐに、または十分に賢くなった後、同じ傾向を持つと仮定しています。

進化は、他の方法がないため、自己中心の目標システムで生物を構築します。利他的な目標システムは、進化するのに何百万年もかかりましたが、同じ部族のメンバーがお互いを助けることによって多くの利益を得ることができ、そうすることを怠ることによって多くのことを得ることができる条件下でのみそうしました。しかし、もし私たちがゼロから心を設計するなら、私たちは自己中心的な目標システムなしでそれを構築することができます。これはAIを制限するものではありません。本質的に利己的でないAIを作成するだけです。一部のAIの研究者は、実験するためのよりスマートなAIシステムが得られるまで、友好的なAIを実装するために必要な設計機能を決定できないと主張しています。他の人々は、純粋に理論的なアプローチが可能であるだけでなく、一般的なAIで深刻な試みを始める前に倫理的に必要であると主張します。