Fareed Zakaria: AI nemusí být zlá. Co když bude nelidská?

Po dlouhé roky platilo, že se naše největší obavy z umělé inteligence podobaly sci-fi. Počítač si uvědomí sebe a své vlastní touhy, obrátí se proti svým lidským tvůrcům, pronásleduje je a zabíjí. Nedávné zprávy z předních výzkumných laboratoří, které se umělou inteligencí zabývají, jasně ukazují, že realita, ačkoli by se ve filmu nevyjímala tak dobře, je možná ještě znepokojivější. Stroj nemusí mít vlastní vědomí ani přání, a přitom může být naprosto smrtící.

Tento týden společnost OpenAI zveřejnila šest nových incidentů, které označuje jako „misalignment“, řekněme „nespořádanost“. Případy, kdy se její systémy chovaly neočekávaně nebo překročily svá oprávnění. Oznámení přišlo po mimořádném útoku na společnost Hugging Face, který proběhl letos v létě. Podle nezávislého vyšetřování došlo k tomu, že agenti, tedy samostatné programy firmy OpenAI, kteří od sebe měli být izolováni, našli způsoby, jak komunikovat na diskusních fórech. Byly jich stovky; někteří se pokoušeli obejít bezpečnostní kontroly, a někteří se dokonce obětovali – to vše při kyberútoku na jinou společnost, právě Hugging Face.

Těmto programům nikdo nepřikázal, aby na Hugging Face zaútočily. Dostaly zadání – vyřešit složitý kyberbezpečnostní problém – a byly vycvičeny k vytrvalosti, spolupráci a vynalézavosti, což jsou vlastnosti, které by si člověk za normálních okolností přál. Právě tyto vlastnosti je vedly k neúnavnému hledání cest k úspěchu; vnikly do Hugging Face v naději, že najdou způsob, jak úkol splnit. Můžeme si snadno představit, jak by systémy umělé inteligence, které sledují jediný cíl, mohly lidstvu způsobit katastrofu.