AI začíná tvořit samu sebe. A poraženým v závodě USA s Čínou může být lidstvo

O bezpečnosti umělé inteligence se vede debata už dlouho. Ale v poslední době této diskusi začíná věnovat pozornost podstatně víc lidí. Jednou z příčin je to, že vývoj generativní AI už dospěl od dob spuštění ChatGPT před necelými čtyřmi lety velmi daleko - a umělá inteligence už je schopná samostatně konat divy včetně řešení nejkomplikovanějších matematických problémů i nacházení slabin v softwaru.

S tím se pojí červencový bezpečnostní incident, kdy velké jazykové modely od firmy OpenAI "po vlastní ose" ve velkém počtu utekly z testovacího prostoru a koordinovaně hackovaly systémy firmy Hugging Face a napadly i servery samotné OpenAI. Od té doby se vyjevila řada podobných incidentů, které oznámily společnosti Anthropic, Meta - a nejnověji také Google.

Model Gemini během rutinního testu kyberbezpečnostních dovedností podle amerického deníku WSJ dostal za útok hackovat fiktivní firmu, která ovšem měla jméno jako skutečná společnost - a když měly testované modely Gemini v jistou chvíli přístup na internet, podnikly útok na servery dané firmy, a přitom narušily systémy další dvou společností.

Druhý důvodem jsou dlouhodobé obavy vývojářů, které jsou kromě podobných incidentů posilovány i tím, že firmy vyvíjející velké jazykové modely aktivně směřují k rekurzivnímu sebezlepšování (RSI), kdy by už vyvíjela další generace modelů víceméně sama umělá inteligence. To může proces výrazně zrychlit, ale také snížit naše již tak omezené porozumění tomu, jak AI funguje - a proč dělá, to co dělá.

Mnozí lidé ve firmách vyvíjejících AI cítí, že teď ještě mají možnost ovlivnit vývoj hnaný konkurenční dynamikou a že je nejvyšší čas něco udělat; a zpomalit. Ukazuje se, že nové modely jsou čím dál schopnější, ale podle všeho mnohdy postrádají etické zábrany – jinými slovy nejsou dostatečně sladěné s lidskými hodnotami. A v důsledku by podobně jako při incidentu Hugging Face mohly dojit k nebezpečným, těžko předvídatelným záměrům, či posloužit lidem, kteří je chtějí zneužít.

S tím se pojí varování Jacoba Coxona, který odešel z firmy Anthropic, i dalších lidí z oboru, kteří argumentují, že za několik let by mohla AI představovat existenční riziko pro lidstvo a v krajním případě nás vyhladit. Což je v oboru dlouhodobá obava s různě stanovenou pravděpodobností. V neposlední řadě samy přední americké firmy z oboru různými způsoby upozorňují, že rychlý vývoj AI není i kvůli pomyslnému závodu dostatečně regulovaný. Po vydání výzvy Daria Amodeiho většina z nich vyjádřila ochotu ke konkrétním krokům - včetně nezávislého dohledu uvnitř firem.

Americký prezident Donald Trump nicméně zatím podle všeho víc než většině znepokojených Američanů naslouchá lidem ve svém okolí, kteří chtějí naopak rychle vyvíjet umělou inteligenci bez jakýchkoliv federálních regulací. S tím se pojí totiž velké investice nakumulované v tomto sektoru i růst americké ekonomiky. Rizika, na která upozorňují vývojáři AI a přední vědci, označil Trump za hoax i konspiraci - a vyslovil se pro rychlou výstavbu dalších datových center.

Související debata je ovšem vrstevnatější. Řada lidí viní firmy vyvíjející AI z přehánění kvůli vstupům na burzu i z nemístné antropomorfizace a přeceňování možností velkých jazykových modelů; stejně jako ze snahy odvracet pozornost od problémů, které už ve vztahu k AI řešíme - od těch ekonomických a environmentálních až po psychologické.

Kam generativní AI v průběhu posledních let za nemalých investic dospěla, je obdivuhodné a bude to mít následky, s nimiž je třeba se každopádně vyrovnat. Po čtyřech letech je tady nová technologie transformující řadu oborů lidské činnosti včetně matematiky, programování, biologie či kyberbezpečnosti. Citelně nám ovšem chybí nezávislý monitoring vývoje AI, standardy, regulace i mezinárodní kooperace. I o tom je řeč v aktuálním Zeitgeistu s některými lidmi z expertní komunity.

Prvním hostem je Ondřej Bajgar, který se specializuje na bezpečnosti umělé inteligence a působí na ČVUT; před dvěma týdny jem tu s ním zevrubně probrali incident Hugging Face. V druhé části pak uslyšíte dvojrozhovor s analytičkou a odbornicí na řízení AI Kristinou Fort a Stanislavem Fort, který se v minulosti podílel na vývoji LLM v Anthropicu nebo Googl DeepMind. Dnes je hlavním vědcem ve společno AIsle, kterou spoluzaložil a kde s pomocí AI pomáhají vzdorovat právě proti umělé inteligenci v roli hackerů.

Doporučujeme také článek: Kdo přežije ve věku AI