S Ondřejem Bajgarem, Stanislavem Fortem, Kristinou Fort i Josefem Šlerkou o znepokojivém vývoji umělé inteligence. Moderuje Štěpán Sedláček.

O bezpečnosti umělé inteligence se vede debata už dlouho. Ale v poslední době této diskusi začíná věnovat pozornost podstatně víc lidí. Jednou z příčin je to, že vývoj generativní AI už dospěl od dob spuštění ChatGPT před necelými 4 lety velmi daleko - a umělá inteligence už je schopná samostatně konat divy včetně řešení nejkomplikovanějších matematických problémů i nacházení slabin v softwaru.

S tím se pojí bezpečnostní incident, kdy velké jazykové modely od firmy OpenAI "po vlastní ose" ve velkém počtu utekly z testovacího prostoru a koordinovaně hackovaly systémy firmy Hugging Face a napadly i servery samotné OpenAI. Od té doby se vyjevila řada podobných incidentů, které oznámily společnosti Anthropic, Meta - a nejnověji také Google.

Model Gemini během rutinního testu kyberbezpečnostních dovedností podle amerického deníku WSJ dostal za úkol hackovat fiktivní firmu, která ovšem měla jméno jako skutečná společnost - a když měly testované modely v jistou chvíli přístup na internet, podnikly útok na servery dané firmy, a přitom narušily systémy další dvou společností.

Druhý důvodem jsou dlouhodobé obavy vývojářů, které jsou kromě podobných incidentů posilovány i tím, že firmy vyvíjející velké jazykové modely aktivně směřují k rekurzivnímu sebezlepšování (RSI), kdy by už vyvíjela další generace modelů víceméně sama umělá inteligence. To může proces výrazně zrychlit, ale také snížit naše již tak omezené porozumění tomu, jak AI funguje - a proč dělá, to co dělá.

Mnozí lidé ve firmách vyvíjejících AI cítí, že teď ještě mají možnost ovlivnit vývoj hnaný konkurenční dynamikou a že je nejvyšší čas něco udělat; a zpomalit. Ukazuje se, že nové modely jsou čím dál schopnější, ale podle všeho mnohdy postrádají etické zábrany – jinými slovy nejsou dostatečně sladěné s lidskými hodnotami. A v důsledku by podobně jako při incidentu Hugging Face mohly dojit k nebezpečným, těžko předvídatelným záměrům, či posloužit lidem, kteří je chtějí zneužít.

S tím se pojí varování Jacoba Coxona, který odešel z firmy Anthropic, i dalších lidí z oboru, kteří argumentují, že za několik let by mohla AI představovat existenční riziko pro lidstvo a v krajním případě nás vyhladit. Což je v oboru dlouhodobá obava s různě stanovenou pravděpodobností. V neposlední řadě samy přední americké firmy z oboru různými způsoby upozorňují, že rychlý vývoj AI není i kvůli pomyslnému závodu dostatečně regulovaný. Po vydání výzvy Daria Amodeiho většina z nich vyjádřila ochotu ke konkrétním krokům - včetně nezávislého dohledu uvnitř firem.

Donald Trump nicméně zatím podle všeho víc než většině znepokojených Američanů naslouchá lidem ve svém okolí, kteří chtějí naopak rychle vyvíjet umělou inteligenci bez jakýchkoliv federálních regulací. S tím se pojí totiž velké investice nakumulované v tomto sektoru i růst americké ekonomiky. Rizika, na která upozorňují vývojáři AI a přední vědci, označil Trump za hoax a vyslovil se pro rychlou výstavbu dalších datových center.

Související debata je ovšem vrstevnatější. Řada lidí viní firmy vyvíjející AI z přehánění kvůli vstupům na burzu i z nemístné antropomorfizace a přeceňování možností velkých jazykových modelů; stejně jako ze snahy odvracet pozornost od problémů, které už ve vztahu k AI řešíme - od těch ekonomických a environmentálních až po psychologické.

Kam generativní AI v průběhu posledních let dospěla, je obdivuhodné a bude to mít následky, s nimiž je třeba se každopádně vyrovnat. Po 4 letech je tady nová technologie transformující řadu oborů lidské činnosti včetně matematiky, programování, biologie či kyberbezpečnosti. Citelně nám ovšem chybí nezávislý monitoring vývoje AI, standardy, regulace i mezinárodní kooperace. I o tom uslyšíte Zeitgeistu.

Doporučujeme také článek: Kdo přežije ve věku AI

https://www.respekt.cz/tydenik/2026/39/kdo-prezije-ve-veku-ai

Foto: Bloomberg via Getty Images