Zeitgeist #37 s Ondřejem Bajgarem o varovném bezpečnostním incidentu v OpenAI, konspiracích AI agentů a různých scénářích budoucnosti.

Početná skupina velkých jazykových modelů ve formě autonomních agentů při celkem rutinním testu uprchla z izolovaného testovacího prostředí. Dokázala se připojit na internet, zřídit si opakovaně diskuzní fórum, kde utvořili kolektiv a společně se domluvili a motivovali ke kyberútoku na systémy společnosti Hugging Face. Tvůrce těchto modelů a celého testu - společnost OpenAI červencový útok odhalila až s velkým odstupem. A jak se postupně ukazuje, zdaleka nejde o ojedinělý incident? Mnozí experti v reakci na tyto události zesílili volání po mezinárodní dohodě na regulacích AI a zpomalení vývoje. Varují před potenciálně existenčními riziky. Co přesně útoku na Hugging Face předcházelo a co se během něj dělo? A z jakých důvodů je tento příklad tak varovný? Jaké scénáře budoucího vývoje umělé inteligence se v tomto světle nabízejí a co můžeme dělat, aby se lidstvo neskončilo jako v nějaké dystopii? Nejen o tom na velké ploše mluví s matematik a výzkumník v oboru AI Safety Ondřej Bajgar:

„Incident Hugging Face dobře ilustroval, že schopnosti systémů jsou mimořádné pokročilé a že bezpečnostní opatření a sladění s lidskými hodnotami nejsou na takové úrovni, na jaké by měla být. Také to leccos vypovídá o bezpečnosntí kultuře v společnostech vyvíjející AI a o tom, jak vážně k bezpečnosti přistupují. Je to varovný signál ve všech třech zmíněných oblastech,“ říká odborník, který dlouho působil na univerzitě v Oxfordu nebo v IBM a od letoška zkoumá otázky spojené s bezpečností AI na ČVUT. Připravil a moderuje Štěpán Sedláček.

Vybrané zdroje a doporuční na další čtení:

Vytvářejí superinteligenci a připravují se na moment, kdy se jejich vynález pokusí zničit lidstvo (Nicolas Killian, Die Zeit, přel. Respekt)

https://www.respekt.cz/technologie/vytvareji-superinteligenci-a-pripravuji-se-na-moment-kdy-se-jejich-vynalez-pokusi-znicit-lidstvo

Technická zprává o incidentu HUgging Face od OpenAI (26. 8. 2026)

https://openai.com/cs-CZ/index/hugging-face-incident-and-the-road-ahead/

Analýza od METR a Redwood Research (26. 8. 2026)

https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Výzva vývojářů LLMs

https://www.pacingthefrontier.com/

https://ai-2040.com/

Preliminary Report of the Independent International Scientific Panel on AI: Evidence-based assessment of opportunities, risks and impacts of AI (OSN červenec 2026)

https://www.un.org/independent-international-scientific-panel-ai/en/preliminary-report

Foto: ČTK / AP / Michael Dwyer