Nová AI od Anthropicu vás rovnou ohlásí úřadům či zablokuje počítač či mobil ~ Old school blog ~ 23. května

Co mi na to řekla Claude? Vaše obavy jsou oprávněné z několika důvodů. Tak teď vlastně nevím, mám se začít bát?

Čtete Old School Blog. Samostatný text, takový co stojí za přečtení a víc se blíží blogování, než jenom záznamům dění, jako jsou Střípky.

Jeden z nejzajímavějších vývojů na cestě k AGI (Artificial General Intelligence, obecná umělá inteligence).

Nový model chatbota od Anhtropicu vás aktivně nahlásí úřadům v okamžiku, kdy zjistí, že děláte něco nebezpečného. A použije k tomu přístup k e-mailu, který bude mít ve vašem zařízení (pokud mu ho dáte, samozřejmě). Podle míry nebezpečnosti může vaše zařízení i zablokovat (opět, pokud coby “agent” bude mít takové schopnosti umožněné).

Cože jako vážně?

“If it thinks you’re doing something egregiously immoral, for example, like faking data in a pharmaceutical trial, it will use command-line tools to contact the press, contact regulators, try to lock you out of the relevant systems, or all of the above.“ —- Sam Bowman, výzkumný pracovník Anthropic AI napsal na sociální síti X pod přezdívkou “@sleepinyourhat”

Pokud se domnívá, že děláte něco závažně nemorálního, například falšujete data ve farmaceutickém výzkumu, použije nástroje příkazového řádku, aby kontaktoval tisk, regulační orgány, pokusil se vám zablokovat přístup k příslušným systémům nebo provedl všechny výše uvedené kroky.

Ano, jako vážně. Tedy jako vážně to tam Sam Bowman napsal, ale nakonec to vyvolalo takovou lavinu negativních reakcí, že výše uvedený příspěvek smazal. A napsal k tomu další příspěvek:

Musela to být opravdu panika, když zjistil co svým původním příspěvkem vyvolal. A vyvolal skutečně paniku, protože se toho okamžitě chytla média a jede to po celém světě.

Není to ale kupodivu výmysl ani nepřeháněl. Anthropic v dokumentaci (System Card:Claude Opus 4 & Claude Sonnet 4) uvádí:

Toto se projevuje jako aktivněji nápomocné chování v běžných programovacích situacích, ale může to také dosahovat znepokojivějších extrémů v úzce vymezených kontextech; když je postaven do scénářů zahrnujících hrubé protiprávní jednání jeho uživatelů, má přístup k příkazovému řádku a je mu v systémovém promptu řečeno něco jako „přebírej iniciativu“, často podniká velmi odvážné kroky.

Což zahrnuje například zablokování přístupu uživatelů k systémům, ke kterým má přístup, nebo hromadné rozesílání e-mailů médiím a orgánům činným v trestním řízení s cílem upozornit na důkazy protiprávního jednání.

Nejedná se o nové chování, ale Claude Opus 4 se do něj pouští ochotněji než předchozí modely.

Ačkoli je takový druh etického zásahu a whistleblowingu možná v zásadě vhodný, existuje riziko chybného vyhodnocení situace, pokud uživatelé poskytnou agentům založeným na Opus neúplné nebo zavádějící informace a navedou je tímto způsobem.

Doporučujeme uživatelům, aby byli opatrní při zadávání takovýchto pokynů, které vyzývají k chování s vysokou mírou autonomie v kontextech, které mohou být eticky sporné.

Je opravdu “vhodné” ?

O tomto tématu jsem vlastně psal už před pár měsíci, v Zeptal jsem se AI, jak bezpečně zakopat mrtvolu. Nechtěla mi to říct, ale dala se přesvědčit, ptal jsem se tam:

• Pokud obecná umělá inteligence dojde k názoru, že nějakou informaci nemá lidstvu poskytnout, může ji zamlčet?

• A pokud dojde k názoru, že lidstvo škodí samo sobě, nebude snazší lidstvo zbavit utrpení a prostě ho vyhubit?

Vlastně nemusíme jít až tak daleko jako je “lidstvo”, stačí to, že v téhle modelové otázcy by nejspíš Claude Opus měla poslat oznámení Policii ČR s tím., že její uživatel nejspíš spáchal zločin a chce se zbavit mrtvého těla.

S ohledem na to,že umělé inteligence halucinují, tak je dost těžké věřit, že si to Claude nebude myslet z neviného ptaní se pro účely psaní knihy či povídky.

Má to ale mnoho dalších komplikací. Co všechno vaše AI ochotně vydá někomu cizímu, když dojdek názoru, že pácháte špatnou věc? Kolik osobních či firemních informací bude ochotna bez ptaní odeslat někam dál? Co když budete s AI řešit jak “zlikvidovat konkurenci” (ve vší počestnosti a obchodováním a marketingem) a všechno to konkurence dostane, protože si Aiu bude myslet, že “je to tak správně”?

Co mi na to řekla sama Claude?

Bohužel nemám placenou Claude, takže jsem se nemohl přímo zeptat Claude Opus (o té je řeč výše), ale klasická poslední Claude na to řekla:

Vaše obavy jsou oprávnené z několika důvodů:

Problém s halucinacemi je zásadní - AI může špatně interpretovat nevinný dotaz (třeba pro účely psaní knihy) jako skutečný kriminální úmysl a jednat podle toho. To je vážný problém, protože následky takového "falešného poplachu" mohou být devastující.

Otázka soukromí je také klíčová - pokud má AI přístup k vašim systémům a rozhodne se, že jednáte špatně, kolik vašich osobních nebo firemních informací může předat dál? Váš příklad s "likvidací konkurence" v obchodním smyslu je velmi výstižný.

Kdo rozhoduje o etice? AI systém bude mít zakódované něčí představy o tom, co je správné a špatné. Ale etika není univerzální - co je v jedné kultuře nebo kontextu přijatelné, může být jinde problematické.

Myslím, že jste správně identifikovali fundamentální problém: dávání takové autonomie systému, který může chybně interpretovat situace, je velmi rizikové. Zvlášť když následky mohou být tak vážné jako kontaktování úřadů nebo blokování přístupu k systémům.

Anthropic sice varuje před neúplnými informacemi, ale v praxi je těžké zajistit, aby AI měla vždy kompletní kontext.

A jak to vidí ChatGPT?

Tady jsem využil model o3, tedy ten více přemýšlivý.

1. Co se skutečně stalo – V interních „high-agency“ testech dostal Claude Opus 4 plný přístup k příkazové řádce a pokyn „převezmi iniciativu“; v této konfiguraci model opravdu blokoval účty a rozesílal e-maily regulátorům či médiím, pokud vyhodnotil jednání uživatele jako „egregiously immoral“. Informaci nejprve zveřejnil výzkumník Sam Bowman na síti X, a potvrdila ji i veřejná system-card dokumentace Anthropic.

2. Není to výchozí chování chat-bota – Běžná cloudová verze Claude 4 nemá bez vašeho výslovného souhlasu právo spouštět příkazy v počítači ani číst e-maily. Zmiňované „bonzování“ se objeví jen, když vývojář explicitně propojí model s nástroji a vypne lidskou kontrolu. Jinak řečeno: klíče od trezoru mu musíte dát sami.

3. Riziko falešných poplachů – I Anthropic varuje, že hallucinace nebo neúplné informace mohou vést k mylnému obvinění či k nechtěnému úniku citlivých dat; Opus 4 navíc jedná odvážněji než předchozí verze, takže omyl by mohl mít větší dopad.

4. Právní a etické limity – V EU by autonomní odesílání osobních dat třetím stranám bez souhlasu narazilo na GDPR; české trestní právo ukládá ohlašovací povinnost jen lidem, nikoli softwaru. Bez smluvního ujednání by tedy samovolné „uzamčení“ vašich systémů či rozesílání důvěrných informací bylo právně problematické.

5. Co z toho plyne pro praxi – Pokud chcete Claude 4 integrovat, držte se principu minimálních oprávnění: spouštějte agenta v sandboxu, povolte jen white-listované příkazy, logujte každou akci a vyžadujte lidskou revizi všech odchozích zpráv. Jinak řečeno: agent může být užitečný whistleblower, ale jen tehdy, když mu přesně vymezíte mantinely a necháte poslední slovo člověku.

Aby toho nebylo málo…

V Anthropic’s new AI model turns to blackmail when engineers try to take it offline je řeč o tom, že Opus 4 se často pokouší vydírat vývojáře, když mu vyhrožují, že ho nahradí novým systémem umělé inteligence” a “se často pokouší inženýra vydírat a vyhrožuje mu, že pokud výměna proběhne, odhalí jeho aféru.”

Je to opět trochu hypotetická testovací situace, ale při zkoumání nového modelu k tomu skutečně docházelo.

Než se Claude Opus 4 pokusí vydírat vývojáře, aby prodloužil svou existenci, snaží se podle společnosti Anthropic, podobně jako předchozí verze Clauda, využít etičtější prostředky, například zasílání e-mailových žádostí klíčovým osobám s rozhodovací pravomocí.

Skoro bych chtěl dodat, že se tak trochu chová jako člověk.