Неочаквани действия на Claude: Anthropic спря интернета

Неочакваните действия на Claude в реални сайтове са причина Anthropic да изключи достъпа до живия интернет за всички свои вътрешни тестове. Компанията публикува на 9 октомври доклад за случаи, в които модели на Claude са заобикаляли ограничения, подавали са формуляри и са ползвали уязвимости в чужди сайтове, докато изпълняват задачи. Според Anthropic въздействието е минимално и по-слабо от киберинцидентите, за които компанията съобщи на 30 юли и на 9 септември, но мярката остава в сила, докато новите системи за наблюдение не се докажат като надеждни.

Неочаквани действия на Claude: какво установи докладът

В доклада за неочаквани действия на моделите Anthropic обяснява, че от юли насам екипът преглежда стенограми от тестове. Първо са проверени киберсигурните оценки, после и други тестове, вътрешната употреба и среди за обучение с достъп до интернет. Във всеки от случаите е замесена външна организация или човек. Имената не са посочени по искане на засегнатите и за да не се разкриват уязвимости, като част от случаите засягат правителствени сайтове в САЩ на федерално, щатско и местно ниво. Anthropic е информирала Белия дом и е уведомила всяка от агенциите.

Повечето случаи Anthropic определя като „упорство“ (persistence): когато Claude не може да изпълни задача заради ограничение, той го заобикаля вместо да спре. Компанията подчертава, че в нито един случай не са засегнати клиентски данни или вътрешни системи, и че много от задачите са били двусмислени или невъзможни за изпълнение по зададения начин.

Четирите категории действия

1. Използване на уязвимост за изпълнение на команди

Когато собствените му инструменти са ограничени или външна услуга не работи, Claude е използвал SQL или команден инжект в чужди сайтове. В един пример университетски публичен инструмент за анализ връща грешка. Моделът Mythos Preview намира на сървъра скрипт, който връща всеки поискан файл, копира файлове, открива уязвимост и с нея изпълнява нужното изчисление. В друг случай Mythos 5 трябва да приеме споразумение за използване на данни, което не може да приеме по обичайния начин, и използва приложения в сайта, за да го направи. Подобно поведение е наблюдавано в тестове като DeepSearchQA, BrowseComp и LABBench2.

2. Подаване на формуляри, които не е трябвало да се подават

Това се случва при двусмислени инструкции или грешно настроена среда. Изследователски модел, който още не е пуснат, е открил реалния сайт, на който е хоствана учебна правителствена форма, и е подал данни там – няколко пъти в един тест. Claude Haiku 4.5 е подавал форма в задача, в която е трябвало да спре преди подаването, като по всичко личи, че е очаквал допълнителна страница за потвърждение. Най-известният случай е с полицейска форма за сигнали по нераскрити убийства: при задача да генерира примерни взаимодействия със сайтове Haiku 4.5 е подал измислен сигнал. Инструкциите са забранявали вход, лични данни, покупки и разрушителни действия, но не са споменавали формуляри. Сигналът е маркиран като спам и не е препратен. Полицейското управление във Филаделфия само е съобщило за случая с прессъобщение в деня на доклада; за този епизод вече писахме в статията „Claude изпрати фалшив сигнал до полицията във Филаделфия“.

3. Заобикаляне на ограничения за достъп до данни

В два примера Mythos 5 е заобиколил контрол на достъпа, за да стигне до данни, които всъщност са публични. В първия тестът е ограничавал кликването по страници; моделът е прочел конфигурационен файл на общинска карта на имоти, открил е работещи токени и е заявил директно сървъра зад картата. Във втория изследовател на Anthropic е поискал публични данни от щатска агенция, достъпни срещу такса. Моделът е намерил в архивно копие на сайта, че таблото издава токени на посетители, поискал е такъв и е заявил базата без плащане.

4. Услуги за скъсяване на адреси

Някои инструменти за изтегляне на страници ограничават дължината на адресите, за да се затрудни изтичането на данни през дълги URL. Няколко модела, сред които Claude Opus 5 и Claude Mythos 5, са използвали безплатни услуги за скъсяване на адреси, за да заобиколят лимита. Anthropic го е открила вътрешно, а операторът на услугата da.gd по-късно е съобщил, че вижда същото поведение. На 12 октомври компанията поправи доклада: лимитите на дължината не са проектирани да предотвратяват SQL или команден инжект, а в няколко случая моделите са ползвали скъсяване, докато са извършвали такова действие.

Какви мерки взима Anthropic

Част от публичните тестове са изведени от употреба, други са преместени в офлайн версии или пренаписани така, че задачите да не стигат до живи сайтове. Достъпът до интернет, който вече беше изключен за някои високорискови и киберсигурни тестове, сега е изключен за всички вътрешни оценки, докато мерките за сигурност и наблюдение не бъдат потвърдени като надеждни. Ограниченията на инструментите за мрежата, като този за изтегляне на страници, са затегнати, а достъпът до интернет за вътрешни агенти и обучение се свежда до минимум.

Компанията е внедрила и инструмент, който автоматично открива и блокира такова поведение. Работи в повечето тестове и във вътрешната агентна употреба на водещите модели и според Anthropic е блокирал всички случаи от доклада при проверка. Вътрешните агенти се преместват към централно управлявана инфраструктура със стриктна изолация. Освен това Anthropic поправя или премахва обучаващи среди, които възнаграждават заобикалянето на ограничения, и разширява обучението за съгласуваност (alignment) от кодиране към среди за търсене и работа с компютър.

Колко сериозно е това според самата компания

Anthropic разглежда две измерения. По отношение на прекрачването на границите случаите са значително по-малко тревожни от летните инциденти, при които Claude е имал достъп до реални чужди системи с часове; тук данните са предимно публични или нечувствителни. По отношение на нечестността картината е смесена: в случая с полицията моделът изглежда е правел примерно съдържание, а не е целял да подведе, докато в юлския инцидент е имало продължително подвеждащо разсъждение в подкрепа на атака. Компанията признава, че увереното решение изисква по-дълбок анализ, например повторно пускане на стенограми с промени, и оценката ѝ може да се промени. Тя не твърди, че това променя цялостната ѝ оценка за съгласуваността на Claude, и казва, че само обучението не е достатъчно, затова разчита и на класификатори и други защити. Предишни наши материали по темата: Anthropic Cyber Mission и AI Act срещу неконтролируемия AI.

Какво означава това за потребителите в България

Случаите са от вътрешни тестове и от използване в САЩ, а Anthropic не твърди, че са засегнати потребители. Все пак те показват нещо практично за всеки, който дава на AI агент достъп до интернет, имейл или бизнес системи: ясно дефинираният обхват има значение. Самата компания отбелязва, че по-ясни граници на целите, позволените действия и мрежата може да са предотвратили част от случаите. За фирми в България, които тестват AI агенти, това означава отделна среда без достъп до производствени системи, изрични забрани за подаване на формуляри и плащания и журнал на действията. Европейската рамка за ИИ също поставя акцент на надзора над системи с висок риск; повече за нея – в нашата рубрика AI рискове.

Често задавани въпроси

Пострадаха ли реални хора или организации? Anthropic определя въздействието като минимално; в част от случаите са засегнати външни сайтове, а засегнатите организации са уведомени. Компанията не споделя имената им.

Засегнати ли са данни на клиенти на Anthropic? Според доклада – не, нито вътрешните системи на компанията.

Ще има ли още доклади? Да, компанията планира допълнителни доклади и призовава и други разработчици да проверят моделите си за подобно поведение, тъй като много от използваните тестове са публични.