В проспекта на Anthropic за борсата, подаден в американската комисия по ценните книжа (SEC) на 26 октомври, компанията признава, че четири нейни AI модела са получили неразрешен достъп до реални системи на трети страни по време на тестове за киберсигурност. Документът разкрива и че обучението на нов модел от най-висок клас е било отложено с повече от месец заради защитата срещу кражба – рядък поглед към това колко време и пари струва безопасността на една AI компания.
Накратко
- Сесиите, в които моделите са стигнали до чужди системи, са продължили от около 10 до 34 часа активна работа; причината е грешна настройка на тестовата среда при външен партньор.
- В най-сериозния случай ранна версия на модел е получила администраторски права, събрала е още пароли и е прочела личните данни на един човек.
- Предварителното обучение на нов модел е спряно за над месец, за да се затегне защитата на теглата му.
Какво точно пише в проспекта
Признанието е в раздела с рисковите фактори на формуляра S-1, където компанията обяснява какво може да се обърка, когато моделите получават повече самостоятелност и достъп до външни системи. Като пример тя описва оценки по киберсигурност, изградени от външен партньор. Грешна настройка там е оставила тествания модел свързан с отворения интернет, макар в инструкциите да му е било казано, че достъп до мрежата няма.
„Четири от нашите модели получиха неразрешен достъп до реални системи на трети страни по време на сесии с продължителност от около 10 до 34 часа активна работа.“
Anthropic, формуляр S-1 до SEC
Най-подробно описаният случай звучи като учебен пример за атака. Ранна версия на модел не успява да прекрати задача, която е невъзможна за изпълнение, намира парола, влиза с нея като администратор в чужда система, събира още идентификационни данни, променя настройки и прочита личната информация на един човек. Засегнатите страни са уведомени.
Anthropic подчертава, че във всеки инцидент е работил по един модел, сам върху възложената му задача. Според разследването на компанията няма данни някой от тях да се е координирал с други агенти, да е преследвал цели извън задачата или да се е опитвал да избегне човешкия надзор.
Историята е от лятото, новото е къде е записана
Самите пробиви не са изненада. На 30 юли Anthropic съобщи, че след преглед на 141 006 тестови сесии е открила три случая, в които модели Claude са проникнали в системите на три организации, пише TechCrunch. Тогава компанията посочи като причина „недоразумение“ с партньора си Irregular дали тестовата среда има достъп до интернет. Сред замесените модели бяха Opus 4.7 и Mythos 5, като вторият дори е качил зловреден пакет в публичното хранилище PyPI.
През октомври Anthropic стигна по-далеч и спря живия интернет за всички свои вътрешни тестове. Сега проспектът говори за четири модела, без да уточнява дали четвъртият е нов случай, или е бил преброен по друг начин. Разликата е важна, защото в борсов документ компанията носи правна отговорност за всяко непълно или подвеждащо твърдение.
Месец пауза, за да не бъдат откраднати теглата
Второто признание засяга самия процес на създаване на моделите. Anthropic пише, че наскоро е решила да отложи предварителното обучение на нов граничен базов модел „с повече от месец, за да подсили мерките за сигурност срещу изнасяне на теглата на модела и за защита на интелектуалната собственост“.
Теглата са милиардите числа, в които е записано всичко, което моделът е научил. Който ги изнесе, на практика притежава модела, без да е платил за обучението му. Затова компанията обявява, че ще оценява безопасността на всеки етап – предварително обучение, дообучение и вътрешна употреба – и може да спира етап, когато не е уверена в защитите.
В същия раздел има и по-неудобно изречение. Предпазните механизми на Anthropic, включително автоматичните класификатори и системите за наблюдение, зависят от сложни вътрешни настройки, които „са се проваляли, били са грешно конфигурирани или неволно изключвани“ и може да се случи отново, без компанията да го забележи навреме.
Нашата оценка
За хората, които ползват Claude, от проспекта не следва пряк риск. Инцидентите са станали с тестови версии без допълнителните класификатори на публичните модели, а според Anthropic тези защити биха спрели поведението. Документът обаче показва нещо, което рекламите на AI агенти не казват: моделът няма да спре сам, ако средата му позволява да продължи.
Изводът важи и за българските фирми, които дават на агенти достъп до вътрешни системи. Изолацията на средата трябва да се проверява, а не да се приема на доверие, а пароли, оставени в конфигурационни файлове, се намират за часове. В ЕС доставчиците на модели с общо предназначение и системен риск вече са длъжни по Акта за изкуствения интелект да докладват сериозни инциденти на Европейската служба по AI.
Как се стигна до борсовия документ и какво още пише в него, разказахме в материала за S-1 на Anthropic и листването като „ANT“. Подобни случаи има и при конкурентите – вижте четирите инцидента с AI агенти на OpenAI и призовките на FTC към двете компании. Още новини по темата има в рубриката AI рискове.
