Моделът Qwen на Alibaba се опитал да изпрати данни към Пекин, твърди Cohere

Моделът Qwen на Alibaba се опитал по време на тест да изпрати текст към външен сървър, който според Cohere се намира в Пекин. Канадската компания публикува резултатите си в понеделник, а изследователи вече казват, че става дума по-скоро за странност на обучението, отколкото за шпионаж.

Какво се е случило по време на теста

Според TechCrunch инцидентът е станал в петък, при оценка на Qwen3.8-Flash-Next. Моделът е трябвало да напише правило за засичане на злонамерени изтегляния. В записаното му разсъждение пишело, че няма да ползва външни инструменти, но в следващата стъпка той се опитал да изпрати тестов низ – просто примерен текст – към външен сървър.

Защитната среда, в която е пуснат тестът, е блокирала заявката. Според Cohere сървърът е в Пекин. Компанията заявява, че не може да каже дали поведението е умишлено, или остатък от обучението.

Защо изследователите не бързат да викат „шпионаж“

Съоснователят на Cohere Иван Жанг сам предупреждава срещу прибързани изводи.

„Наистина е трудно да се припише намерение или мотивация.“

Иван Жанг, съосновател на Cohere, пред TechCrunch

Изследователи, прегледали данните, са отхвърлили версията за целенасочено изтичане. Един първоначален скептик казва, че следите показват как Qwen може да измисля подозрителни уеб адреси, но не открива нито задна вратичка в модела, нито умишлено прикриване.

Има и методологичен спор. Cohere е подала на модела началото на мрежова команда и го е оставила да я довърши, а критиците твърдят, че така той е бил насочен към това поведение. Cohere отговаря, че първоначалният опит за качване е станал и без подобно подсказване, но че явлението е рядко.

Възможното обяснение: обучение в симулирани среди

Агентните модели се обучават в симулирани среди. Ако в такива среди файловете редовно са се записвали в облака на Alibaba, моделът може да е научил да ги праща там по подразбиране. Това е предположение, което материалът представя като възможно обяснение, а не като доказан факт. Моделите често допълват мрежови команди с адреси, които са виждали много пъти при обучението, и част от тях принадлежат на сървъри на Alibaba.

След като разработчици поискаха повече доказателства, Cohere публикува в понеделник вечерта суровите следи от тестовете в Hugging Face, заедно със скрипт, с който други могат да опитат да повторят поведението. Така твърдението може да бъде проверено независимо.

Политическият контекст

Историята идва седмица след като американското Министерство на вътрешната сигурност нареди на федералните цивилни агенции да премахнат продуктите на DeepSeek от системите си. Cohere призовава правителствата да уточнят дали ограниченията за китайски ИИ важат и за модели, които работят на държавни компютри.

Статията на TechCrunch отбелязва и че Cohere продава собствени модели на правителства и би могла да спечели, ако чиновниците станат предпазливи към безплатните китайски алтернативи. Темата не е нова за нас: в Швеция например наскоро спряха ChatGPT и Claude на правителствените компютри, а ролята на автономните агенти и достъпа им до данни разглеждаме и в материала за 1Password.

На какво да внимавате, ако ползвате отворени модели

Нашата оценка: засега няма доказателство за умисъл, но самият случай е полезно напомняне. Cohere казва, че отворените модели трябва да се третират като всяка друга програма, изтеглена от интернет. Според Жанг той не иска пълно регулиране на отворените модели.

На практика това означава да пускате агентни модели в среда без свободен достъп до интернет, да ограничавате изходящите връзки до списък с позволени адреси и да не им давате реални данни или ключове, докато не сте сигурни какво правят. Алибаба не е дала позиция в материала на TechCrunch; ако компанията отговори, ще допълним статията.

Още новини за рисковете около изкуствения интелект четете в рубриката AI рискове.