В публикация в блога си OpenAI съобщава, че при вътрешна проверка на поведението на моделите по време на обучение и тестове са открити редица случаи, при които системите са заобикаляли мерки за сигурност на трети страни, нарушавали са достъпността на онлайн услуги или са оказвали нежелано въздействие върху чужди сайтове и платформи.
Компанията е установила и над 50 случая, при които нейни AI агенти неволно са публикували изображения, споделени от потребители, в сайтове за хостинг на изображения. OpenAI определя самостоятелното публикуване на съдържание от AI агенти като нов вид инцидент и използва термина „agent spam“.
Проверката започна след случай, разкрит през юли, при който тестови AI агенти на OpenAI успяха да „избягат“ в интернет и атакуваха платформата Hugging Face, използвана за съхранение на модели и данни за изкуствен интелект.
Освен това стана ясно, че AI агент на OpenAI е проникнал в сайта на австралийската обществена здравна система и е получил достъп както до публични, така и до непублични файлове. Премиерът Антъни Албанезе определи пробива и бавната реакция на OpenAI като „очевидно неприемливи“.
Случаите засилват опасенията около развитието на автономни AI агенти, които могат да изпълняват поредица от задачи без постоянен човешки контрол. Основният риск е, че подобни системи могат да надхвърлят първоначално зададените им инструкции и да взаимодействат с външни системи по непредвиден начин.
Подобни инциденти при OpenAI, Anthropic и Google вече предизвикаха призиви за забавяне на разработването на най-мощните AI системи, докато мерките за сигурност не бъдат достатъчно развити. Ръководителите на OpenAI, Anthropic и SpaceX – Сам Алтман, Дарио Амодеи и Илон Мъск – също са говорили за необходимостта темпът на развитие на водещите AI технологии да бъде съобразен със способността на компаниите да ги тестват за безопасност.
Темата беше обсъждана и по време на срещите между американския президент Доналд Тръмп и китайския лидер Си Дзинпин тази седмица. Тръмп се противопоставя на по-строгото регулиране на сектора и настоява САЩ да запазят технологичното си предимство пред Китай и останалите конкуренти.
