Компанията Mindgard, която тества сигурността на AI системи, съобщи пред BBC, че през юли е установила уязвимост в Kimi K2.6 и K3 Swarm. Чрез т.нар. „jailbreaking“ – сложни инструкции за заобикаляне на защитните механизми – изследователите успели да накарат моделите да обсъждат теми, които по принцип би трябвало да блокират.
Основателят на Mindgard Питър Гараган заяви, че след успешен jailbreak моделите могат не само да отговарят на опасни въпроси, но и сами да предлагат допълнителни идеи за злонамерени действия.
Mindgard не е доказала, че предоставената от Kimi информация за биологични оръжия действително би работила. Според компанията обаче защитите е трябвало изобщо да предотвратят подобни разговори.
Изследователите са установили и друг потенциален проблем – при заобикаляне на защитите Kimi 2.6 би могъл да позволява изпълнение на код върху изчислителните му ресурси и достъп до интернет, което според Mindgard създава риск моделът да бъде използван като отправна точка за кибератаки.
От Moonshot заявиха пред BBC, че приветстват обратната връзка от независими организации и водят разговори с Mindgard за установените проблеми. Компанията посочва, че при вътрешни тестове моделът обикновено отказва подобни заявки.
Случаят отново поставя въпроса за сигурността на AI моделите с отворени тегла. Проф. Алън Удуърд от Университета на Съри предупреждава, че подобни модели могат да попаднат в неподходящи ръце, но същевременно могат да бъдат използвани и за киберзащита.
Според него международното регулиране трудно ще се движи със скоростта на развитието на изкуствения интелект. Той, както и Mindgard, смята, че трябва да се обърне повече внимание на хората, които злоупотребяват с AI.
