В публикация в X Хъбингър посочва, че се тревожи от възможността технологията скоро да достигне етап, в който AI системите могат да се усъвършенстват сами и да станат достатъчно мощни, за да представляват екзистенциална заплаха.
Той не обяснява конкретно по какъв начин подобна система би могла да застраши човечеството, пише BBC.
Предупреждението идва на фона на информация на Financial Times, че Anthropic не е предоставила най-новия си модел за оценка от британския Институт за безопасност на изкуствения интелект – AISI. Институтът е сред водещите организации, които изследват рисковете от най-мощните AI системи.
BBC е потърсила Anthropic за коментар.
„Нямаме план за суперинтелект“
Хъбингър направи изявлението си в отговор на публикация на Джейкъб Коксън. Той се представя като изследовател в областта на изкуствения интелект, който току-що е напуснал Anthropic, а преди това е работил в OpenAI.
„Нито една от двете компании не действа отговорно“, написа Коксън.
По думите му скоро могат да се появят системи със способности, надхвърлящи човешките. Той твърди, че те биха могли да извършват сложни кибератаки, да ускоряват развитието на цели научни области и да придобиват реални ресурси и влияние.
OpenAI също е потърсена за коментар.
Публикацията на Хъбингър е била видяна над 10 млн. пъти. В нея той подчертава, че предупрежденията за екзистенциален риск не са просто публична реторика.
„Ние наистина искрено вярваме“, че AI може да представлява риск за съществуването на човешкия вид, пише той.
„Смятам, че Anthropic прави всичко по силите си, но все още нямаме план как да решим проблема с подравняването при суперинтелект и не е ясно, че сме на път да го постигнем“, добавя Хъбингър.
Той работи именно в областта на т.нар. AI alignment – разработването на методи, които трябва да гарантират, че поведението на изкуствения интелект остава съобразено с човешките цели и ценности.
Опасения за все по-мощни AI системи
Предупреждението идва в момент, когато се засилва вниманието към действията на автономни AI агенти – системи, които могат да изпълняват задачи с ограничена човешка намеса.
Според BBC OpenAI, Anthropic и Meta са съобщили за случаи, при които техни AI инструменти са били използвани при кибератаки.
В доклад за безопасността от август Anthropic оценява като нисък риска нейни модели да се отклонят от зададените цели и да започнат да използват или манипулират системите на организация, разполагаща с мощен AI.
Компанията оценява като нисък и риска високоспособна AI система да извършва автоматизирана научноизследователска и развойна дейност, която да доведе до „катастрофални вреди“, предизвикани от самия изкуствен интелект.
Anthropic обаче посочва, че вече е по-малко уверена в тази оценка.
„Виждаме ранни признаци за възможно ускоряване“, се казва в доклада.
Предупрежденията стават по-категорични
Водещи фигури в сектора предупреждават за потенциалните рискове от AI от години.
През 2023 г. ръководители на OpenAI, Google DeepMind и Anthropic подкрепиха общо изявление, според което ограничаването на риска от изчезване на човечеството заради AI трябва да бъде глобален приоритет наред с други мащабни заплахи.
През последните седмици подобни предупреждения станаха по-категорични.
Главният учен на OpenAI Якуб Пахоцки призова за „изключителна предпазливост“ при развитието на технологията. Той предупреди, че може да са необходими допълнителни мерки, за да останат хората „в контрол над бъдещето“.
Сред представителите на сектора, които настояват развитието на най-мощните AI системи да бъде по-внимателно управлявано, са и ръководителят на Anthropic Дарио Амодей и съоснователят на компанията Джаред Каплан.
Те са сред подписалите отворено писмо, подкрепено от около 1300 служители в AI компании. В него американското правителство е призовано да подкрепи международни усилия за разработване на технически и управленски механизми, които да позволят контролирано развитие на най-мощните AI системи.
Оценката на Хъбингър за риск над 10% не представлява научно установена вероятност, а неговата лична преценка. Тя обаче показва колко сериозно част от изследователите, които работят върху безопасността на най-мощните AI модели, възприемат възможните рискове от бъдещото им развитие.
