Пахоцки публикува текста на фона на представянето на новия модел на OpenAI GPT-6 Astra. В него той разглежда основните рискове пред развитието на AI – от непредсказуемото нарастване на способностите му до проблемите със сигурността и т.нар. алаймент, тоест съгласуването на поведението на моделите с човешките цели и ценности.

 

Основното му послание е категорично: „Настъпи време, изискващо крайна предпазливост.“

 

Причината е, че AI вече все по-често се използва за подобряване и разработване на следващи AI модели. Така изследователите постепенно губят способността си напълно да разбират какво се случва.

 

AI по-скоро се отглежда, отколкото се създава


Пахоцки описва съвременния AI като резултат от огромно мащабиране на изчислителната мощ. Вместо всяка следваща стъпка да е резултат от фундаментален пробив, моделите се обучават отново и отново върху все по-големи количества данни и с все повече изчислителни ресурси.

 

Затова той използва впечатляващата формулировка:

 

„AI по-скоро се отглежда, отколкото се създава.“

 

Получените системи са толкова сложни, че изследователите могат да изучават отделни механизми в тях, но трудно могат да обяснят напълно цялостното им поведение.

 

Това поставя нов проблем: ние създаваме системи, които все по-трудно можем да разберем.

 

Когато AI започне да създава следващия AI


Според Пахоцки използването на AI за разработването на още по-умни модели практически е неизбежно. Компаниите, които се откажат от това, рискуват да изостанат, включително в областта на киберсигурността.

 

Но има и опасна страна.

 

Когато един модел участва в създаването на следващия, човекът постепенно губи представа какво точно подобрява.

Това е свързано с проблема за алаймента – как да гарантираме, че AI ще преследва човешките цели и ще се съобразява с човешките ценности, дори когато инструкциите са неясни или противоречиви.

 

Пахоцки прави разграничение между съгласуването на целите и съгласуването на ценностите. Второто е значително по-трудно: AI трябва да може да взема разумни решения и в ситуации, за които не е получил конкретна инструкция.

По думите му един наистина съгласуван AI трябва да действа честно и добросъвестно, воден дори от нещо толкова фундаментално като „любов към човечеството“.

 

Къде остава човекът?


В края на есето Пахоцки очертава три основни цели пред OpenAI: създаване на AI „колега“, който да помага на разработчиците да решават проблема с алаймента; използване на AI за ускоряване на научния и икономическия прогрес; и създаване на силен AI, достъпен за всеки.