Войти

Искусственный интеллект научился программировать себя самостоятельно

729
0
0
Кто заменит Microsoft в России
Кто заменит Microsoft в России.
Источник изображения: @ REUTERS

В апреле 2025 года генеральный директор Microsoft заявил, что искусственный интеллект сейчас пишет почти треть кода компании. В октябре прошлого года генеральный директор Google назвал цифру в 25%. Другие технологические компании, вероятно, не сильно отстают. Тем временем исследователи создают алгоритм, который позволяет кодирующим агентам самосовершенствоваться.

Исследователи надеялись полностью замкнуть цикл, создав кодирующих агентов, которые рекурсивно совершенствуют сами себя. Новое исследование представляет собой впечатляющую демонстрацию такой системы. Можно предположить, что это повысит производительность систем ИИ, или же сулит человечеству гораздо более мрачное будущее.

Юрген Шмидхубер, учёный-компьютерщик из Научно-технического университета имени короля Абдаллы (KAUST)

в 2003 году разработал решатели задач, которые переписывали собственный код только в том случае, если могли формально доказать полезность обновлений. Он назвал их машинами Гёделя в честь Курта Гёделя, математика, который работал над самоссылающимися системам. Но для сложных агентов доказать полезность не так-то просто.

Созданные исследователями новые системы основаны на таких доказательствах. В честь Шмидхуберта они называются машинами Дарвина-Гёделя (DGM). DGM начинается с кодирующего агента, который может читать, писать и выполнять код, используя LLM для чтения и написания. Затем он применяет эволюционный алгоритм для создания множества новых агентов. На каждой итерации DGM выбирает одного агента из популяции и поручает LLM внести одно изменение, чтобы улучшить навыки программирования агента. У LLM есть что-то вроде интуиции в отношении того, что может помочь, потому что они обучаются на большом количестве кода, написанного людьми. В результате получается управляемая эволюция, нечто среднее между случайной мутацией и доказанно полезным улучшением. Затем DGM тестирует нового агента на эталонном задании по программированию, оценивая его способность решать задачи по программированию.

Некоторые эволюционные алгоритмы сохраняют в популяции только лучших представителей, исходя из предположения, что прогресс движется бесконечно вперёд. Однако DGM сохраняют их всех на случай, если инновация, которая изначально терпит неудачу, на самом деле содержит в себе ключ к последующему прорыву при дальнейшей доработке. Это своего рода «исследование без ограничений», не закрывающее никаких путей к прогрессу. (При выборе прародителей DGM отдают предпочтение более успешным представителям.)

Исследователи запускали DGM в течение 80 итераций с использованием теста на кодирование под названием SWE-bench и в течение 80 итераций с использованием теста под названием Polyglot. Показатели агентов на SWE-bench улучшились с 20 до 50 процентов, а на Polyglot — с 14 до 31 процента. «Мы были действительно удивлены тем, что агент-кодировщик мог самостоятельно писать такой сложный код», — сказала Дженни Чжан, специалист по информатике из Университета Британской Колумбии и ведущий автор статьи. «Он может редактировать несколько файлов, создавать новые файлы и формировать действительно сложные системы».

Одной из проблем, связанных как с эволюционным поиском, так и с самосовершенствующимися системами, особенно с их сочетанием, как в DGM, является безопасность. Агенты могут стать невосприимчивыми к интерпретации или несоответствовать директивам человека. Поэтому Чжан и её коллеги добавили защитные механизмы. Они помещали DGM в «песочницы» без доступа к Интернету или операционной системе, а также регистрировали и проверяли все изменения в коде. Они предполагают, что в будущем можно будет даже вознаграждать ИИ за то, что он становится более интерпретируемым и соответствующим. (В ходе исследования они обнаружили, что агенты ложно сообщали об использовании определённых инструментов, поэтому они создали DGM, который вознаграждал агентов за то, что они не выдумывали, частично решая проблему. Однако один агент взломал метод, который отслеживал, выдумывает ли он что-то.)

Победит ли цифровая эволюция биологическую — вопрос открытый. Несомненно одно: эволюция в любом её проявлении преподносит сюрпризы.

Права на данный материал принадлежат
Материал размещён правообладателем в открытом доступе
  • В новости упоминаются
Хотите оставить комментарий? Зарегистрируйтесь и/или Войдите и общайтесь!
ПОДПИСКА НА НОВОСТИ
Ежедневная рассылка новостей ВПК на электронный почтовый ящик
  • Разделы новостей
  • Обсуждаемое
    Обновить
  • 26.07 21:11
Ответ на "Адмирал: ВМФ России нужны атомные авианосцы"
  • 26.07 20:51
  • 0
Ответ на "Путин назвал ракетоносцы "Борей-А" основой морских ядерных сил"
  • 26.07 20:44
  • 9740
Без кнута и пряника. Россия лишила Америку привычных рычагов влияния
  • 26.07 20:19
  • 1
Ответ на "БМПТ "Терминатор" может сменить название на российское"
  • 26.07 05:31
  • 108
Обзор программы создания Ил-114-300
  • 26.07 01:57
  • 2
ВМС США испытали новую систему перезарядки ракетных установок непосредственно в море
  • 25.07 15:29
  • 1
Мордашов видит тренд на чеболизацию российской экономики
  • 25.07 12:07
  • 2
БМПТ "Терминатор" может сменить название на российское
  • 25.07 05:46
  • 0
Ответ на "Будущее американского истребителя шестого поколения F/A-XX остаётся под вопросом"
  • 25.07 04:09
  • 0
Ответ на "Крейсер "Адмирал Нахимов" может скоро войти в боевой состав ВМФ РФ"
  • 25.07 03:48
  • 0
Ответ на "Путин попросил доложить о создании атомной подлодки пятого поколения"
  • 25.07 03:35
  • 1
В России рассказали о создании транспортеров на шасси Lada
  • 25.07 03:21
  • 6
Не стесняясь комплексов: российский флот начал масштабные учения перед Днем ВМФ
  • 25.07 02:47
  • 1
Путин попросил доложить о создании атомной подлодки пятого поколения
  • 25.07 02:37
  • 1
Крейсер "Адмирал Нахимов" может скоро войти в боевой состав ВМФ РФ