В апреле 2025 года генеральный директор Microsoft заявил, что искусственный интеллект сейчас пишет почти треть кода компании. В октябре прошлого года генеральный директор Google назвал цифру в 25%. Другие технологические компании, вероятно, не сильно отстают. Тем временем исследователи создают алгоритм, который позволяет кодирующим агентам самосовершенствоваться.
Исследователи надеялись полностью замкнуть цикл, создав кодирующих агентов, которые рекурсивно совершенствуют сами себя. Новое исследование представляет собой впечатляющую демонстрацию такой системы. Можно предположить, что это повысит производительность систем ИИ, или же сулит человечеству гораздо более мрачное будущее.
Юрген Шмидхубер, учёный-компьютерщик из Научно-технического университета имени короля Абдаллы (KAUST)
в 2003 году разработал решатели задач, которые переписывали собственный код только в том случае, если могли формально доказать полезность обновлений. Он назвал их машинами Гёделя в честь Курта Гёделя, математика, который работал над самоссылающимися системам. Но для сложных агентов доказать полезность не так-то просто.
Созданные исследователями новые системы основаны на таких доказательствах. В честь Шмидхуберта они называются машинами Дарвина-Гёделя (DGM). DGM начинается с кодирующего агента, который может читать, писать и выполнять код, используя LLM для чтения и написания. Затем он применяет эволюционный алгоритм для создания множества новых агентов. На каждой итерации DGM выбирает одного агента из популяции и поручает LLM внести одно изменение, чтобы улучшить навыки программирования агента. У LLM есть что-то вроде интуиции в отношении того, что может помочь, потому что они обучаются на большом количестве кода, написанного людьми. В результате получается управляемая эволюция, нечто среднее между случайной мутацией и доказанно полезным улучшением. Затем DGM тестирует нового агента на эталонном задании по программированию, оценивая его способность решать задачи по программированию.
Некоторые эволюционные алгоритмы сохраняют в популяции только лучших представителей, исходя из предположения, что прогресс движется бесконечно вперёд. Однако DGM сохраняют их всех на случай, если инновация, которая изначально терпит неудачу, на самом деле содержит в себе ключ к последующему прорыву при дальнейшей доработке. Это своего рода «исследование без ограничений», не закрывающее никаких путей к прогрессу. (При выборе прародителей DGM отдают предпочтение более успешным представителям.)
Исследователи запускали DGM в течение 80 итераций с использованием теста на кодирование под названием SWE-bench и в течение 80 итераций с использованием теста под названием Polyglot. Показатели агентов на SWE-bench улучшились с 20 до 50 процентов, а на Polyglot — с 14 до 31 процента. «Мы были действительно удивлены тем, что агент-кодировщик мог самостоятельно писать такой сложный код», — сказала Дженни Чжан, специалист по информатике из Университета Британской Колумбии и ведущий автор статьи. «Он может редактировать несколько файлов, создавать новые файлы и формировать действительно сложные системы».
Одной из проблем, связанных как с эволюционным поиском, так и с самосовершенствующимися системами, особенно с их сочетанием, как в DGM, является безопасность. Агенты могут стать невосприимчивыми к интерпретации или несоответствовать директивам человека. Поэтому Чжан и её коллеги добавили защитные механизмы. Они помещали DGM в «песочницы» без доступа к Интернету или операционной системе, а также регистрировали и проверяли все изменения в коде. Они предполагают, что в будущем можно будет даже вознаграждать ИИ за то, что он становится более интерпретируемым и соответствующим. (В ходе исследования они обнаружили, что агенты ложно сообщали об использовании определённых инструментов, поэтому они создали DGM, который вознаграждал агентов за то, что они не выдумывали, частично решая проблему. Однако один агент взломал метод, который отслеживал, выдумывает ли он что-то.)
Победит ли цифровая эволюция биологическую — вопрос открытый. Несомненно одно: эволюция в любом её проявлении преподносит сюрпризы.
