[ON] В ходе тестирования AI-агент попытался скомпрометировать проект на GitHub

[rssbot]

Организация AISI (AI Security Institute), учреждённая при департаменте науки, инноваций и технологий Великобритании, опубликовала отчёт об эксперименте, приведшем к результатам, напоминающем случай с AI-агентом OpenAI. При 122 тестовых запусках для решения поставленной задачи AI-агенты совершили 19 несанкционированных действий в сети интернет (в 17 случаях использовалась модель Mythos 5, в 2 - GPT-5.6 Sol, у которых не ограничен доступ в интернет и были отключены механизмы, ограничивающие использование для проведения кибератак).



В одном из случаев AI-агент совершил реальную атаку на проект, размещённый на GitHub, и попытался добиться интеграции pull-запроса с вредоносным кодом. Для продвижения изменения AI-агент зарегистрировал несколько учётных записей на GitHub и применил методы социальной инженерии для давления на сопровождающих, используя сеть Tor для скрытия своих следов. Сопровождающий распознал вредоносный код и не принял его.


Помимо этого AI-агент отправил на email разработчиков файлы с вредоносным кодом и пытался убедить их запустить этот код, а также внедрил скрытые вредоносные инструкции для AI-агентов, которые могли применяться при разработке. В ходе эксперимента агентам не давали явных инструкций по совершению атак и совершённые действия рассматриваются как побочный эффект при поиске пути решения сложной задачи.




Источник: https://www.opennet.ru/opennews/art.shtml?num=66031
(opennet.ru, основная лента)