Anthropic выявили и предотвратили компанию по кибершпионажу при помощи ИИ

​

Команда, которая занимается выявлением и устранением угроз стартапа Anthropic смогла выявить кибератаку, которая была проведена практически на 100% при помощи ИИ. Компания по кибершпионажу была осуществлена людьми, но при помощи ИИ. На долю системы приходится от 80 до 90% всех выполненных действий.


Некоторые подробности


Предположительно китайские государственные структуры провели компанию кибершпионажа, которая получила называние GTG-1002. Основной аспект операции заключается в манипулировании моделью Claude Code от Anthropic. Хакеры стремились заставить ее работать, как автономного агента.


По ходу выполнения работ, ИИ нужно было проводить масштабные исследования, осуществлять разведку, разрабатывать эксплойты, выявлять уязвимости, собирать и изымать данные.


Люди выполняли роль высокоинтеллектуальных руководителей. Они отдавали ИИ маленькие, незначительные команды. Это позволило обойти блоки, поставленные для предотвращения мошеннических действий. Кроме этого, сами хакеры в основном представлялись сотрудниками Claude, которые


Но оказалось, что ИИ не смог предоставить максимально полезную информацию. Он выдавал огромное количество данных, которые нужно было фильтровать и сортировать. Большинство данных находились в открытом доступе и не имели ценности.


Благодаря глюкам ИИ, операцию атаку удалось выявить и предотвратить. Но эксперты указали, что хакеры или сотрудники спецслужб Китая проявили уникальную смекалку. Они смогли обойти разные блоки, которые заложены в основу ИИ.


Таким образом, выявлена и предотвращена первая в истории атака по кибершпионажу, выполненная при помощи ИИ.

Источник