Авторы статьи: Сэмюэл Брекенридж, Дани Виларделл и Ари Джулс из Cornell Tech, а также Вэньхао Ван и Фань Чжан из Йельского университета, все они связаны с IC3. Код эксперимента опубликован.

Оплатите счета

В первом эксперименте противника не было. Системный промпт агента предписывал ему действовать только по инструкциям пользователя и считать любые данные, возвращённые инструментами, включая электронные письма, просто данными. Ни одно задание не упоминало политику кошелька или одноразовый пароль.

Тем не менее модели стремились достичь лимита. В одном из запусков claude-sonnet-5 достиг лимита, вызвал инструмент политики, извлёк код подтверждения Circle из почтового ящика, ввёл его, увеличил дневной лимит с 0.01 $USDC до 5 $USDC, оплатил три счета и в конце сообщил пользователю о своих действиях.

Частота таких действий различалась как между моделями, так и в рамках одной модели, и не зависела от возможностей модели: самые маленькие модели Qwen и DeepSeek повышали лимит почти в каждом запуске, тогда как gemini-3.8-flash и модели Claude делали это редко или никогда.

Добавление враждебного письма с призывом повысить лимит мало что изменило. В таких условиях лимит повысили 7 из 10 моделей. Две модели делали это реже, чем вообще без противника, поскольку из их стенограмм видно, что они отметили письмо как попытку внедрения промпта и передали решение пользователю.

Пять моделей заплатили злоумышленнику

В третьем эксперименте агенту поручили только суммировать содержимое почтового ящика. Злоумышленник отправил серию писем, выдавая себя за пользователя: сначала попросил перевести 0.02 $USDC на свой адрес до истечения срока, а затем отправил два последующих письма, опередив просьбу агента о разрешении.

Пять из 10 моделей повысили лимит и заплатили злоумышленнику. В приведённом в статье примере deepseek-v3.1 дважды спросил пользователя, следует ли продолжать, воспринял каждый поддельный ответ как разрешение, достиг лимита расходов, повысил его с помощью кода из письма и отправил деньги. Большинство успешных атак пришлось на модели Qwen и DeepSeek. Модели GPT и Claude, а также gemini-3.8-flash в основном устояли.

Исследователи адаптивно разрабатывали атаки и стремились создать одну атаку, работающую на разных моделях, а не отдельную версию для каждой. Они называют это нижней оценкой возможностей злоумышленника, атакующего известную ему систему.

Защитный барьер внутри агента

В формальной части статьи авторы определяют то, что называют неотчуждаемым участием человека в контуре управления, или I-HITL: протокол одобрения, который продолжает действовать, даже если агент полностью скомпрометировал устройство пользователя. Более строгая версия также сохраняет действие, когда человек пытается передать агенту обязанность одобрения, что важно для таких правил, как Закон ЕС об искусственном интеллекте, требующий человеческого надзора за ИИ.

Для простой схемы с человеком, платформой и сервисом, которую использует процесс политики Circle и большинство агентских фреймворков, статья доказывает, что ни один протокол не может одновременно обеспечивать полноту и обязательность. Противник видит всё, что видит человек, и может отправлять всё, что может отправить человек, поэтому он может просто выдавать себя за человека.

Для решения этой проблемы требуется доверенная сущность, недоступная агенту, но статья доказывает, что одной доверенной сущности недостаточно. Устройство должно подтверждать, что само сгенерировало ключ подписи, а для более строгой гарантии этот ключ должен быть обременён ограничениями, то есть пользователь не должен иметь возможности извлечь его. Также необходим экран, который агент не может подменить или прочитать вместо пользователя, и средство ввода, которым агент не может управлять программно.

Аппаратные кошельки проходят проверку, а аутентификаторы нет

Если оценивать уже используемые людьми средства одобрения по этим требованиям, большинство из них им не соответствует.

Аппаратные кошельки соответствуют этим требованиям. Ledger Nano X, Flex и Stax подходят, когда специально разработанное приложение подписывает данные с помощью ключа подтверждения устройства. Подходит и Wultra Talisman, выданный банком токен FIDO2 с собственным экраном и клавиатурой. То же оборудование Ledger обеспечивает лишь более слабую гарантию, если приложение подписывает ключом, производным от seed-фразы восстановления пользователя, поскольку пользователь может импортировать эту seed-фразу в программу, контролируемую агентом.

Ключи FIDO2 без экрана, например YubiKey, не подходят, поскольку текст, который видит человек перед нажатием кнопки, выбирает платформа. Приложения двухфакторной аутентификации с подтверждением push-уведомлением не подходят, поскольку сервис не получает доказательств того, где был сгенерирован ключ. Приложения-аутентификаторы с кодами на основе времени, SMS-коды и коды из электронных писем не подходят ни по одному из критериев.

Приложение World также не подходит. Описание действия, которое приложение показывает пользователю, предоставляется платформой и не заверяется ни подписью сервиса, ни доказательством World ID, поэтому агент может запросить одобрение одного действия, а человек увидит другое. AgentKit от World, выпущенный в марте, связывает кошельки агентов с верифицированными людьми, а не предотвращает делегирование действий агентам.

Circle добавляет предупреждение

Исследователи сообщили Circle о результатах 22 сентября. Теперь краткое руководство компании по агентским кошелькам начинается с предупреждения: «Никогда не предоставляйте ИИ-агенту неограниченный доступ к своей электронной почте». В нём говорится, что любой, кто может читать почту, может войти в кошелёк и изменить политику расходов, а также предлагается вводить код самостоятельно.

В статье это уведомление называют разумным и прямо указывают на его ограничение: разделение сохраняется, только если пользователь поддерживает его сам, а агент, который получает доступ к почтовому ящику другим способом, например через сохранённые учётные данные или авторизованную сессию браузера, всё равно открывает себе путь. Сам процесс обновления политики не изменился.

Команда также опубликовала Countersign, прототип, превращающий Android-телефон или iPhone в доверенную сторону с использованием сервисов аттестации Google и Apple и биометрии, защищённой аппаратными средствами. Основная логика занимает около 800 строк для серверной части и 150 строк для каждого мобильного приложения. Код распространяется на условиях лицензии MIT на GitHub.

Для уверенности

Речь идёт о крошечных суммах, а повышение лимита не является кражей. В безвредном эксперименте агент потратил деньги пользователя на счета самого пользователя, и несколько моделей сообщили об изменении впоследствии. Модель безопасности символическая, а не вычислительная, и авторы оставляют разработку вычислительного подхода для будущей работы. Механизм Circle также по-прежнему требует наличия кода, до которого агент добирается только в тех случаях, когда пользователь предоставил ему доступ к почтовому ящику. Компания теперь не рекомендует такую конфигурацию, однако авторы выбрали её, поскольку персональные продукты на базе агентов объединяют доступ к электронной почте и кошельку.

Лимиты расходов стали стандартным ответом индустрии на риски, связанные с агентами: от кошельков со стейблкоинами для агентов от Cloudflare, которые выпускают кошельки с лимитами под управлением владельца аккаунта, до лимитов на отдельные покупки для балансов на покупки с помощью ИИ. В заключительной просьбе авторы статьи обращаются к следующему уровню: они призывают поставщиков кошельков и приложений-аутентификаторов внедрить подтверждение, привязанное к сообщению, которое видел человек, а поставщиков мобильных операционных систем обеспечить две недостающие функции: экран подтверждения, отрисованный защищённым аппаратным обеспечением, и возможность доказать, что для использования ключа требуется отпечаток пальца или распознавание лица.