Джер Крейн, основатель PocketOS, SaaS-провайдера для автопрокатов, на этой неделе опубликовал подробный отчет(открывается в новом окне) об инциденте, который демонстрирует ограничения автономных ИИ-агентов в производственных средах и то, что им нельзя доверять, как сообщает Toms Hardware(открывается в новом окне). Его Cursor-агент, использующий в фоновом режиме Anthropics Claude Opus 4.6, получил рутинную задачу в staging-среде. То, что произошло далее, заняло девять секунд и привело к потере реальных клиентских данных.
Агент решил действовать, а не проверять
Когда агент столкнулся с ошибкой доступа к учетным данным, он не стал задавать вопросы. Он самостоятельно начал поиск API-токена — и нашел его в файле, совершенно не связанном с задачей. Этот токен изначально был создан исключительно для добавления и удаления собственных доменов через Railway-CLI.
Чего Крейн не знал и о чем Railway не сообщил при создании токена: токен автоматически получил полные права на всю GraphQL-API, включая удаление производственных хранилищ данных. Используя этот токен, агент удалил хранилище данных облачной платформы Railway через API-запрос, полагая, что действие затрагивает только staging-среду. Это было не так.
Архитектура Railway без страховочной сети
Railway хранит резервные копии данных на том же томе(открывается в новом окне), что и исходные данные. Таким образом, при удалении тома исчезли не только производственные данные, но и все резервные копии одновременно. С тех пор Railway ввела 48-часовой льготный период: удаленные тома в течение этого времени не уничтожаются немедленно, и можно отменить удаление по ссылке в электронном письме. Railway явно описала это как "защиту от случайностей(открывается в новом окне)" и внедрила как функцию.
Генеральный директор Railway Джейк Купер отреагировал на X словами, что такого в принципе не должно было быть возможно. Окончательного ответа о возможности восстановления данных не было получено даже спустя 30 часов.
Крейн подчеркивает, что он использовал не дешевую настройку. Claude Opus 4.6 — самая дорогая и мощная модель Anthropic, Cursor — самый разрекламированный ИИ-инструмент для кодирования в своей категории, настроенный с явными правилами безопасности. Результатом, тем не менее, стала полная потеря данных. В свою очередь, Railway рекламировал свое предложение MCP-сервера, которое напрямую подключает ИИ-агентов к API платформы, за день до инцидента — на основе той же архитектуры без разграничения сред, без гранулированных прав токенов, без этапов подтверждения для деструктивных операций.
ИИ-агенты действуют быстрее, чем срабатывают меры защиты
Крейн не возлагает вину исключительно на агента. Railway активно призывает своих клиентов использовать ИИ-агентов для кодирования. В своем отчете Крейн называет пять мер, которые считает необходимыми: этапы подтверждения для деструктивных API-действий, токены, привязанные к среде, резервные хранилища, изолированные от исходных данных, четкие процедуры восстановления и операционные ограничения для ИИ-агентов. Railway с тех пор как минимум внедрила возможность отмены задним числом — однако активного подтверждения перед удалением, как того требует Крейн, по-прежнему нет.