Разработчик инструмента командной строки с открытым исходным кодом Curl, Даниэль Стенберг, не в восторге от способностей ИИ-модели Mythos по поиску уязвимостей безопасности. Как он пишет в своем блоге (открывается в новом окне), он пришел к выводу, что заявления Anthropic о возможностях модели являются в первую очередь маркетингом, и она не представляет собой значительного прорыва в области ИИ-безопасности.

Стенберг поясняет, что он подал заявку на участие Curl через Linux Foundation в проекте Glasswing, в рамках которого Anthropic предоставляет экспертам по кибербезопасности доступ к Mythos. Вместо прямого доступа к модели, Mythos был использован другим человеком для исследования кодовой базы Curl, и Стенберг получил отчет только позже.

Отчет, составленный на основе сканирования Mythos Git-репозитория Curl, содержал лишь пять пунктов, которые были объявлены подтвержденными уязвимостями безопасности. Стенберг ожидал значительно более обширного списка. Тем не менее, он и его команда безопасности приступили к проверке этих пунктов.

Mythos способен на хорошую работу

По словам Стенберга, спустя несколько часов осталась только одна подтвержденная уязвимость безопасности. Три из предполагаемых уязвимостей были идентифицированы как ложные срабатывания, вызванные недостатками в коде Curl; они уже были отмечены в API-документации проекта. Четвертый пункт команда классифицировала как баг.

Оставшаяся уязвимость была оценена как уязвимость низкой степени серьезности. Однако, помимо уязвимостей безопасности, Mythos также нашел множество других ошибок, над исправлением которых сейчас работает команда Curl. Стенберг отмечает, что их описание Mythos удалось хорошо, и ИИ-модель способна на качественную работу. Однако прорывом он это не считает.

В случае с браузером Firefox Mythos нашел 271 уязвимость безопасности. Mozilla ответила, что эти уязвимости могли бы найти и исследователи безопасности-люди. В Mozilla не верят, что ИИ находит совершенно новые способы обнаружения уязвимостей.