Cisco изучила использование искусственного интеллекта при составлении отчетов по итогам учений в сфере ИТ-безопасности. Как пишет компания в своем блоге (открывается в новом окне), были выявлены значительная экономия времени, но также и критические риски.

Хотя технология сократила время, затрачиваемое на подготовку черновиков, на 50 процентов, часто возникали содержательные ошибки, галлюцинации и смешивание различных наборов данных. Кроме того, ИИ нередко выдавал необычные выводы и рекомендации, которые были дублирующимися, неактуальными или невыполнимыми.

Однако качество правописания и грамматики было лучше по сравнению с традиционными отчетами, а проверяющие в ходе слепого теста не заметили, что отчеты были созданы ИИ. При этом стиль письма иногда воспринимался как непоследовательный.

Содержимое различных отчетов смешивается

Особо проблемным моментом выделяется то, что содержимое различных отчетов смешивалось, когда их требовалось обработать в рамках одного сеанса. Это происходило даже в тех случаях, когда заметки к отчетам были предварительно удалены.

Поэтому Cisco в настоящее время считает отчетность на основе ИИ непригодной для продуктивного использования. Авторы по-прежнему должны нести полную ответственность и проводить ручные проверки, поскольку предполагается, что при реальных и сложных инцидентах безопасности у ИИ могут возникнуть еще более серьезные проблемы.

Хотя ИИ все чаще воспринимается как инструмент для разработчиков, технология нередко вызывает разочарование как у программистов, так и у руководителей.