В английском городе Бристоль полиция совместно с городским советом провела масштабный эксперимент по предиктивной (прогностической) полицейской деятельности. Целью было с помощью алгоритмов рассчитать риск будущих преступлений и социальные риски.
Расследование американского компьютерного журнала Wired показало(открывается в новом окне), что конфиденциальные данные сотен тысяч граждан собирались и обрабатывались без их согласия. Кроме того, используемые прогностические модели якобы давали ненадёжные результаты и были отключены из-за недостаточной точности.
В 2016 году власти Бристоля начали создавать базу данных Think Family Database, в которой собиралась информация почти обо всех 480 000 жителях города. Использовались данные из полицейских отчётов, сведения о жилищном статусе, записи о психическом здоровье, информация о подростковых беременностях, регистрации на родительские курсы и данные о бесплатных школьных обедах.
Ни исходный код, ни записи не были найдены
На основе этих данных были разработаны алгоритмы, присваивающие баллы риска взрослым и детям. Сообщается, что с помощью как минимум 23 различных моделей предпринимались попытки, в частности, предсказать риск квартирных краж, неявки в суд или вероятность стать жертвой домашнего насилия или сексуальной эксплуатации.
Чтобы не получать согласие от жителей города, власти использовали так называемые «легальные шлюзы» (Legal Gateways) — юридические лазейки для обмена данными в целях предотвращения опасности.
Поскольку городские советы соседних общин отказались от сотрудничества, полиции не удалось расширить проект на региональном уровне. Поэтому для алгоритмов были доступны только полицейские данные, имеющиеся в Бристоле, что сделало прогнозы ненадёжными. Сообщается, что модель прогнозирования краж была верна менее чем в десяти процентах случаев.
Ещё две модели для прогнозирования эксплуатации и жестокого обращения с детьми, по сообщениям, были отключены в 2023 году, поскольку сотрудники городского совета перестали им доверять. Записи о том, почему модели были отключены и на каком основании принимались решения, якобы не были найдены. То же самое касается исходного кода и переменных, которые могли бы объяснить, как вообще работали эти модели.
Несмотря на провал этого проекта, по данным Wired, британское правительство продвигает использование моделей ИИ в полицейской работе на национальном уровне. В Баварии полиция в 2021 году прекратила аналогичный проект, который просуществовал семь лет и также давал лишь ненадёжные результаты.