Защо не бива да се предоверяваме на технологиите – случаят от Чикаго

Историята на Робърт Макданиел от Чикаго е един от най-ясните примери защо предоверяването на технологиите е опасно. През 2013 г. полицейски алгоритъм го определя като човек с изключително висок риск да участва в стрелба, макар досието му да съдържа само дребни нарушения, а последствията от тази прогноза според собствения му разказ го превръщат в мишена.

Какво представлява „топлинният списък“

В началото на 2010-те години полицията в Чикаго започва да използва математически модел, който подсказва кого да следи по-отблизо. Моделът се опира основно на социалните връзки на хората – на близостта им до известни извършители и жертви на стрелба. Резултатът е регистър, известен като „топлинния списък“, а официално – Strategic Subject List. Идеята звучи логично: насилието е съсредоточено в малка част от града и е разумно помощта и надзорът да се насочат натам.

Още при старта на проекта The Verge постави основния въпрос: какви фактори влизат в анализа и как се гарантира, че списъкът не набелязва хора заради цвета на кожата или квартала, в който живеят. Точните входни данни на модела така и не бяха публикувани.

Почукване на вратата през 2013 г.

Според разказа на Макданиел, събран от журналиста Мат Строуд за The Verge и преразказан от Techdirt, всичко започва с посещение у дома му. На прага застават двама униформени полицаи, съсед, който работи с полицията, и социален работник. Те му съобщават, че алгоритъмът го поставя сред най-вероятните участници в бъдеща стрелба – като извършител или като жертва, без да е ясно кое от двете. Макданиел има само арести за марихуана и хазарт и не разбира защо е в списъка.

Кварталът Остин, в който живее, е сред най-тежко засегнатите от насилие в Чикаго – според Techdirt там се случват около 10% от убийствата в града. В такава среда фактът, че полицията идва при теб и си тръгва, без да те арестува, е забелязан от всички.

Когато списъкът създава проблема, който предвижда

Макданиел разказва, че след включването му в списъка полицията започва да се появява около работното му място и да разпитва хората там. Съседите, които виждат полицаите на верандата му, започват да се питат дали не сътрудничи на органите на реда. В общност, в която доносничеството се осъжда, това подозрение е опасно. Така той остава между две огради: полицията го наблюдава заради списъка, а познатите му не му вярват, защото смятат, че е информатор.

През 2017 г. той се съгласява да участва в документален филм, за да изчисти името си, но камерите още повече настройват околните срещу него. Малко след това от минаваща кола стрелят по него и го раняват в коляното. През август 2020 г. оцелява и при втори опит за покушение в същия квартал. Това са негови думи, предадени от медиите, а не независимо установени факти – но последователността е показателна.

От неговата гледна точка списъкът предвижда насилие, което може би нямаше да се случи без самото предвиждане.

Какво показа проверката на RAND

Независим отговор дава изследване на RAND Corporation, публикувано през 2016 г. в Journal of Experimental Criminology. То разглежда пилотния проект от 2013 г., в който списъкът включва 426 души. Изводът според резюмето на RAND е, че хората от списъка „не са нито по-вероятно, нито по-малко вероятно да станат жертви на убийство или стрелба“ от контролната група, но е по-вероятно да бъдат арестувани във връзка със стрелба. Едно от обясненията на авторите е, че някои полицаи са ползвали списъка като готови заподозрени при разкриването на случаи.

С други думи, инструментът, създаден да предпазва от насилие, на практика се превръща в списък със заподозрени. Чикаго се отказва от „топлинния списък“ през 2019 г., но за Макданиел това идва твърде късно.

Нашата оценка: прогнозата не е присъда

Алгоритъмът не е злонамерен – той смята върху данните, които му дадем. Проблемът започва, когато резултатът се възприема като присъда, а никой не проверява нито данните, нито последствията. Всяка система, която влияе на живота на хора, има нужда от прозрачност, право на обжалване и човешка преценка. Същата логика важи и за по-широката дискусия около регулацията на изкуствения интелект и за сигурността и поверителността на данните ни. Още материали по темата има в рубриката AI рискове.

Тази статия е публикувана първоначално в СмартМакс на 29 септември 2021 г. и е възстановена от архива на сайта. Информацията отразява известното към датата на публикуване.