Inteligencia artificial, vigilancia policial predictiva, reconocimiento facial, análisis de sentimientos, cámara corporal: ¿herramientas para reducir la delincuencia y aumentar la seguridad pública o peligro para la privacidad y riesgo de represión? El artículo de Gian Marco Litrico
Washington DC, 2054. El jefe de una unidad policial llamada PreCrime e integrada por PreCogs, individuos genéticamente modificados capaces de predecir crímenes, se da a la fuga cuando descubre que está en el punto de mira de la justicia como futuro autor de un asesinato. En la historia con final feliz, el héroe, interpretado por Tom Cruise, logra descubrir la trama de un alto funcionario del Departamento de Justicia, limpiar su nombre y cerrar el programa PreCrime.
La trama, evidentemente, es la de Minority Report , la película de 2002 con la que Steven Spielberg tradujo en imágenes un cuento distópico de Philip K. Dick centrado en un sistema judicial con el objetivo declarado de proteger a los ciudadanos, pero que se transforma en una herramienta para perseguir delitos de opinión, atacar y eliminar a disidentes políticos u otros grupos considerados indeseables por quienes están en el poder.
Ahora bien, la cuestión es que en varias ciudades estadounidenses, pero también en países europeos como el Reino Unido, Alemania, Holanda y Dinamarca, o en países asiáticos como China, Japón, India y los Emiratos Árabes Unidos, la vigilancia policial predictiva ha sido un realidad desde hace algún tiempo, pero no son los PreCogs los que predicen el futuro, sino los algoritmos.
En 2010, la ciudad de Santa Cruz, California, fue una de las primeras en utilizar un algoritmo creado a partir de datos sobre delitos para predecir delitos futuros, identificando “puntos calientes” de alto riesgo de no más de 50 metros cuadrados. Los oficiales patrullaban estas áreas cuando no estaban ocupados respondiendo a otras llamadas. ¿Resultado? Los robos disminuyeron un 19% en seis meses.
El Departamento de Policía de Los Ángeles probó el método en una ciudad mucho más grande con necesidades de patrullaje más complejas. Los mapas distribuidos a los agentes al inicio del turno, al igual que en Santa Cruz, se elaboran en parte con métodos tradicionales utilizados por la policía y en parte mediante Inteligencia Artificial (IA). De nuevo con resultados positivos: los mapas creados por el algoritmo fueron dos veces más precisos que los basados en la experiencia humana, mientras que los delitos contra la propiedad disminuyeron un 12%.
En Camden, Nueva Jersey, que encabeza la lista de las ciudades más peligrosas de Estados Unidos, el algoritmo redujo los delitos en un 26% y los homicidios en un 41%.
Gracias a estos resultados sobre el terreno, y a pesar de los fantasmas evocados por Tom Cruise, en 2011 la revista Time incluyó la policía predictiva en la lista de los 50 mejores inventos del año, inaugurando una década de entusiasmo en la opinión pública y creando nuevas oportunidades. de negocios para emprendedores e inversores. PredPol, fundada en 2012 por un profesor de la UCLA, junto con Palantir, es hoy uno de los líderes del mercado con alrededor de sesenta departamentos de policía como clientes, que pagan alrededor de 15.000 dólares al año por el servicio.
Para sus partidarios, la vigilancia policial predictiva garantiza una predicción más precisa de delitos futuros porque se basa en Big Data y no sólo en el instinto de los agentes de policía, lo que limita el riesgo de que las decisiones se tomen basándose en prejuicios en lugar de elementos fácticos.
Todo con un ahorro que un estudio de 2019 de Rand Corporation estimó en Estados Unidos en el orden de 2.700 millones de dólares al año, debido a la reducción de la delincuencia y a una asignación más inteligente de los recursos.
Un algoritmo desarrollado por la Universidad de Chicago en 2022 promete pronósticos semanales con un 90% de confiabilidad. Diez puntos porcentuales más que la previsión meteorológica. Por el momento, sin embargo, el sistema ha permitido sobre todo comprobar cómo las estrategias operativas de la policía están, a su vez, condicionadas por prejuicios socioeconómicos, porque tienden a aumentar la vigilancia en zonas predominantemente negras y de bajos ingresos, al tiempo que registran más arrestos por delitos contra la propiedad en áreas de altos ingresos, ignorando el impacto en áreas de bajos ingresos. Además, los datos generales se utilizan a menudo para perfilar a un solo individuo, y mucho menos para ofrecer más servicios sociales y aumentar la participación de la comunidad en la lucha contra las causas profundas del crimen.
Un área en la que la vigilancia policial predictiva ha despertado grandes esperanzas es la de prevenir el fenómeno casi exclusivamente estadounidense de tiroteos masivos , ataques a escuelas, centros comerciales, iglesias y otros lugares de agregación que han plagado al país durante décadas: con el análisis de sentimiento que analiza AI publicaciones en redes sociales y otras actividades en línea para identificar posibles amenazas o delitos. Se supone que una publicación racista o que emule a otros tiradores masivos en las redes sociales, como elementos como un historial de violencia doméstica o posesión de armas de fuego, puede ayudar a identificar a uno antes de actuar, dado que al menos en el 45% de los casos el El sujeto revela sus intenciones. Esto en un país donde hay 390 millones de armas de fuego y 344 millones de habitantes.
Incluso la videovigilancia, que existe desde hace décadas, ha dado un gran salto de calidad con la IA. La diferencia ahora es que ya no necesitas un humano para controlar las imágenes. Un algoritmo se encarga de ello.
Así se realizan los controles fronterizos y se identifican, por ejemplo, en tiempo real las matrículas falsas de los vehículos.
La cuestión se vuelve mucho más controvertida cuando esta tecnología conduce al reconocimiento facial de personas de interés en una investigación, identificadas mientras se encuentran en grandes lugares de reunión como un estadio o un aeropuerto.
Por supuesto, el reconocimiento facial es criticado cuando no funciona: un estudio de 2019 realizado por el Instituto Nacional de Estándares y Tecnología encontró que tenía 100 veces más probabilidades de identificar erróneamente a personas de ascendencia africana o asiática. Es sabido que la identificación incorrecta es una de las principales causas de errores judiciales: por eso el reconocimiento facial se considera una pista y no una prueba segura. En caso de duda, ciudades como San Francisco y Oakland han prohibido su uso.
Paradójicamente, sin embargo, el reconocimiento facial es criticado especialmente cuando funciona y se convierte en la herramienta perfecta para la vigilancia masiva, amenazando todo el catálogo de libertades individuales, incluido el derecho a la privacidad y la libertad de expresión, reunión y asociación.
Hay quienes, como Agnès Callamard, secretaria general de Amnistía Internacional, hablan sin rodeos de la incompatibilidad del reconocimiento facial , utilizado con fines de vigilancia, con los derechos humanos y del "apartheid automatizado", poniendo en entredicho un nuevo sistema llamado Red Wolf. utilizado por las autoridades israelíes para monitorear y controlar los movimientos de los palestinos en Jerusalén Este y Hebrón, donde los colonos israelíes viajan por diferentes rutas y no están obligados a utilizar puestos de control.
Las masacres perpetradas por Hamás en este trágico mes de octubre han arrojado muchas dudas sobre la capacidad de estos sistemas para prevenir el terrorismo: los sistemas de control fronterizo israelíes basados en redes móviles, cámaras, sensores y ametralladoras robóticas controladas remotamente han quedado fuera de servicio, igualmente de forma remota. , por drones de Hamás.
Ciertamente, no tienen dudas los chinos que, como escribió el New York Times en 2021, viven en una jaula invisible, donde la policía es alertada automáticamente si tres personas con antecedentes penales se encuentran en el mismo hotel, o si un hombre con un El pasado de un agitador político compra un billete de tren o una mujer con problemas mentales sale de casa o se acerca demasiado a un colegio.
Es a través de estas tecnologías que se reprimen los levantamientos uigures en Xinjiang o se mantiene el bloqueo más estricto del mundo durante la pandemia de Covid 19.
Xi Jinping lo dijo explícitamente: el Big Data debe utilizarse como motor para el desarrollo de la seguridad pública y de sus capacidades operativas. Todo esto en un país donde las autoridades no necesitan una orden judicial para recopilar información personal.
Empresas como Megvii y Hikvision pueden detectar a una persona que pasa demasiado tiempo en una estación y llegar a la conclusión de que es un carterista. En resumen, los malos no tienen dónde esconderse, pero esto también se aplica a quienes desafían al régimen.
Hay software que predicen protestas, recopilan datos de quienes informan de las locales a las autoridades superiores, crean perfiles individuales de los manifestantes, con expresiones como "paranoico, meticuloso o pendenciero" o consideran factores de riesgo como un bajo estatus social o haber sido golpeado por duelo. El sistema puede rastrear a personas con enfermedades mentales, con antecedentes de sedición política, inmigrantes, menores desempleados o no escolarizados, extranjeros, pacientes de SIDA, minorías étnicas. O identificar a aquellos que consumen demasiada agua o electricidad y podrían ser un inmigrante ilegal que convive con otras personas para reducir gastos.
Entre las diversas opciones, existe la posibilidad de preparar listas especiales de personas -por ejemplo, funcionarios locales del Partido Comunista Chino- que el sistema de vigilancia debe ignorar: como en la granja orwelliana, "todos los animales son iguales, pero algunos son más iguales". que otros."
La compensación entre privacidad y seguridad muestra diferencias notables en la aceptación y conveniencia de estas tecnologías en diferentes áreas geográficas del mundo: Europa y América del Norte están más atentas a la privacidad, mientras que América Latina y Asia están más dispuestas a comprometerse en materia de seguridad. .Derechos individuales para lograr mayores niveles de seguridad.
En definitiva, persiste la ambivalencia irreductible de una tecnología que puede amenazar los derechos individuales, pero también identificar personas desaparecidas (sólo en Estados Unidos hay 88.000 al año) y luchar contra la trata de seres humanos (casi 25 millones de víctimas en todo el mundo). En 2018, el reconocimiento facial permitió a la policía de Nueva Delhi identificar a casi 3.000 niños desaparecidos en sólo cuatro días.
Mientras tanto, la evolución tecnológica continúa sin cesar: Clearview AI, fundada en 2017, proporciona una base de datos con más de 20 mil millones de imágenes faciales, recopiladas a través de medios disponibles públicamente, como fotos cargadas en cuentas de Facebook, Twitter e Instagram. El sistema funciona con una red neuronal que convierte imágenes en vectores compuestos por más de 500 puntos que identifican características faciales únicas, como la forma particular de la boca o la distancia entre los ojos. Esta enorme cantidad de datos ha permitido a Clearview AI lograr una confiabilidad del 99 % en todos los segmentos demográficos.
En Detroit, la ciudad más negra de Estados Unidos, se producen 300 asesinatos al año. Por este motivo, en 2016 se puso en marcha el Proyecto Luz Verde, que inicialmente incluía ocho estaciones de servicio equipadas con cámaras y conectadas a la comisaría de policía. Una luz verde identifica aquellas zonas donde el usuario se siente más seguro y el delincuente está más expuesto a la acción policial. Hasta la fecha hay más de 700 comercios monitoreados, que pagan alrededor de 5.000 dólares por la instalación de cámaras y conexiones.
¿Obras? Para Giovanni Circo, de la Universidad de New Haven, "los delitos cometidos en uno de los lugares protegidos tienen más posibilidades de resolverse, pero no hay pruebas de que el sistema haya reducido los delitos". La realidad es que los delitos han aumentado porque ahora aparecen en las estadísticas casos como hurtos, que antes ni siquiera se denunciaban, mientras que los delitos violentos no han aumentado.
El proyecto Luz Verde también ha acabado en el punto de mira de asociaciones de defensa de los derechos civiles: el sistema no utiliza el reconocimiento facial , sino que el reconocimiento facial utiliza las imágenes tomadas por la cámara de vigilancia. Y ciertamente hay una gran diferencia si las fotos con las que comparar estas imágenes son las de la taza o las del permiso de conducir.
Una tecnología que pretende limitar los casos de uso excesivo de la fuerza por parte de la policía es la de las cámaras portátiles, introducidas bajo la presión de Black Lives Matter, el movimiento que lucha contra la discriminación racial contra los afroamericanos denunciando incidentes de brutalidad de las fuerzas policiales.
Bajo esta presión, alrededor de un tercio de los departamentos de policía municipales de Estados Unidos ya habían adoptado cámaras corporales hace diez años. En 2014, el presidente Barack Obama hizo que el Congreso autorizara una financiación de 20 millones de dólares para comprar otros 20.000.
Algunas investigaciones, como la de la Universidad de Arizona en 2014, han demostrado que las bodycams garantizan una mayor transparencia en la búsqueda de pruebas y una mayor propensión del ciudadano a cumplir las órdenes del policía, así como un aumento de la productividad en términos de arrestos y una reducción del 65% en las quejas sobre el uso de la fuerza por parte de los agentes.
Las cámaras corporales reducen los informes en papel, hacen que los agentes sean más cautelosos en sus acciones debido al escrutinio constante de las acciones del personal y aumentan el contacto espontáneo con los residentes de la comunidad.
Para que los policías usen cámaras corporales , el LAPD está probando una nueva tecnología que activa las cámaras cuando el oficial enciende las luces intermitentes y la sirena de emergencia.
Entre los críticos se encuentran los sindicatos, preocupados por la posibilidad de que los agentes se distraigan con las cámaras corporales , mientras que se oponen a la accesibilidad de los vídeos a simple petición del público. El riesgo, dicen, es que crea un disuasivo para que las víctimas de violencia doméstica llamen a la policía, sabiendo que serán filmadas. Sin mencionar que los costos de las cámaras y el mantenimiento pueden provocar recortes en otras partes del presupuesto policial.
Mientras tanto, la automatización avanza a buen ritmo: a los detectores de metales tradicionales en escuelas y otros lugares públicos, por ejemplo, se están uniendo escáneres de nueva generación, como los producidos por Zero Eyes o por Evolv Technology, una empresa de Massachusetts que promete identificar -gracias a AI – “todas las armas, artefactos explosivos y cuchillos producidos en el mundo”.
Y ello sin registrar físicamente a las personas ni revisar bolsos y mochilas, sino haciendo pasar al público por una simple puerta capaz de controlar a miles de personas por hora, que puede integrarse fácilmente en los edificios o utilizarse al aire libre. Estos sistemas están diseñados para detectar armas blandidas y parcialmente expuestas, partiendo del supuesto de que, en particular, los tiradores en masa suelen participar en una misión suicida y llegar a la escena del crimen con la intención de infundir miedo y poder "controlar" el entorno circundante con la amenaza de las armas, hasta el punto de no tener la necesidad de ocultarlas. En otras palabras, el sistema apuesta a que los tiradores en masa pueden tardar varios minutos en disparar, sacando rifles y pistolas de los coches o de las bolsas en el aparcamiento, en las escaleras o en cualquier otro lugar cubierto por una cámara de vigilancia.
La paradoja es que el sistema se pone en duda más que por los falsos positivos y falsos negativos, como loncheras confundidas con artefactos explosivos o armas de fuego no detectadas, por el peligro que representa para la Segunda Enmienda, la que atribuye a los ciudadanos americanos el derecho poseer y portar armas.
La objeción de las empresas fabricantes es que sin IA, una cámara de vigilancia corre el riesgo de ser sólo un elemento disuasorio o, como mucho, una herramienta para reconstruir retrospectivamente el modus operandi de un atacante, en lugar de un medio para gestionar la emergencia: una metrópoli que Estados Unidos puede tener Hasta 30 mil cámaras, según el razonamiento, pero con muy poco personal para monitorearlas.
Además, los sistemas de alerta basados en IA serían más fiables a la hora de proporcionar información sobre la ubicación y el armamento del atacante. Como lo demuestran las más de 100 llamadas de estudiantes y personal escolar al número de emergencia 911, durante el ataque a la Escuela Primaria Robb en Uvalde en 2022, sin que los 376 policías que llegaron al lugar pudieran tomar medidas efectivas.
Otra aplicación de vanguardia es el " reconocimiento de disparos ". El sistema de detección de SoundThinking utiliza una red de sensores acústicos colocados en una zona urbana (20-25 micrófonos por kilómetro cuadrado) para detectar el sonido de un disparo, el calibre del arma, la ubicación del tirador y el número de disparos. Los datos son procesados por IA y validados por expertos de la industria durante la fase de prueba.
Si esto parece una idea descabellada, pensemos que SoundThinking, que cotiza en el NASDAQ desde 2017, tiene 46 empresas competidoras y que más de cien ciudades de Estados Unidos, incluidas Chicago, Nueva York y San Francisco, gastan cientos de miles de dólares cada año para implementar el sistema.
El Centro de Justicia MacArthur ha descubierto que estos sistemas también se están instalando más en las comunidades negras, que ya son las más afectadas por una mayor presencia policial. Si se añaden los 60 falsos positivos diarios, registrados, por ejemplo, en Chicago, se tiene la receta para aumentar el ya trágico número de asesinatos de personas negras a manos de la policía.
Por otro lado, hay quienes subrayan -como lo hace Jeff Merritt, responsable de IoT y transformación urbana en el Foro Económico Mundial- el hecho de "la desconfianza entre las comunidades y la policía, lo que significa que en las comunidades de bajos ingresos las personas tradicionalmente marginadas son menos probabilidades de pedir ayuda. La introducción de tecnologías como la detección de disparos permite a los agentes de policía y a las autoridades responder y ayudar a la comunidad”.
Se pueden utilizar algoritmos para analizar evidencia de ADN en la escena del crimen para identificar posibles sospechosos o víctimas, incluso muchos años después y con rastros mínimos o mezclados con los de otros sujetos. En 2018, la policía de California utilizó un sitio especializado en genealogía basado en análisis de ADN para identificar a Joseph James DeAngelo Jr., un asesino en serie que había estado activo en las décadas de 1970 y 1980. No hay duda de que en su caso se violó el derecho a la privacidad del familiar del asesino, cuyos datos fueron compartidos por el sitio con la policía sin consentimiento.
Paradójicamente, el debate sobre la privacidad en el caso de los adoptados y de los hijos de donantes de esperma que utilizan estos mismos métodos para encontrar a sus padres hace menos ruido mientras que aquí es la policía la que se beneficia, pero es gracias a las pruebas de ADN que los culpables son identificados, pero también inocentes son exonerados, como ocurrió en Colorado en 2009, cuando un hombre salió de prisión tras pasar casi 10 años en prisión por una violación que no cometió.
En la película Robocop de Paul Verhoeven, Hollywood también contó otra vertiente de la evolución tecnológica de las actividades policiales con casi 40 años de antelación. El vinculado al uso de robots.
Se pueden utilizar robots para realizar tareas rutinarias, como las de Spot, el robot que en Singapur recuerda a la gente en los parques públicos que deben respetar una distancia social de al menos un metro. O para realizar trabajos de riesgo como vigilancia, control de vehículos sospechosos, detección de explosivos o gestión de situaciones de toma de rehenes. En Estados Unidos, 50 agentes de policía murieron en el cumplimiento del deber en 2020, mientras que 58.000 resultaron heridos en el cumplimiento del deber en 2018.
Un informe de Rand Corporation sugirió que el uso de robots en la vigilancia policial podría mejorar la capacidad y el tiempo de respuesta en emergencias entre un 10% y un 20%.
Sin embargo, incluso en este caso no faltan preocupaciones éticas, especialmente en lo que respecta al uso de la llamada "fuerza letal". En Dallas, en 2016, un robot mató a un exmilitar que se había atrincherado en un garaje tras matar a 5 policías con un bloque de explosivos C4.
En 2022, la ciudad de San Francisco, que tiene una docena de ellos en servicio, autorizó el uso de fuerza letal por parte de los robots, que no están armados, pero sí equipados con cargas explosivas para "contactar, neutralizar o desorientar a un sospechoso violento". armado o peligroso”. En definitiva, fuerza letal sí, pero sólo en casos extremos y para salvar vidas, y siempre bajo control humano ya que sólo un número determinado de oficiales de alto rango pueden autorizar el uso de fuerza letal por parte de robots.
Por ahora. Mientras tanto, su uso en la policía ya ha planteado un problema de aceptación social: una encuesta de la Liga Nacional de Ciudades, en 2020, encontró que solo el 36% de los residentes estadounidenses se sienten cómodos con la idea de utilizar robots en actividades policiales . .
En Dubai, donde están de servicio desde 2017, el problema del uso de fuerza letal por parte de robocops no parece existir: hablan 6 idiomas, tienen una pantalla táctil donde presentar denuncias y utilizan cámaras para identificar productos falsificados. . Son tan eficientes que se espera que representen el 25% de la fuerza policial para 2030.
Cifras similares a las que preocupan a los sindicatos policiales estadounidenses: según la Universidad de Oxford, hasta el 35% de los trabajos policiales y de seguridad pública en Estados Unidos podrían automatizarse en los próximos 20 años.
Además, la IA no amenaza con sustituir sólo a los policías, sino también a los jueces. Compas, por ejemplo, es un software propietario producido por Equivant y se utiliza en Estados Unidos para evaluar la probabilidad de que un acusado cometa delitos en el futuro analizando las respuestas a un cuestionario de 137 ítems. En resumen, cada vez más a menudo la justicia penal estadounidense utiliza un algoritmo para decidir sobre la libertad bajo fianza, las condenas y la liberación anticipada de un individuo.
Pero como en Minority Report , la justicia no siempre está garantizada. De lo contrario. En febrero de 2013, el afroamericano Eric Loomis fue detenido conduciendo un coche que había sido utilizado en un tiroteo. El hombre, que negó haber participado, fue declarado culpable de "intentar huir de un agente de tráfico y conducir un vehículo a motor sin el consentimiento del propietario".
Para determinar su condena a seis años, el juez se basó no sólo en sus antecedentes penales, sino también en el puntaje asignado por Compas, que lo había catalogado como una persona con alto riesgo de reincidencia. En 2016, Loomis apeló la sentencia: el algoritmo había violado sus derechos procesales porque los datos analizados incluían no solo cargos actuales o pendientes, antecedentes de arrestos previos, estabilidad residencial, situación laboral, relaciones con la comunidad y abuso de sustancias, sino también identidad de género y raza. . Además, el algoritmo se presentaba como una caja negra cuyos mecanismos de funcionamiento no podían conocerse y su validez científica no podía cuestionarse.
El asunto Loomis inició un debate que dura años: según la redacción independiente ProPublica "los negros tienen casi el doble de probabilidades que los blancos de ser tildados de personas con mayor riesgo de reincidencia, sin serlo realmente", mientras que "Compas hace el error opuesto ocurre con los blancos, quienes tienen muchas más probabilidades que los negros de ser etiquetados como de bajo riesgo, incluso si continúan delinquiendo”.
Para el fabricante Equivant, sin embargo, es posible crear un algoritmo justo. Los acusados a los que se les asignó la puntuación de riesgo más alta cometieron nuevos delitos cuatro veces más frecuentemente que aquellos a los que se les asignó una puntuación de riesgo más baja. Y esto sin diferencias raciales. Por ejemplo, entre los acusados que obtuvieron un siete en la escala Compas, el 60% de los acusados blancos repetidos es casi idéntico al 61% de los acusados negros repetidos.
La realidad es que Compas resultó ser ligeramente más fiable que las previsiones individuales realizadas por un grupo de 400 voluntarios (65% frente a 63%), pero también ligeramente menos fiable que las previsiones desarrolladas colectivamente, que fueron correctas en el 67% de los casos.
La contraprueba la aporta un estudio de la Universidad de Duke: un algoritmo muy simple, de esos que se pueden escribir en una tarjeta de visita, basado en la edad, el sexo y las detenciones anteriores, logró una precisión en la predicción de la reincidencia equivalente a la de Compas.
Hay que decir que, a pesar de todas sus limitaciones, el uso del algoritmo ha permitido reducir en un 16% la población de presos en espera de juicio sin aumentar la tasa de criminalidad. Más aún cuando se tiene en cuenta el parámetro de la imparcialidad de los jueces de carne y hueso: en Nueva York, por ejemplo, los más estrictos imponen el doble de libertad bajo fianza que los más blandos, en lo que es, a todos los efectos, una manifestación de total arbitrariedad.
Como en otros campos, incluidas sus aplicaciones para la administración de justicia y las actividades policiales, la IA, por un lado, promete, aunque no siempre logra, verdaderos saltos cualitativos en términos de eficiencia; por otro, crea nuevas amenazas o refuerza la los antiguos, especialmente en materia de derechos individuales.
Para Rand Corporation, por ejemplo, la vigilancia policial predictiva “no es una bola de cristal y sólo puede identificar personas o lugares que tienen un mayor riesgo de cometer delitos”. De hecho, al clasificar los barrios como de alto o bajo riesgo, se inculca un sesgo en los agentes de policía, poniéndolos en alerta innecesaria o dándoles una falsa sensación de seguridad.
Como hemos visto, hay quienes piensan que estas tecnologías son "discriminatorias" por naturaleza. Para Dorothy Roberts, en su libro Digitalizando el estado carcelario , los datos introducidos en los algoritmos policiales predictivos para predecir dónde ocurrirán los delitos o quién es probable que cometa una actividad delictiva, tienden a contener información contaminada por el racismo.
La serie histórica de arrestos o encarcelamientos, la información sobre el barrio de residencia, el nivel de educación, la pertenencia a pandillas o grupos criminales organizados, los registros de llamadas al 911, pueden producir algoritmos que conduzcan a una vigilancia excesiva de las minorías étnicas o de bajos ingresos.
No es lo mismo ser detenido por un delito que haber cometido ese delito. Los afroamericanos, por ejemplo, son detenidos más que los blancos por posesión de marihuana, a pesar de que ambos grupos la consumen en la misma medida. Con las estadísticas en la mano, las mujeres son mucho menos propensas que los hombres a cometer delitos violentos: por este motivo, un algoritmo basado en la neutralidad de género dañaría irreparablemente la administración de justicia hacia el universo femenino.
En palabras de un Tribunal de Apelaciones estadounidense, “la vigilancia policial predictiva es la antítesis del principio de presunción de inocencia, una herramienta de aplicación de la ley que no equivale más que a reforzar un status quo racista”.
Una postura firme, incluso si se mira más de cerca, como señaló el New York Times en 2017, “no es el algoritmo el que está 'sesgado', sino la realidad que sigue caracterizándose por diferencias raciales impactantes. Es engañoso culpar al algoritmo cuando revela patrones estadísticos reales. Ignorar estos patrones no aborda las desigualdades subyacentes”.
Lo cierto es que después de poco más de una década desde su debut, la vigilancia policial predictiva encuentra cada vez más resistencia: justo después del asesinato de George Floyd en Minneapolis, el ayuntamiento de Santa Cruz votó a favor de la prohibición completa con el uso de la vigilancia policial predictiva. vigilancia. El LAPD suspendió su programa de predicción de delitos con láser debido al impacto desproporcionado que el sistema tiene en las personas de color, mientras que en 2020 un grupo de matemáticos publicó una carta en Notices of the American Mathematical Society instando a sus colegas a dejar de trabajar en vigilancia policial predictiva. Más de 1.500 matemáticos más se unieron al boicot.
En términos más generales, lo que preocupa al 54% de los estadounidenses es la vigilancia masiva por parte de las fuerzas del orden y, sobre todo, la posibilidad de que los datos recogidos se utilicen de forma inadecuada, según el Pew Research Center.
Una preocupación legítima, a juzgar por lo que se puede ver en las exposiciones del sector, que muestran tecnologías punteras como lectores de ondas cerebrales para detectar las mentiras de los interrogados, drones que se pueden recargar a distancia, gafas de reconocimiento facial y supercámaras que puede hacer zoom a más de un kilómetro de distancia y reconocer rostros y matrículas, así como sistemas que permiten descifrar los contenidos almacenados en un teléfono móvil.
Todos recordamos la guerra total entre Apple y el FBI, que comenzó en 2015 con aquella carta de 1.100 palabras con la que Tim Cook se negaba a crear una puerta trasera en iOS para superar el cifrado del teléfono del asesino de San Bernardino, responsable de el asesinato de 15 personas.
Hoy, sin embargo, hay empresas como la israelí Cellebrite y la estadounidense Greyshift que pueden descifrar un teléfono por unos pocos miles de dólares.
En resumen, el péndulo oscila: por un lado, la IA promete reducir la delincuencia entre un 30 y un 40% y los tiempos de respuesta de los servicios de emergencia en un 35%, como calcula Deloitte; por otro, crea el diafragma entre la seguridad pública y la represión.
Per questo qualsiasi progresso nell'AI nel campo delle attività di polizia deve essere accompagnato da una discussione approfondita e aperta su come contenere i rischi di una deriva algocratica della società, senza perdere i benefici enormi che dall'uso di queste tecnologie, quando sono mature, possono derivare.
Pensare, per esempio, ai servizi bancari moderni senza l'AI a prevenire e combattere le frodi, i furti di identità e il riciclaggio del denaro è impossibile. I principi basilari del diritto si possono applicare per analogia anche ai più moderni ritrovati della tecnica: per questo la polizia deve generalmente ottenere un mandato di perquisizione prima di utilizzare un drone per condurre una sorveglianza o raccogliere prove in un'indagine penale. Questo perché l'uso di droni per questi scopi è considerato una “perquisizione” ai sensi del Quarto Emendamento della Costituzione degli Stati Uniti, che protegge da perquisizioni e sequestri irragionevoli.
Non mancano esempi in cui è la tecnologia stessa a rimediare ai danni che produce ea ristabilire il diritto: i circa 1.400 manifestanti che erano stati pestati, accecati dallo spray al peperoncino, rinchiusi come animali e arrestati indiscriminatamente per aver marciato contro la violenza della polizia e l'ingiustizia razziale a New York, nel 2020, all'indomani dell'omicidio di George Floyd, tre anni dopo sono stati risarciti con circa 10 mila dollari a testa come esito transattivo di una class action che è costata ai contribuenti più di 13 milioni di dollari, l'importo più alto mai pagato nella storia degli Stati Uniti.
Tutto questo grazie a Codec, uno strumento di categorizzazione dei video lanciato nel giugno 2022 e che si sta rivelando essenziale nelle battaglie legali in tutto il mondo: ore di riprese video ottenute da bodycam , smartphone ed elicotteri delle news serali, possono rivelare violenze orchestrate e sostenute dallo Stato contro i manifestanti.
In Brasile, dove chiunque, in qualsiasi momento o luogo, può essere vittima di un proiettile vagante esploso durante uno scontro a fuoco tra spacciatori di droga per il controllo del territorio o un'operazione di polizia, ci sono in media 111 omicidi al giorno e l'81% dei cittadini teme di esserne vittima.
Dal 2016, l'app “Onde Tem Tiroteio?”, “Dov'è la sparatoria?”, permette ai suoi quasi 5 milioni di utenti di monitorare le aree che attraversano e determinare i percorsi più sicuri, grazie alle informazioni su proteste, furti di veicoli, violenze armate, incidenti o traffico e disastri naturali.
Ecco, insomma, una piattaforma interattiva e geolocalizzata che ha determinato una riduzione del 15% degli omicidi e del 13% delle rapine in strada e dove l'utente è l'elemento fondamentale perché segnala situazioni di violenza o comportamenti sospetti direttamente dal proprio smartphone, attuando una forma di sicurezza da cittadino a cittadino (C2C). Tutti gli avvisi inviati dagli utenti all'applicazione vengono controllati dal team operativo interno, che convalida le informazioni con fonti affidabili prima di emettere qualsiasi allarme, fungendo da filtro per impedire la trasmissione di informazioni false.
Il crowdsourcing come alternativa all'AI centralizzata? Ovviamente no, anche perché i pregiudizi non colpiscono solo i programmatori di algoritmi, ma anche i solerti cittadini che riportano una sparatoria.
La sfida è quella di combattere l'opacità di algoritmi complessi che limitano la possibilità di valutare la loro equità, laddove dati potenzialmente distorti vengono utilizzati per creare modelli che violano i diritti costituzionali degli individui, incluso quello a un giusto processo, o disegnano steccati basati sulla discriminazione di razza e censo nel vivo del tessuto sociale.
La strada è quella di permettere solo algoritmi white-box che rispettino i principi di trasparenza, interpretabilità e spiegabilità, così come privilegiare la raccolta di dati anonimi, aggregati e non identificabili per ottenere le informazioni utili per creare linee-guida nella gestione di eventi rilevanti per il pubblico. Parigi, per esempio, ha utilizzato l'AI per monitorare la metropolitana e garantire che i passeggeri indossassero maschere facciali. L'obiettivo non era quello di identificare e punire i trasgressori, ma di generare dati anonimi per aiutare le autorità ad anticipare futuri focolai di infezione.
Nel 1829, Robert Peel, il padre della polizia moderna, formulò i Nove Principi dell'applicazione della legge, una sorta di manuale etico per le forze dell'ordine britanniche. Il secondo principio recitava: “La capacità della polizia di svolgere i propri compiti dipende dall'approvazione pubblica dell'esistenza, delle azioni, del comportamento della polizia e dalla capacità della polizia di garantire e mantenere il rispetto pubblico”.
Quasi 200 anni dopo, il principio di Peel è ancora valido: la capacità delle forze dell'ordine di combattere efficacemente il crimine continua a dipendere dalla percezione del pubblico della legittimità delle azioni degli agenti. Non c'è motivo di pensare che lo stesso principio non vada applicato all' Artificial Intelligence .
Esta es una traducción automática de una publicación publicada en StartMag en la URL https://www.startmag.it/innovazione/quando-il-poliziotto-e-un-robot-e-il-giudice-un-algoritmo/ el Fri, 27 Oct 2023 05:42:21 +0000.