Los legisladores del Parlamento Europeo han aprobado el pasado 13 de marzo, por abrumadora mayoría, la Ley de IA, una normativa destinada a regular la IA según un enfoque basado en el riesgo (resumen ejecutivo oficial aquí).

Es un movimiento importante para regular y gestionar el uso de ciertos modelos de IA en la UE, o que afecten a ciudadanos de la UE, y contiene algunas reglas estrictas y serias consecuencias por incumplimiento.  Si eres Científico de Datos o Ingeniero de IA, te interesa conocer algunos detalles que puedan afectar a tu empresa y a tus desarrollos.

Enfoque al riego para ciudadanos y usuarios

Esta ley se articula esencialmente alrededor del concepto de riesgo: riesgo para la salud, la seguridad y los derechos fundamentales de los ciudadanos de la UE. No solo el riesgo de algún tipo de apocalipsis teórico de IA, sino los riesgos diarios de que la vida real de las personas empeore de alguna manera, por el modelo que estás construyendo o el producto que estás vendiendo. Si estás familiarizado con los debates actuales sobre IA y ética, también llamada IA responsable, esto te sonará familiar.

La discriminación implícita y la vulneración de los derechos de las personas, así como el daño a la salud y la seguridad de las personas, son desafíos reales al que se enfrenta la actual tanda de productos y compañías de IA. Esta ley es el primer esfuerzo de la UE para proteger a las personas.

Ojo, por muy “UE” que parezca, hay un matiz destacable en esta ley en cuanto a alcance:

Toda empresa que compre, desarrolle, customice o utilice sistemas de IA en sus servicios, que pudieran afectar a un ciudadano de la UE, tendrá que responder ante el EU AI Act. Esto afecta obviamente a fabricantes como OpenAI, Google o Microsoft por sus plataformas de IA generativa cuyos usuarios alcanzan cualquier rincón del planeta. Pero también condicionará, con toda probabilidad, cualquier organización basada fuera de la UE, que pudiera tener relaciones o transacciones con ciudadanos europeos, por ejemplo, a la hora de realizar procesos de selección con IA, o de  valorar la aceptación de un microcrédito mediante algoritmos de scoring. Esto me parece un asunto de peso considerable.

Definiendo la IA y su alcance

Las definiciones de la IA varían al gusto de cada uno. En el caso de la EU, la ley define la «IA» de la siguiente manera:

Un sistema basado en máquinas diseñado para operar con niveles variables de autonomía, que puede mostrar adaptabilidad después de su implementación y que, para objetivos explícitos o implícitos, infiere de la entrada que recibe, cómo generar salidas como predicciones, contenido, recomendaciones o decisiones que pueden influir en entornos físicos o virtuales.

¿Qué significa realmente esto? Mi interpretación es que los modelos de machine learning que producen respuestas que se utilizan para influir en el mundo exterior (especialmente las condiciones físicas o digitales de las personas) caben en esta definición. Incluso si no están en tiempo real, online y con reentreno automático, como, por ejemplo, modelos para:

• decidir sobre los niveles de riesgo de las personas, como el riesgo crediticio, riesgo de incumplimiento de la ley, etc.
• determinar qué contenido se muestra a las personas en línea en un feed o en anuncios
• diferenciar precios mostrados a diferentes personas para los mismos productos
• recomendar tratamientos, cuidados o servicios a personas
• recomendar ciertas acciones (o no) a usuarios

Los tipos de IA según el EU Act

La ley diferencia varios tipos de aplicaciones. Algunas van a ser totalmente prohibidas, y otras sometidas a mucho más escrutinio y requisitos de transparencia.

Sistemas de IA de riesgo inaceptable

Estos tipos de sistemas IA simplemente no están permitidos. Esta parte de la ley entrará en vigor primero, dentro de seis meses. Incluye:

• Manipulación de comportamiento o técnicas engañosas para conseguir que la gente haga cosas que de otro modo no harían
• Dirigirse a personas debido a cosas como la edad o discapacidad para cambiar su comportamiento y/o explotarlas
• Sistemas de categorización biométrica, para clasificar a la gente según rasgos altamente sensibles (creencias políticas, religiosas, filosóficas, orientación sexual, raza)
• Evaluaciones de características de personalidad que impliquen un scoring social o un tratamiento diferencial
• Reconocimiento facial o «identificación biométrica en tiempo real», exceptuando un conjunto selecto de casos de uso (búsqueda de personas desaparecidas o secuestradas, amenaza inminente para la vida o la seguridad/terrorismo, o la persecución de un crimen específico)
• Actuación policial predictiva (predecir que las personas van a cometer crímenes en el futuro)
• Escaneo facial/biométrico amplio o raspado de datos
• Sistemas de inferencia de emociones en educación o trabajo sin un propósito médico o de seguridad (por ejemplo, una aplicación destinada a determinar si uno está «suficientemente feliz» para conseguir un trabajo comercial)

Sistemas de IA de alto riesgo

Esta lista, por otro lado, cubre sistemas que no están prohibidos, pero que estarán altamente escrutados. Hay reglas y regulaciones específicas que cubrirán todos estos sistemas, que se describen a continuación.

• IA en dispositivos médicos
• IA en vehículos
• IA en sistemas de reconocimiento de emociones
• IA en la policía y sistemas de vigilancia y control

Esto excluye esos casos de uso específicos descritos anteriormente. Así, los sistemas de reconocimiento de emociones podrían estar permitidos, pero no en el lugar de trabajo o en la educación. La IA en dispositivos médicos y en vehículos se señalan como teniendo riesgos serios o riesgos potenciales para la salud y seguridad, con razón, y necesitan ser supervisados.

Otros sistemas

Las otras dos categorías que quedan son «Sistemas de IA de Bajo Riesgo» y «Modelos de IA de Propósito General».

Los modelos de propósito general son cosas como GPT4, o Claude, o Gemini — sistemas que tienen casos de uso muy amplios y pueden ser embebidos en otros programas. Así, GPT4 per se no está en una categoría de alto riesgo ni prohibida, pero no lo podrás utilizar en sistemas de policía predictiva.

Transparencia y Escrutinio

Si desarrollas una aplicación de IA de alto riesgo, serás responsable de lo siguiente:
 

• Mantener y asegurar la calidad de los datos que utilizas en tu modelo
• Proporcionar documentación y rastreabilidad: ¿de dónde sacaste tus datos, y puedes demostrarlo? ¿Puedes mostrar tu trabajo en cuanto a cualquier cambio o edición que se haya realizado?
• Proporcionar transparencia: si el público está utilizando tu modelo (un chatbot, por ejemplo) o un modelo es parte de tu producto, el usuario tendrá que ser avisado de que no está tratando con un humano. Esto se aplicará a los sistemas de riesgo bajo también.
• Mantener supervisión humana: Simplemente decir «el modelo dice…» no será suficiente. Los humanos serán responsables de lo que los resultados del modelo digan y, lo que es más importante, de cómo se utilizan los resultados.
• Garantizar la ciberseguridad y robustez contra ciberataques, brechas y violaciones de privacidad no intencionales. Que tu modelo falle debido a errores de código o sea hackeado por vulnerabilidades que no solucionaste va a ser tu responsabilidad.
• Cumplir con evaluaciones de impacto: Si estás construyendo un modelo de alto riesgo, necesitas realizar una evaluación rigurosa de cuál podría ser su impacto (incluso si fuera la intencionalidad del producto) en la salud, la seguridad y los derechos de los usuarios o del público.
• Para entidades públicas, registro en una base de datos pública de la UE. Se aplicarán requisitos de presentación de documentación a «autoridades, agencias gubernamentales, u otros organismos públicos»

Pruebas

En el caso de una solución de IA de alto riesgo, necesitas testearla para asegurarte de que estás siguiendo las directrices. Consulta el artículo 54b, que autoriza pruebas con personas, una vez conseguido su consentimiento.

Entrada en vigor de la ley EU Act

La ley tiene una implementación escalonada:

• Dentro de 6 meses, las prohibiciones sobre la IA de riesgo inaceptable entrarán en vigor
• En un plazo de 12 meses, aplicarán las leyes para sistemas de propósito general
• En 24 meses, entrarán en vigor todas las demás reglas

Nota: La ley no cubre actividades personales, siempre y cuando no caigan en las categorías prohibidas. ¡Puedes seguir desarrollando tu app favorita open source en casa sin riesgos!

Penalizaciones

¿Qué sucede si tu empresa no cumple con la ley, y un ciudadano de la UE se ve afectado?  Estas son las penalizaciones:

• Si realizas una de las formas prohibidas de IA descritas anteriormente: multas de hasta 35 millones de euros o, si eres una empresa, el 7% de tus ingresos globales del último año (el mayor de los 2)
• Otro tipo de incumplimiento: multas de hasta 15 millones de euros o, si eres una empresa, el 3% de tus ingresos globales del último año (el mayor de los 2).
• Mentir a las autoridades sobre cualquiera de estas consideraciones: multas de hasta 7.5 millones de euros o, si eres una empresa, el 1% de tus ingresos globales del último año (lo que sea mayor).

Nota: para pequeñas y medianas empresas, incluidas las startups, la multa será el menor de los números, no el mayor.

¿Qué Deben Hacer los Científicos de Datos y desarrolladores de aplicación?

Si estás construyendo modelos y productos utilizando IA según la definición de la Ley, lo primero y más importante es familiarizarte con ella y a sus requerimientos.

Aquí te dejamos el resumen ejecutivo oficial de la ley y el Explorador de la Ley de IA para los detalles.

Luego, estate atento a posibles incumplimientos en tu propio negocio u organización. Todavía hay tiempo para encontrar y solucionar problemas, pero las formas prohibidas de IA tienen efecto primero, y hablamos de 6 meses.

En las grandes empresas, probablemente tendrás un equipo legal, pero no asumas que se van a poder hacerse cargo de todo, empezando por probable falta de conocimientos y criterios. Tendrás que ser parte de la respuesta e implicarte. Puedes usar la herramienta de Verificación de Cumplimiento en el sitio web del Acta de IA de la UE para ayudarte.