Sistema de IA de riesgo inaceptable o IA prohibida

En el marco del nuevo Reglamento de inteligencia artificial (UE) 2024/1689 (RIA), la Unión Europea ha adoptado un enfoque basado en niveles de riesgo para clasificar los distintos sistemas de inteligencia artificial (IA). Esta categorización busca armonizar la innovación tecnológica con la protección efectiva de los derechos fundamentales, estableciendo obligaciones diferenciadas según el impacto potencial de cada sistema. Dentro de este esquema, existe una categoría especialmente restrictiva: el sistema de IA de riesgo inaceptable o IA prohibida, tal y como se recoge en el Reglamento.

Se trata de aquellos desarrollos tecnológicos cuyo uso, por su propia naturaleza, es considerado contrario a los principios fundamentales del ordenamiento jurídico europeo, lo que conlleva su prohibición expresa.

En este artículo analizamos qué significa que un sistema de IA entre en esta categoría, qué regula el artículo 5 del RIA y cuáles son los supuestos concretos que han sido identificados como inadmisibles por el legislador europeo.

1. ¿Qué implica un sistema de IA de riesgo inaceptable o IA prohibida?

Dentro del marco regulatorio del Reglamento de inteligencia artificial, un sistema de inteligencia artificial se considera de riesgo inaceptable cuando, por su naturaleza o finalidad, entraña una amenaza clara y manifiesta para los derechos fundamentales, las libertades públicas o la dignidad humana.

Se trata de aquellos sistemas cuyo uso, desarrollo o comercialización está directamente prohibido en la Unión Europea, con carácter general.

Este nivel de riesgo representa la categoría más restrictiva del modelo regulatorio basado en riesgos que establece el Reglamento, por cuanto no admite medidas de mitigación o controles adicionales: su uso se presume incompatible con el ordenamiento jurídico europeo.

La inclusión de un sistema en esta categoría implica que ni siquiera puede ser autorizado para investigación o desarrollo, salvo contadas excepciones sujetas a condiciones específicas.

El reconocimiento de este tipo de sistemas como inaceptables responde a un enfoque preventivo del legislador europeo, centrado en la protección de valores esenciales como la privacidad, la igualdad, el libre desarrollo de la personalidad o la no discriminación, todos ellos consagrados en la Carta de los Derechos Fundamentales de la UE.

2. ¿Qué regula el artículo 5 del RIA respecto a estos sistemas?

El artículo 5 del RIA establece expresamente la prohibición del uso, comercialización o puesta en servicio de determinados sistemas de inteligencia artificial que se consideran contrarios a los valores esenciales del Derecho de la Unión Europea, en particular a los derechos fundamentales consagrados en la Carta.

Este artículo enumera de forma taxativa los supuestos de sistemas de IA considerados de “riesgo inaceptable”, es decir, aquellos cuyo funcionamiento entraña una amenaza directa e intolerable para la dignidad humana, la autonomía de las personas, la privacidad o la igualdad.

La inclusión de estos supuestos en el texto normativo no admite interpretaciones extensivas: se trata de prohibiciones absolutas, que no permiten el uso de estos sistemas salvo en casos muy concretos y excepcionales, debidamente justificados y sometidos a estrictas condiciones legales, como veremos más adelante.

El artículo 5 se convierte así en uno de los pilares jurídicos del Reglamento, al trazar una línea roja infranqueable entre los usos admisibles y los usos ilícitos de la inteligencia artificial en el entorno europeo.

3. Supuestos de prohibición expresa en el RIA

El Reglamento de inteligencia artificial establece en su artículo 5 una serie de supuestos concretos en los que el uso de sistemas de IA está terminantemente prohibido dentro del territorio de la Unión Europea.

Estos supuestos, considerados de riesgo inaceptable, reflejan situaciones en las que la IA puede vulnerar de forma directa e irremediable derechos fundamentales de las personas.

Dicha prohibición se fundamenta en un enfoque jurídico preventivo: evitar desde el origen la implantación de tecnologías que instrumentalicen a las personas, generen discriminación estructural o erosionen el control humano sobre los sistemas automatizados.

La prohibición se justifica por el impacto potencial de estos sistemas sobre los derechos de las personas, así como, por su capacidad para distorsionar la toma de decisiones, perpetuar sesgos estructurales o invadir esferas especialmente protegidas como la intimidad o la integridad psicológica.

A continuación, enumeramos los ocho supuestos de sistemas de IA prohibidos por el Reglamento:

• Manipulación cognitiva subliminal.
• Explotación de vulnerabilidades de personas.
• Puntuación social por parte de autoridades públicas.
• Identificación biométrica remota en espacios públicos.
• Simulación emocional engañosa.
• Categorización biométrica basada en atributos sensibles.
• IA policial predictiva discriminatoria.
• Extracción indiscriminada de datos faciales de Internet o videovigilancia.

Estas prácticas quedan, por tanto, expresamente vetadas en el ámbito de aplicación del Reglamento, sin perjuicio de que algunas puedan admitir excepciones limitadas en contextos muy concretos y bajo estrictas condiciones legales.

En los apartados siguientes analizamos cada una de ellas en detalle.

3.1. Manipulación cognitiva subliminal

Uno de los supuestos más graves de prohibición recogidos en el artículo 5 del Reglamento de inteligencia artificial es el relativo a los sistemas de IA que empleen técnicas de manipulación cognitiva subliminal.

Se considera manipulación subliminal cualquier técnica que, sin que la persona sea consciente de ello, altere significativamente su comportamiento, sus decisiones o sus percepciones, de forma que pueda resultar perjudicada física o psicológicamente.

En estos casos, el sistema de IA opera a niveles no detectables por el usuario, vulnerando su autonomía, su libertad de pensamiento y su capacidad de autodeterminación.

La gravedad de esta práctica radica en que el individuo no tiene conocimiento ni control sobre la influencia que está recibiendo, lo que anula de facto su consentimiento y su libre albedrío. Por ello, el RIA prohíbe de manera absoluta el desarrollo, comercialización o uso de sistemas de IA que utilicen estos métodos, en cualquier contexto.

Esta prohibición no distingue entre técnicas tradicionales de manipulación subliminal (como estímulos sensoriales por debajo del umbral de percepción) y aquellas más sofisticadas, basadas en el tratamiento de datos biométricos o patrones conductuales.

Lo relevante es el resultado final: la alteración oculta del comportamiento del individuo en detrimento de su bienestar.

El legislador europeo busca, con esta prohibición, proteger valores esenciales como la dignidad humana, la integridad psicológica y la capacidad de las personas para tomar decisiones libres e informadas en un entorno digital cada vez más complejo.

Podemos imaginar como ejemplo un sistema de IA integrado en una plataforma de e-commerce que, sin conocimiento del usuario, utilice patrones de iluminación, sonido o posicionamiento de productos para inducir decisiones de compra compulsiva en menores o personas con adicciones.

3.2. Explotación de vulnerabilidades de personas

El Reglamento de inteligencia artificial también prohíbe de forma categórica los sistemas de IA que exploten vulnerabilidades específicas de personas o grupos, especialmente cuando estas vulnerabilidades estén asociadas a la edad, discapacidad o situación social o económica.

Esta prohibición se dirige a impedir que los sistemas de IA sean diseñados o utilizados con el objetivo de influir de manera indebida en colectivos en situación de fragilidad o desigualdad estructural.

Se protege así a los menores de edad, a las personas mayores, a las personas con discapacidades físicas o mentales, así como otros colectivos especialmente sensibles frente a técnicas de manipulación o persuasión automatizada.

El elemento clave para considerar ilícito el sistema de IA no es únicamente la existencia de una vulnerabilidad, sino el mero aprovechamiento intencionado de dicha condición para alterar el comportamiento de la persona de manera que pueda resultar perjudicial para sus intereses o derechos fundamentales.

Por tanto, la prohibición alcanza tanto a sistemas que busquen explotar de forma directa una debilidad (por ejemplo, herramientas comerciales agresivas dirigidas a menores) como a aquellos que de manera indirecta configuren sus algoritmos para aprovechar sesgos cognitivos, emocionales o sociales inherentes al grupo vulnerable.

Con esta medida, el RIA refuerza la protección jurídica de colectivos especialmente expuestos, promoviendo un entorno de confianza, respeto y equidad en el desarrollo de soluciones basadas en inteligencia artificial.

3.3. Puntuación social por parte de autoridades públicas

Otro de los supuestos de prohibición absoluta que contempla el RIA es el uso de sistemas de puntuación social por parte de autoridades públicas o entidades gubernamentales.

Se entiende por puntuación social el proceso mediante el cual se evalúa o clasifica el comportamiento, las características personales o la situación socioeconómica de los individuos, atribuyéndoles una calificación que puede implicar consecuencias negativas o positivas en su acceso a servicios, beneficios o derechos.

El artículo 5 del RIA prohíbe específicamente cualquier sistema de IA que permita a las autoridades:

• Evaluar a las personas en función de su comportamiento pasado, presente o previsto.
• Utilizar esas evaluaciones para otorgar ventajas indebidas o imponer desventajas injustificadas.
• Basar la clasificación en criterios que no guarden relación con el contexto en el que se tomen las decisiones o que no sean proporcionados al fin perseguido.

Esta prohibición responde a la necesidad de evitar prácticas de control social masivo, discriminación institucional y erosión del principio de igualdad, valores que constituyen pilares esenciales del ordenamiento jurídico de la Unión Europea.

La puntuación social realizada mediante sistemas de IA supone una amenaza directa a la dignidad humana, la privacidad, el principio de presunción de inocencia y el derecho a no ser discriminado, y por tanto su uso está vetado de manera absoluta, salvo que se trate de situaciones excepcionales estrictamente previstas por el legislador europeo.

3.4. Identificación biométrica remota en espacios públicos

El RIA prohíbe de forma general el uso de sistemas de identificación biométrica remota en espacios accesibles al público, especialmente cuando se realiza en tiempo real y sin el conocimiento previo de las personas afectadas.

Se entiende por identificación biométrica remota aquella que utiliza características físicas, fisiológicas o comportamentales (como el reconocimiento facial, de huellas, de voz o del comportamiento corporal) para identificar a una persona específica a distancia, sin su interacción activa ni su consentimiento informado.

La prohibición se fundamenta en los graves riesgos que estos sistemas suponen para derechos fundamentales como:

• El derecho a la privacidad y protección de datos personales.
• La libertad de movimiento y reunión.
• La presunción de inocencia y el derecho a no ser sometido a vigilancia indiscriminada.

El uso de esta tecnología, en espacios públicos, implica una vigilancia masiva e indiscriminada que puede alterar profundamente la relación entre los ciudadanos y las autoridades, generando efectos de autocensura, inhibición de la libertad y discriminación algorítmica.

No obstante, el RIA contempla algunas excepciones limitadas, permitiendo el uso de identificación biométrica remota en tiempo real por autoridades públicas únicamente en situaciones excepcionales vinculadas a la persecución de delitos graves, amenazas a la seguridad pública o localización de personas desaparecidas, siempre bajo autorización previa judicial o administrativa estricta.

Por defecto, y salvo estas excepciones muy concretas, la identificación biométrica remota en espacios públicos está prohibida en la Unión Europea.

3.5. Simulación emocional engañosa

El RÍA prohíbe los sistemas de IA diseñados para simular emociones humanas con el objetivo de influir en el comportamiento de las personas de forma encubierta o manipuladora. Esta práctica resulta especialmente problemática cuando el usuario no es consciente de la interacción emocional artificial, lo que puede erosionar su autonomía o inducir decisiones no deseadas.

Podemos imaginar como ejemplo un asistente virtual que simula angustia o entusiasmo para condicionar emocionalmente al usuario y persuadirlo de realizar una donación o aceptar un contrato.

3.6. Categorización biométrica basada en atributos sensibles

El Reglamento también prohíbe los sistemas de IA que clasifiquen a las personas mediante datos biométricos asociados a categorías sensibles, como la orientación sexual, creencias religiosas, raza, etnia o convicciones políticas.

Este tipo de clasificación supone una amenaza directa al principio de no discriminación y puede dar lugar a usos abusivos o estigmatizantes.

Para comprenderlo mejor imaginemos un sistema que utilice reconocimiento facial para etiquetar a los usuarios según supuestas afiliaciones religiosas o políticas, sin ninguna base legal ni consentimiento explícito.

3.7. IA policial predictiva discriminatoria

Entre las prácticas expresamente prohibidas se encuentra el uso de inteligencia artificial para predecir conductas delictivas basándose únicamente en perfiles personales, comportamientos pasados u otros datos sensibles. Este tipo de sistemas, aplicados por autoridades policiales, pueden reforzar estereotipos, vulnerar el principio de presunción de inocencia y fomentar prácticas discriminatorias.

Podemos imaginar un modelo algorítmico que determine la probabilidad de reincidencia delictiva o identifique “zonas peligrosas” considerando únicamente el origen étnico, la edad o el nivel socioeconómico de las personas que viven en ellas.

3.8. Extracción indiscriminada de datos faciales

Una de las prácticas más controvertidas en el ámbito de la inteligencia artificial es la recolección masiva de imágenes faciales extraídas de internet o de sistemas de videovigilancia para alimentar bases de datos de reconocimiento facial. Este uso, no autorizado ni transparente, vulnera gravemente el derecho a la protección de datos personales y la intimidad de las personas.

El Reglamento prohíbe expresamente esta práctica cuando se realiza de forma sistemática, sin consentimiento y con fines distintos a los permitidos por la ley. Por ejemplo recopilar imágenes públicas en redes sociales o foros para entrenar un sistema de reconocimiento facial sin informar ni contar con base jurídica suficiente entrarían dentro de esta categoría de IA prohibida.

4. ¿Existen excepciones?

Aunque el Reglamento de inteligencia artificial establece la prohibición general de determinados sistemas de IA de riesgo inaceptable, prevé algunas excepciones muy específicas, particularmente en relación con la identificación biométrica remota en espacios públicos en tiempo real.

Estas excepciones están limitadas estrictamente a situaciones de interés público grave y siempre bajo control legal riguroso. En concreto, se permite el uso de sistemas de identificación biométrica remota por autoridades públicas cuando concurra alguna de las siguientes circunstancias:

• Búsqueda de personas desaparecidas, incluyendo menores en situaciones de riesgo.
• Prevención de amenazas específicas, sustanciales e inminentes a la vida o seguridad física de personas o colectivos (por ejemplo, atentados terroristas).
• Detección, localización, identificación o enjuiciamiento de delitos graves, definidos conforme al Derecho de la Unión Europea o de los Estados miembros.

En todos los casos, el uso de estas tecnologías deberá estar:

• Autorizado previamente por una autoridad judicial o administrativa independiente.
• Limitado en el tiempo, en el espacio geográfico y respecto a los datos personales tratados.
• Justificado y proporcionado, en relación con el objetivo legítimo que se persigue.

Fuera de estos supuestos excepcionales, el uso de sistemas de identificación biométrica remota en espacios públicos se considera ilícito y queda prohibido de pleno derecho.

Con este enfoque, el Reglamento busca equilibrar la protección de los derechos fundamentales con la salvaguarda de la seguridad pública, estableciendo un marco restrictivo que evita la normalización de prácticas de vigilancia masiva indiscriminada en la Unión Europea.

5. Consecuencias jurídicas de utilizar sistemas de IA de riesgo inaceptable o IA prohibida

El uso, comercialización o puesta en servicio de sistemas de inteligencia artificial catalogados como prohibidos con arreglo al RIA acarrea graves consecuencias jurídicas tanto para los operadores implicados como para los propios sistemas afectados.

En primer lugar, la utilización o despliegue de una IA prohibida constituye una infracción administrativa grave en el marco del Reglamento, lo que puede derivar en sanciones económicas de gran envergadura. Concretamente, el artículo 99 del Reglamento establece que:

• Las multas pueden alcanzar hasta 35 millones de euros o, en caso de empresas, hasta el 7 % del volumen de negocio anual mundial del ejercicio anterior, el que resulte mayor.

Además de las sanciones económicas, los operadores infractores se enfrentan a:

• Órdenes de retirada inmediata del sistema del mercado europeo.
• Obligaciones de cese del uso y, en su caso, de destrucción de datos o resultados obtenidos ilícitamente.
• Posibles acciones de responsabilidad civil frente a las personas afectadas, si se demuestran daños derivados del uso indebido del sistema.
• Procedimientos de supervisión y control reforzados por parte de las autoridades competentes.

La gravedad de las consecuencias obedece al principio jurídico de protección prioritaria de los derechos fundamentales frente a intereses meramente comerciales o tecnológicos.

El legislador europeo ha querido dejar claro que, en materia de IA prohibida, no se tolerarán riesgos, lagunas ni excepciones no previstas. De este modo, se envía un mensaje firme al mercado y es el del respeto de los límites éticos y jurídicos en el desarrollo y uso de la inteligencia artificial.

6. Importancia jurídica y principios que se protegen

La prohibición de determinados sistemas de inteligencia artificial de riesgo inaceptable en el Reglamento responde a una profunda fundamentación jurídica en torno a los valores esenciales de la Unión Europea.

A través de esta prohibición, el legislador busca proteger de manera prioritaria:

• La dignidad humana, entendida como principio rector del ordenamiento europeo.
• La autonomía individual, garantizando que las decisiones personales no sean manipuladas o condicionadas de forma encubierta por sistemas automatizados.
• La igualdad y no discriminación, evitando que la IA refuerce sesgos o establezca jerarquías sociales injustas.
• La privacidad y protección de datos personales, frente a usos indiscriminados de tecnologías de identificación o rastreo.
• El Estado de Derecho, asegurando que la supervisión y control de los sistemas de IA se ajusten a principios democráticos y garantías judiciales.

La clasificación de ciertos sistemas como prohibidos refuerza el mensaje de que el desarrollo de las innovaciones tecnológicas debe estar subordinado a los derechos fundamentales, y no a la inversa.

Desde esta perspectiva, el Reglamento de IA marca un hito en la configuración de un modelo europeo de innovación ético, fiable y centrado en el ser humano, donde los avances tecnológicos se conciben como herramientas al servicio de la sociedad y no en detrimento de su núcleo de derechos inalienables.

Si necesitas asesoramiento especializado en materia de inteligencia artificial y su regulación jurídica, te recomendamos contactar con abogados especializados en inteligencia artificial.