IA de alto riesgo

No todo sistema de inteligencia artificial plantea los mismos desafíos jurídicos. Algunos sistemas pueden generar un impacto limitado. Otros, en cambio, están diseñados para operar en ámbitos sensibles donde sus decisiones pueden afectar directamente derechos fundamentales, la seguridad, la salud o la no discriminación de las personas.

Es por esto, que el Reglamento sobre inteligencia artificial (RIA) introduce una clasificación basada en niveles de riesgo.

En su artículo 6, así como su Anexo III, se define una categoría clave: los sistemas de IA de alto riesgo.

Este artículo analiza qué se entiende por esta categoría, qué usos se consideran automáticamente de alto riesgo y qué obligaciones impone el marco normativo europeo a quienes desarrollan, comercializan o despliegan este tipo de tecnologías.

1. ¿Qué se entiende por sistema de IA de alto riesgo?

Un sistema de inteligencia artificial de alto riesgo es aquel cuyo uso, por su finalidad o contexto, puede generar un impacto significativo sobre derechos fundamentales, la salud, la seguridad o los intereses públicos protegidos en la Unión Europea.

Según el artículo 6 del RIA, un sistema de IA será considerado de alto riesgo si concurre alguno de los siguientes criterios:

1.Está destinado a ser utilizado o integrado como componente de seguridad en productos regulados por legislación de armonización de la Unión.

Este supuesto hace referencia a productos regulados por normas recogidas en el Anexo I del RIA, que ya están sometidos a requisitos de seguridad armonizados a nivel europeo. Esto incluye sectores donde la IA puede incidir en funciones de seguridad del producto, podemos ejemplificar destacando los siguientes:

• Vehículos de motor (Reglamento 2018/858)
• Equipos marinos (Directiva 2014/90/UE)
• Maquinaria industrial (Directiva 2006/42/CE)
• Productos sanitarios y dispositivos médicos (Reglamento 2017/745)
• Equipos de protección individual (EPI) (Reglamento 2016/425)
• Sistemas ferroviarios interoperables (Directiva 2016/797)

Cada una de ellas regula categorías de productos en las que la IA puede actuar como componente de seguridad o tiene impacto funcional en la seguridad del producto final, en estos casos el sistema será considerado como de alto riesgo.

Pensemos en ejemplos como:

• Dispositivos médicos con IA que asisten en diagnósticos automatizados.
• Cascos inteligentes que detectan caídas o fatiga.
• Máquinas industriales que detienen su funcionamiento ante riesgos detectados por IA.

En todos estos casos, el sistema de IA debe cumplir con los requisitos del Título III del Reglamento, que incluye obligaciones técnicas, de trazabilidad, documentación y supervisión humana.

2. Está destinado a utilizarse en alguno de los ámbitos definidos en el Anexo III, que se consideran críticos por su sensibilidad jurídica o social. Entre ellos podemos encontrar:

• Identificación biométrica remota.
• Infraestructuras críticas (agua, gas, electricidad, etc.).
• Educación y evaluación formativa.
• Contratación y gestión laboral.
• Acceso a servicios esenciales o públicos.
• Aplicación de la ley y justicia penal.
• Gestión migratoria, asilo y fronteras.
• Administración de justicia y procesos democráticos.

En todos estos supuestos, el denominador común es el riesgo potencial de afectar derechos como la no discriminación, la privacidad, la libertad personal, la igualdad ante la ley o la protección frente a decisiones automatizadas sin supervisión humana.

2. ¿Por qué el RIA crea esta categoría de alto riesgo?

La clasificación de ciertos sistemas de inteligencia artificial como de alto riesgo responde a un enfoque jurídico preventivo adoptado por el legislador europeo. No se trata de una prohibición, sino de un marco de control ex ante que impone obligaciones reforzadas cuando la IA se aplica en ámbitos sensibles.

El artículo 6 del RIA, junto con el Anexo III, delimita esta categoría con base en un principio central: proteger los derechos fundamentales y el interés público ante la automatización de decisiones que pueden tener consecuencias significativas para las personas.

Este enfoque parte de una lógica de proporcionalidad del riesgo:

• A mayor impacto potencial, mayores exigencias legales.
• A menor riesgo, menores obligaciones para operadores y desarrolladores.

En ese sentido, los sistemas de IA de alto riesgo no están prohibidos, pero sí condicionados a cumplir con requisitos técnicos, organizativos y de transparencia, que garanticen un uso conforme al Derecho de la Unión.

La finalidad última es prevenir daños jurídicos y sociales antes de que se produzcan, y fomentar la confianza en tecnologías que pueden tener un gran valor añadido, siempre que se desarrollen y utilicen de forma responsable y al servicio y mejora del bienestar humano.

3. Ámbitos de uso considerados de alto riesgo (Anexo III)

El Anexo III del RIA enumera de forma expresa los ámbitos en los que el uso de sistemas de inteligencia artificial se considera de alto riesgo, con independencia de que estén o no integrados en productos regulados por legislación sectorial.

Estos ámbitos se caracterizan por tener un impacto directo o potencial sobre derechos fundamentales, la seguridad, el acceso a servicios básicos o el funcionamiento del Estado de Derecho.

Los principales sectores incluidos en el Anexo III son:

• Identificación biométrica remota y categorización de personas físicas:
  Sistemas utilizados para identificar a personas a distancia, en tiempo real o de forma posterior, mediante datos biométricos.
• Gestión y funcionamiento de infraestructuras críticas:
  Incluye IA utilizada para la seguridad y operación de redes esenciales como agua, electricidad, gas o transporte.
• Educación y formación profesional:
  Sistemas empleados para la admisión, evaluación o calificación de personas en entornos educativos o formativos.
• Empleo, gestión de trabajadores y acceso al autoempleo:
  IA utilizada en procesos de selección, promoción, evaluación del rendimiento o asignación de tareas.
• Acceso y disfrute de servicios públicos y privados esenciales:
  Incluye sistemas que determinan el acceso a sanidad, ayudas sociales, vivienda o servicios financieros como créditos o seguros.
• Aplicación de la ley:
  IA destinada a valorar pruebas, predecir riesgos delictivos o verificar documentos en investigaciones o procesos penales.
• Gestión de la migración, el asilo y el control de fronteras:
  Uso de IA en procedimientos de visado, solicitudes de asilo, controles fronterizos o evaluación de riesgos de viaje.
• Administración de justicia y procesos democráticos:
  Sistemas que asisten a autoridades judiciales o administrativas en la interpretación de normas o hechos, o en la adopción de decisiones.

En todos estos ámbitos, la presencia de IA implica una exposición significativa a riesgos jurídicos. Es por ello que el RIA impone medidas reforzadas de garantía y supervisión, antes y durante su despliegue.

4. Obligaciones aplicables a los sistemas de IA de alto riesgo

El Título III del RIA establece un conjunto de obligaciones específicas para los operadores que desarrollan, comercializan o ponen en servicio sistemas de inteligencia artificial clasificados como de alto riesgo.

Estas obligaciones tienen por objeto garantizar que los sistemas se diseñen, evalúen y desplieguen de forma segura, trazable, transparente y bajo supervisión humana efectiva, conforme al principio de protección de derechos fundamentales.

Entre las principales obligaciones destacan:

• Sistema de gestión de riesgos: Los proveedores deben aplicar un sistema continuo de identificación, análisis y mitigación de riesgos asociados al uso del sistema de IA.

• Gobernanza de los datos: Se exige garantizar la calidad, representatividad y adecuación de los datos utilizados para el entrenamiento, validación y prueba del sistema.

• Documentación técnica: Debe elaborarse y mantenerse actualizada, con información suficiente para demostrar la conformidad del sistema con los requisitos del Reglamento.

• Registro en la base de datos de la UE: Los sistemas de IA de alto riesgo deben inscribirse en una base de datos gestionada por la Comisión Europea antes de su puesta en el mercado o en servicio.

• Transparencia y suministro de información al usuario: Los usuarios deben conocer las capacidades, limitaciones y condiciones de funcionamiento del sistema, así como los riesgos residuales.

• Supervisión humana: Se requiere diseñar el sistema de forma que permita una intervención humana efectiva, especialmente cuando puedan producirse resultados adversos.

• Exactitud, solidez y ciberseguridad: El sistema debe ofrecer niveles adecuados de rendimiento técnico y estar protegido frente a ataques o manipulaciones maliciosas.

• Evaluación de la conformidad: Antes de su comercialización o uso, el sistema debe someterse a un procedimiento de evaluación que verifique su cumplimiento normativo. Puede ser realizado por el propio proveedor o, en ciertos casos, por un organismo notificado.

Estas obligaciones tienen un carácter preventivo, porque están diseñadas para evitar que el despliegue de sistemas de IA de alto riesgo cause perjuicios a los derechos fundamentales, la salud o la seguridad. Se aplican antes de la puesta en el mercado o en servicio del sistema, y están orientadas a anticipar y mitigar riesgos potenciales.

A su vez, tienen un carácter operativo, ya que imponen medidas concretas y continuadas durante el ciclo de vida del sistema: desde la calidad de los datos y la supervisión humana, hasta la documentación técnica, la transparencia hacia los usuarios y la resiliencia frente a ciberataques.

Todo ello responde a una lógica de control ex ante y de garantía estructural, propia del enfoque adoptado por el RIA, que prioriza la protección de las personas frente a la automatización de decisiones en contextos jurídicamente sensibles.

5. Supervisión, control y régimen sancionador

El Título VII del RIA establece el marco jurídico para garantizar el cumplimiento efectivo de la normativa aplicable a los sistemas de IA de alto riesgo. Este marco incluye mecanismos de vigilancia del mercado, potestades de inspección y un régimen sancionador armonizado en toda la Unión.

a) Autoridades competentes

Cada Estado miembro deberá designar una o varias autoridades nacionales de supervisión, responsables de verificar que los sistemas de IA de alto riesgo cumplen con las disposiciones del Reglamento, tanto en la fase previa a su comercialización como durante su uso.

Además, se crea a nivel europeo la Oficina de Inteligencia Artificial (AI Office), encargada de coordinar, armonizar y asistir en la aplicación del Reglamento, así como de supervisar los sistemas más avanzados y con mayor impacto transfronterizo.

b) Mecanismos de control y vigilancia

Las autoridades competentes podrán:

• Solicitar documentación técnica a los proveedores.
• Realizar inspecciones físicas o digitales de los sistemas.
• Exigir medidas correctivas en caso de incumplimiento.
• Ordenar la retirada o inmovilización del sistema de IA.

Estas funciones deben ejercerse con base en criterios de proporcionalidad, necesidad y respeto a los derechos de defensa de los operadores económicos implicados.

c) Régimen sancionador

El Reglamento establece un sistema de infracciones y sanciones económicas proporcional al tipo de incumplimiento. Las multas pueden alcanzar:

• Hasta 35 millones de euros o el 7 % del volumen de negocio anual mundial, en caso de infracciones muy graves.
• Hasta 15 millones de euros o el 3 % del volumen de negocio, para otras infracciones importantes.

El importe se determina según criterios como la gravedad de la infracción, su duración, la intencionalidad, los daños causados o las medidas adoptadas para cooperar con la autoridad.

6. Consideraciones finales

In fine, el enfoque de la Unión Europea sobre la inteligencia artificial de alto riesgo, tal como se establece en el RIA, constituye una pieza clave del nuevo entorno jurídico europeo. No limitándose a un conjunto de requisitos técnicos, sino en búsqueda de un modelo regulatorio que combine el impulso a la innovación con un nivel elevado de protección en materia de salud, seguridad y, especialmente, derechos fundamentales.

La norma adopta una estrategia preventiva y estructurada, orientada a identificar y gestionar los riesgos más relevantes en aplicaciones automatizadas que afectan a contextos jurídicos sensibles, como los enumerados en el Anexo III de RIA.

Frente a ello, el Reglamento impone obligaciones proporcionadas al impacto que estos sistemas pueden generar.

Para los distintos operadores implicados, ya sean proveedores, responsables del despliegue, importadores o distribuidores, resulta esencial comprender qué define a un sistema de alto riesgo, qué usos abarca y cuáles son los compromisos derivados.

Estas obligaciones incluyen la documentación técnica, la transparencia informativa, los sistemas de gestión de calidad, la evaluación de conformidad y la supervisión humana, así como, en determinados casos, la evaluación previa del impacto en los derechos fundamentales.

Solo a través de esta comprensión y del cumplimiento diligente del marco normativo podrá asegurarse una integración eficaz, jurídicamente válida y socialmente aceptable de la inteligencia artificial de alto riesgo. Una IA alineada con los valores democráticos, jurídicamente fiable y centrada en la persona.

Si necesitas asesoramiento jurídico adaptado a esta nueva normativa, puedes contar con el apoyo de abogados expertos en inteligencia artificial.