Requisitos IA alto riesgo

El Reglamento de inteligencia artificial (RIA) no prohíbe el uso de sistemas de inteligencia artificial en contextos sensibles, pero sí exige que, cuando su despliegue pueda tener consecuencias significativas para las personas, se cumplan una serie de requisitos técnicos, organizativos y jurídicos específicos.

Los sistemas de IA de alto riesgo, definidos en el artículo 6 y desarrollados en el Título III del RIA, deben cumplir con una arquitectura de cumplimiento preventivo que permita anticipar, reducir y controlar los posibles efectos adversos derivados de su funcionamiento.

Estas obligaciones afectan directamente a cómo se diseñan, entrenan, validan, documentan y supervisan estos sistemas, desde la primera fase de desarrollo hasta su uso real en el mercado.

En este artículo analizamos uno por uno los principales requisitos exigidos por el RIA a los sistemas de alto riesgo, con una orientación práctica y jurídica dirigida a quienes diseñan, integran o controlan estas tecnologías.

1. Sistema de gestión de riesgos

El primer requisito que impone el RIA a los sistemas de IA de alto riesgo es la implantación de un sistema de gestión de riesgos continuo, tal como se establece en el artículo 9. No se trata de una evaluación puntual ni de un trámite documental, sino de un proceso estructurado, constante y actualizado, que debe acompañar al sistema en todas las fases de su ciclo de vida.

Este sistema debe permitir:

• Identificar los riesgos conocidos y previsibles que puedan derivarse del uso del sistema, tanto en condiciones normales como en caso de mal funcionamiento.
• Analizar y evaluar la magnitud y probabilidad de dichos riesgos, teniendo en cuenta el contexto de uso previsto.
• Aplicar medidas de control o mitigación adecuadas, con el objetivo de reducir su impacto potencial en la salud, la seguridad o los derechos fundamentales de las personas afectadas.
• Revisar y actualizar el análisis periódicamente, especialmente cuando el sistema se modifica, se utiliza de forma distinta a la prevista o se detectan incidentes relevantes.

El RIA establece además que este sistema debe documentarse adecuadamente, formar parte del sistema de gestión de calidad del proveedor, y estar disponible para su evaluación por parte de las autoridades competentes.

Este enfoque convierte la gestión del riesgo en el eje transversal del cumplimiento normativo, y exige que el proveedor del sistema actúe con diligencia desde la fase de diseño hasta el despliegue final.

2. Gobernanza y gestión de los datos

El artículo 10 del RIA establece requisitos específicos para el tratamiento de los datos utilizados en el entrenamiento, validación y prueba de los sistemas de IA de alto riesgo. El objetivo es asegurar que estos sistemas funcionen sobre una base de datos sólida, representativa y jurídicamente fiable, evitando sesgos, errores o consecuencias discriminatorias.

Los proveedores deben garantizar que los conjuntos de datos cumplen con las siguientes condiciones:

• Relevancia: los datos deben ser apropiados para el propósito del sistema, en relación con las funciones que va a desempeñar.
• Representatividad y diversidad: los conjuntos deben reflejar adecuadamente las características de los grupos y situaciones a los que se aplicará el sistema, evitando sesgos injustificados.
• Precisión y completitud: los datos deben estar técnicamente bien definidos y ser lo más completos posible, reduciendo el margen de error.
• Actualización: los datos deben mantenerse actualizados, especialmente en sistemas que se entrenan de forma continua o adaptativa.

Además, el proveedor debe adoptar medidas activas de gobernanza, incluyendo:

• Procedimientos para verificar la calidad y origen de los datos.
• Controles sobre el acceso, trazabilidad y reutilización de los conjuntos.
• Garantías de cumplimiento con la legislación aplicable sobre protección de datos personales, cuando proceda.

Este enfoque impone una responsabilidad técnica y jurídica sobre cómo se seleccionan, procesan y documentan los datos, elevando el nivel de control exigido a los sistemas de IA de alto riesgo respecto de cualquier otro uso de datos en entornos digitales.

3. Documentación técnica y conservación de registros

El artículo 11 del RIA establece la obligación de elaborar una documentación técnica completa y estructurada para cada sistema de IA de alto riesgo. Esta documentación no es un anexo accesorio, sino un elemento central que permite a las autoridades evaluar la conformidad del sistema con el Reglamento y supervisar su comportamiento a lo largo del tiempo.

La documentación debe incluir, como mínimo:

• Una descripción general del sistema, su finalidad y el entorno previsto de uso.
• Información detallada sobre su diseño, arquitectura, componentes y funcionamiento.
• Los resultados del sistema de gestión de riesgos, incluidos los métodos aplicados.
• Descripción de los datos utilizados para entrenamiento, validación y prueba.
• Procedimientos de evaluación de conformidad y medidas adoptadas para su cumplimiento.

Esta obligación alcanza tanto a proveedores como, en su caso, a importadores o desplegadores, cuando modifiquen el sistema o asuman responsabilidades funcionales.

Por su parte, el artículo 12 exige que los sistemas de alto riesgo mantengan registros automáticos (logs) que permitan reconstruir su funcionamiento posterior. Estos registros deben conservarse durante un período razonable, definido en función del tipo de sistema y del riesgo que implica.

La finalidad de estos registros es doble:

• Facilitar auditorías e investigaciones en caso de fallos o efectos adversos.
• Garantizar la trazabilidad de las decisiones automatizadas o semiautomatizadas tomadas por el sistema.

En conjunto, documentación y registros operan como una capa de trazabilidad jurídica y técnica, esencial para que los sistemas de IA de alto riesgo puedan ser auditados, controlados y, llegado el momento, modificados o retirados de forma informada.

4. Transparencia y comunicación de información

El artículo 13 del RIA impone a los proveedores de sistemas de IA de alto riesgo la obligación de garantizar un nivel adecuado de transparencia, de forma que tanto los usuarios como las autoridades competentes puedan comprender cómo funciona el sistema y cuáles son sus limitaciones.

Esta transparencia no se refiere únicamente al código o a la lógica del algoritmo, sino a la capacidad de explicar el sistema en términos funcionales, comprensibles y jurídicamente auditables.

Los sistemas deben estar diseñados de manera que permitan:

• Identificar claramente que se trata de una inteligencia artificial.
• Comprender las capacidades, limitaciones y supuestos de funcionamiento.
• Explicar los resultados o decisiones generadas, especialmente si afectan a personas físicas.
• Evaluar los márgenes de error, fiabilidad y condiciones de uso previstas.

Además, los proveedores deben facilitar a los usuarios:

• Instrucciones de uso claras y accesibles, adaptadas al perfil técnico del operador.
• Información sobre los riesgos residuales del sistema.
• Recomendaciones para la supervisión humana y la intervención manual, si es necesaria.

La finalidad última de esta obligación es garantizar que las decisiones automatizadas no se conviertan en cajas negras, y que los operadores puedan ejercer un control efectivo sobre su uso, minimizando riesgos de malinterpretación, uso indebido o dependencia ciega del sistema.

Esta transparencia se convierte así en una garantía funcional y jurídica, que vincula al proveedor con los efectos que pueda generar el sistema en contextos reales.

5. Supervisión humana

Según el artículo 14 del RIA, todos los sistemas de IA de alto riesgo deben diseñarse y configurarse de forma que permitan una supervisión humana efectiva durante su funcionamiento. Esta supervisión no puede ser simbólica ni superficial: debe estar pensada para garantizar control real y capacidad de intervención cuando sea necesario.

El objetivo es claro: evitar que decisiones con consecuencias jurídicas, sociales o económicas relevantes se adopten de forma completamente automatizada y sin posibilidad de revisión.

Para cumplir con esta obligación, los sistemas deben estar concebidos de forma que:

• Permitan a una persona entender el funcionamiento del sistema y anticipar sus efectos.
• Faciliten la intervención humana antes, durante o después del funcionamiento del sistema, especialmente en situaciones de riesgo.
• Eviten generar una confianza injustificada en los resultados del sistema, previniendo una delegación ciega en la IA.
• No obstaculicen la anulación o reversión de decisiones erróneas, ni dificulten el acceso a mecanismos correctivos.

El RIA aclara que la supervisión no exige una presencia constante ni una validación manual de cada resultado, pero sí requiere diseñar el sistema de modo que el usuario pueda ejercer una influencia significativa sobre su funcionamiento.

Este requisito convierte a la supervisión humana en un elemento estructural del cumplimiento, especialmente en contextos como la gestión de personas, la aplicación de la ley o el acceso a servicios esenciales, donde los riesgos de automatización no controlada son mayores.

6. Precisión, solidez y ciberseguridad

El artículo 15 del RIA establece que los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de forma que garanticen un nivel adecuado de precisión, solidez y resistencia frente a ciberataques. Estos elementos no son meramente técnicos, sino que se integran como requisitos jurídicamente exigibles del sistema.

Precisión:

El sistema debe alcanzar un grado de rendimiento alineado con su finalidad y con los niveles establecidos en su documentación técnica. Se debe especificar:

• El nivel esperado de precisión en condiciones normales.
• La variabilidad aceptable en distintos escenarios.
• Las condiciones bajo las cuales el rendimiento puede verse afectado.

Solidez:

El sistema debe funcionar de forma estable, sin producir errores inesperados ante entradas no previstas. Esto implica:

• Ser resistente a perturbaciones, mal uso o cambios no anticipados.
• Mantener su comportamiento dentro de límites seguros incluso en condiciones no ideales.
• Garantizar resultados fiables, incluso ante pequeñas variaciones de contexto.

Ciberseguridad:

El RIA exige que los sistemas sean diseñados con medidas de protección frente a accesos no autorizados, manipulaciones maliciosas o ataques externos, incluyendo:

• Protección del sistema durante su entrenamiento, validación y despliegue.
• Integración de controles para evitar la modificación de resultados o registros.
• Capacidad de recuperación y reacción ante incidentes de seguridad.

Estas obligaciones deben adaptarse al estado actual de la técnica, y mantenerse actualizadas durante toda la vida útil del sistema. No basta con implementar controles al inicio: la precisión, solidez y seguridad deben revisarse, verificarse y mejorarse de forma continua.

Este enfoque convierte al rendimiento técnico en una garantía jurídica: no solo se espera que el sistema funcione, sino que lo haga con fiabilidad suficiente para proteger a las personas que puedan verse afectadas por su uso.

7. Consideraciones finales

Los sistemas de IA de alto riesgo no están prohibidos ni restringidos en su desarrollo, pero sí deben cumplir con una estructura técnica y jurídica rigurosa, que garantice su funcionamiento seguro, trazable y supervisado.

El RIA articula este cumplimiento en torno a una serie de requisitos obligatorios, que afectan tanto al diseño como al despliegue y operación posterior del sistema. No se trata de controles simbólicos, sino de mecanismos concretos: gestión de riesgos, gobernanza de datos, documentación, transparencia, supervisión humana, precisión y ciberseguridad.

Estos elementos no solamente cumplen una función de control institucional, sino que también actúan como instrumentos de prevención jurídica para los operadores. Implementarlos de forma efectiva permite anticipar conflictos, evitar responsabilidades y reforzar la legitimidad del uso de inteligencia artificial en entornos sensibles.

Integrar correctamente estos requisitos desde la fase de diseño no implica sólo una opción técnica, sino una condición legal para operar conforme al Derecho de la Unión.

El cumplimiento riguroso de estos requisitos es una garantía de confianza, seguridad y responsabilidad tecnológica. Si necesitas asesoramiento jurídico especializado para implementar estas medidas en tus sistemas, puedes contar con los abogados expertos en inteligencia artificial fiable.