Índice de contenidos
Una IA no falla el día que la implantas.
Falla seis meses después, cuando ya nadie se acuerda de cómo se configuró, cuadno los datos de origen han cambiado tres veces y la persona que la validó ya no está en la empresa...
Ese es el momento en el que una auditoría se convierte en la única forma de saber si el sistema sigue haciendo lo que se supone que hace.
¿Qué es auditar una IA?
Cuando hablamos de una auditoría de Ia en producción, no hablamos de revisar el código y firmar un informe. Es un proceso continuo, porque un modelo entrenado con datos de 2024 puede comportarse de forma distinta ante la realidad de 2026 sin que haya cambiado ni una línea de su configuración. Parece algo complejo pero, con los recursos y el apoyo necesario, no lo es tanto.
A esto se le llama deriva del modelo, y es una de las razones por las que el Reglamento de IA de la Unión Europea no exige una auditoría puntual, sino un sistema de vigilancia poscomercialización activo durante toda la vida útil del sistema.
Qué exige el marco normativo de IA de la Unión Europea
Artículo 72 del Reglamento (UE) 2024/1689
El artículo 72 del Reglamento (UE) 2024/1689 obliga a los proveedores de sistemas de IA de alto riesgo a establecer un sistema de seguimiento poscomercialización que recoja y analice de forma activa datos sobre el funcionamiento del sistema durante toda su vida útil, incluyendo su interacción con otros sistemas de IA.
Ese seguimiento no se limita a un documento aislado: forma parte de la documentación técnica del anexo IV y se apoya en el sistema de gestión de riesgos del artículo 9, que exige revisar y actualizar periódicamente la evaluación de riesgos a la luz de los datos reales de uso.
Artículo 26 del Reglamento (UE) 2024/1689
Por su parte, el artículo 26 añade la parte que le corresponde a quien despliega el sistema, no solo a quien lo desarrolla: supervisar su funcionamiento, conservar los registros que genere automáticamente durante el periodo adecuado y suspender su uso si detecta un riesgo.
La ISO/IEC 42001 lo traduce en términos de sistema de gestión: auditorías internas periódicas, revisión por la dirección y mejora continua, exactamente el mismo esquema que ya conocen los equipos que han pasado por una ISO 27001 o una ISO 9001. Y cuando el sistema entra en el alcance de un servicio sujeto al Esquema Nacional de Seguridad, se suma la auditoría de seguridad periódica, obligatoria cada dos años en las categorías media y alta, con informe formal ante el organismo competente.
Las cinco preguntas para pasar una auditoría de IA
Sea cual sea el marco de referencia, una auditoría de IA en producción termina respondiendo siempre a las mismas cinco preguntas.
| Pregunta | Qué se revisa | Señal de alarma |
|---|---|---|
| ¿Sigue haciendo la IA lo que decía la ficha inicial? | Comparación entre el propósito documentado y el uso real | El sistema se usa para casos que nadie aprobó |
| ¿Los datos siguen siendo los correctos? | Origen, actualización, calidad y sesgos de los datos de entrada | Fuentes desactualizadas o sin dueño identificado |
| ¿Se puede explicar cada respuesta? | Trazabilidad de la salida hasta su origen | Respuestas sin fuente ni justificación reconstruible |
| ¿Quién revisa lo que hace la IA? | Supervisión humana real, no nominal | Nadie revisa las respuestas desde hace meses |
| ¿Qué pasa cuando se equivoca? | Registro de incidencias y corrección | No hay canal para reportar errores, o nadie lo usa |
Estas cinco preguntas son, en esencia, una versión operativa de lo que exige el Reglamento IA en sus artículos, dispuestos a continuación:
Artículo 9 del Reglamento IA (UE). Sistema de gestión de riesgos.
1. Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos en relación con los sistemas de IA de alto riesgo.
Artículo 12 del Reglamento IA (UE). Conservación de registros.
1. Los sistemas de IA de alto riesgo permitirán técnicamente el registro automático de acontecimientos (en lo sucesivo, «archivos de registro») a lo largo de todo el ciclo de vida del sistema.
Artículo 14 del Reglamento IA (UE). Supervisión humana.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de herramientas de interfaz humano-máquina adecuadas.
Artículo 15 del Reglamento IA (UE). Precisión, solidez y ciberseguridad.
1. Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera uniforme en esos sentidos durante todo su ciclo de vida.
Toda la información detallada de cada artículo del reglamento de IA la podrás encontrar aquí.
"Producción de IA" no es lo mismo que "validación de IA"
Muchas empresas confunden la validación inicial con la auditoría continua, y ahí está el error más caro.
- La validación responde a "¿funciona esto bien hoy, con los datos de prueba?".
- La auditoría en producción responde a "¿sigue funcionando bien con los datos reales, seis meses después, cuando el volumen de uso se ha multiplicado por diez?".
La validación se hace una vez, antes de lanzar. Compara resultados con un conjunto de datos controlado.
La auditoría en producción se hace de forma recurrente. Compara resultados con la realidad, que no se deja controlar tan fácilmente.
La deriva operativa aparece precisamente en esa distancia: entre lo que el sistema debería hacer y lo que empieza a hacer sin que nadie lo note, porque el entorno cambió y el sistema no.
| Concepto | Pregunta clave | Frecuencia | Método de control | Riesgo principal |
|---|---|---|---|---|
| Validación Inicial | "¿Funciona esto bien hoy?" | Una sola vez (antes del lanzamiento). | Compara resultados utilizando un conjunto de datos controlado en entorno de prueba. | Confundir un buen resultado inicial con garantía de funcionamiento a largo plazo. |
| Auditoría Continua | "¿Sigue funcionando bien hoy con la realidad?" | Recurrente / Periódica (en producción). | Compara resultados con datos reales y volumen de uso multiplicado en el día a día. | Sufrir fallos silenciosos no detectados cuando el entorno cambia. |
| El peligro real. La deriva operativa: Es la distancia invisible entre lo que el sistema debería hacer y lo que empieza a hacer sin que nadie lo note. Ocurre inevitablemente cuando el entorno real evoluciona pero el sistema (y sus criterios de validación inicial) permanecen estáticos. | ||||
Qué mirar según el tipo de sistema de IA
No se audita igual un asistente de conocimiento interno que un sistema de mantenimiento predictivo o uno de selección de personal. El nivel de riesgo marca la profundidad de la revisión.
- Asistentes conversacionales y de conocimiento (como un RAG corporativo). Precisión de las respuestas, porcentaje de preguntas fuera de alcance, ausencia de alucinaciones, trazabilidad de la fuente citada...
- Sistemas de mantenimiento predictivo o industrial. Consistencia entre predicción y evento real, tasa de falsos positivos, impacto en la planificación de recursos...
- Sistemas que afectan a personas (selección, scoring, evaluación). Sesgos por variable protegida, tasa de error por segmento, evaluación de impacto sobre derechos fundamentales cuando aplique...
Un ejemplo de auditoría bien planteada
En La iaia, el panel de control es la herramienta de auditoría continua. Muestra el porcentaje de precisión RAG en tiempo real, cuántas preguntas quedan fuera de la base de conocimiento, qué fuentes llevan sin actualizarse y qué temas emergentes está detectando el sistema en las conversaciones. Eso convierte la auditoría de "revisión anual que nadie suele recordar" en un hábito operativo, algo que se mira cada semana igual que se mira un cuadro de mando comercial.
Checklist antes de tu próxima auditoría
| Estado | Pregunta de control |
|---|---|
Preguntas frecuentes sobre una auditoría de IA
¿Con qué frecuencia hay que auditar un sistema de IA?
El Reglamento IA no fija un calendario cerrado para todos los casos, pero exige que el seguimiento sea activo y continuo, no puntual. En la práctica, la mayoría de las organizaciones que hacen esto bien revisan indicadores clave cada semana o cada mes, y hacen una auditoría formal más profunda cada trimestre o cada semestre
¿Auditar una IA requiere acceso al código o al modelo?
No siempre. Buena parte de la auditoría en producción se apoya en los registros de uso, las métricas de precisión y la trazabilidad de las respuestas, sin necesidad de acceder al modelo subyacente. Esto es especialmente relevante cuando se trabaja con modelos de terceros.
¿Qué diferencia hay entre auditoría interna y auditoría externa?
La auditoría interna la hace la propia organización de forma recurrente, apoyada en sus propios registros. La externa la realiza un tercero, normalmente exigida por certificaciones como ISO 42001 o por marcos como el ENS en sus categorías media y alta.
Por dónde empezar
Un sistema de IA que nadie audita no es un sistema fiable. Tal vez simplemente estás teniendo"suerte". Y la suerte, en compliance, cuidado. Suele tener fecha de caducidad.
En Bluak ayudamos a empresas a poner en marcha sistemas de IA con seguimiento continuo desde el primer día. Si quieres saber si tu IA aguantaría una auditoría hoy mismo, ¿lo probamos? ¡Te acompañamos!
