Es importante destacar que la construcción de sistemas de inteligencia artificial (IA) no es simplemente una cuestión de disponibilidad de datos y tecnología. La arquitectura de IA debe ser diseñada considerando el nivel de riesgo asociado con su uso. La experiencia nos demuestra que la mayoría de los equipos abordan este problema de manera inversa: construyen el sistema y luego se preguntan quién debe supervisarlo. Sin embargo, cuando la gobernanza falla, y se necesita una explicación, o cuando el modelo se desvía, o cuando una persona o reputación es dañada, se derrumba la arquitectura que no estaba diseñada para soportar la supervisión que se pretendía.
Una consideración clave es que el riesgo debe informar las necesidades, y estas, a su vez, deben informar la arquitectura, no al revés. Este enfoque permite que los desarrolladores y los compradores de sistemas de IA se centren en las características específicas y los requisitos funcionales y no funcionales que son críticos para su uso particular, especialmente en casos de alto riesgo.
Para ilustrar esto, consideremos un ejemplo práctico. Imagina que tienes una estantería llena de libros. Un modelo de lenguaje grande puede intentar adivinar tu trabajo basándose en los títulos de los libros. Sin embargo, el modelo solo ve los datos (los títulos de los libros) y no entiende el contexto (por ejemplo, que algunos libros son tuyos y otros pertenecen a tu hermana). Esto ilustra la diferencia entre la reconocimiento de patrones y el conocimiento verdadero. En casos de uso de IA donde se necesita explicar por qué se tomó una decisión, no solo qué se hizo, un sistema puramente probabilístico que solo ve los datos sin contexto y relaciones puede no ser suficiente.
La gobernanza efectiva de la IA requiere la operacionalización de los principios, como la explicabilidad, en requisitos funcionales y no funcionales que estén calibrados según el riesgo. Por ejemplo, la explicabilidad básica podría ser suficiente para recomendaciones de Netflix basadas en tu historial de visualización, mientras que la explicabilidad vigilante sería necesaria para casos de uso de alto riesgo, como la triage de pacientes por parte de enfermeras en el campo.
La arquitectura de IA debe ser diseñada para soportar la explicabilidad y la audibilidad necesarias según el nivel de riesgo. Si el riesgo es bajo, un sistema de IA probabilístico con explicabilidad básica podría ser adecuado. Sin embargo, si el riesgo es alto y se necesita una decisión que sea trazable, contestable y defensable, la arquitectura debe soportar ese nivel de rigor.
En resumen, la arquitectura de IA debe ser pensada en función del riesgo, no en función del presupuesto, la urgencia o lo que es fácil de construir. La gobernanza efectiva de la IA implica entender que el nivel de riesgo que se asume para un sistema determina la arquitectura que se necesita construir, así como las habilidades del equipo necesario para construirlo correctamente y las habilidades de los que lo gobernarán y definirán los sistemas alrededor de él.
Fuente: YouTube
