Alucinaciones de la IA

Las alucinaciones son las respuestas falsas o inexactas que los sistemas de inteligencia artificial (IA) generan ante las consultas de los s. ¿Por qué ocurren? Porque las IA, especialmente las de lenguaje, como los chatbots, no piensan ni verifican los contenidos. Trabajan con patrones estadísticos aprendidos de grandes bases de datos. Si encuentran datos inconsistentes o si deben completar información que no tienen, inventan. En contextos simples, como preguntar por un hecho trivial, esto puede ser solo un inconveniente menor. Pero en temas críticos, una respuesta falsa puede generar daños irreparables.

(Le puede interesar: El efecto Dunning-Kruger).

En un artículo titulado ‘AI on trial: Legal models hallucinate in 1 out of 6 (or more) benchmarking queries’, la Universidad de Stanford señala que las alucinaciones de los chatbots de uso legal en Estados Unidos ocurren entre el 58 y el 82 % de los casos. Si esto sucede en Estados Unidos, donde los sistemas están alimentados con grandes cantidades de información y se invierte significativamente en la revisión de contenidos, no quiero pensar lo que ocurre aquí para nosotros.

Como s comunes, lo único que podemos hacer es usar las respuestas provenientes de IA o fuentes automatizadas como una sugerencia, contrastar siempre la información, y en todo caso, usar siempre la IA como una herramienta complementaria, no sustitutiva, de las demás fuentes de información.

Los desarrolladores, por su parte, deben trabajar en mecanismos de chequeo interno. Por ejemplo, pueden integrar sistemas que contrasten las respuestas generadas con bases de datos verificadas o referencias externas confiables antes de presentarlas al o incluso implementar mecanismos que permitan a los s reportar alucinaciones, como hace Wikipedia.

Tal vez sería conveniente que se dicten, y sobre todo que se apliquen, normativas claras que obliguen a los desarrolladores de IA a garantizar la calidad y fiabilidad de los sistemas, especialmente en contextos sensibles como la medicina o el derecho.

La sanción social siempre es una opción. Varios abogados estadounidenses han sido sancionados por citar casos ficticios inventados por ChatGPT en sus alegatos, y no imagino la vergüenza que han sentido cuando han sido sancionados.

De todas formas, la solución más fácil y sencilla sería hacer que la IA solo opere en áreas donde su entrenamiento sea sólido y si no tiene datos suficientes sobre un tema, lo mejor sería que lo informe al en lugar de inventar una respuesta.