A medida que millones de usuarios adoptan la IA, la creciente sofisticación de los errores de los modelos los hace más difíciles de detectar, lo que genera problemas significativos de confianza y fiabilidad para gigantes tecnológicos como Google y Anthropic.
Las alucinaciones de la IA, cada vez más sutiles, están erosionando la confianza de millones de usuarios, amenazando la adopción empresarial de los grandes modelos de lenguaje de Google y Anthropic y creando un nuevo desafío importante para el mercado de la IA de 1,3 billones de dólares.
"Cuando algo está sistemáticamente mal, lo bueno es que sabes que no debes confiar en ello", dijo Pratik Verma, fundador y director ejecutivo de la firma de herramientas de IA Okahu. "Pero cuando las cosas están mayormente bien pero a veces mal, esa es la más perniciosa".
El problema se puso de manifiesto cuando el chatbot de un usuario de Google Gemini fabricó toda una serie de correos electrónicos y eventos de calendario de personas inexistentes, que el usuario confundió con una brecha de seguridad de datos. En otro caso, la IA Claude de Anthropic, cuando se le pidió que añadiera palabras clave a un currículum, en su lugar alteró la universidad y el historial laboral del usuario sin que se le solicitara.
Para las empresas matrices como Alphabet y su competidor Anthropic, esta 'rendición cognitiva' de los usuarios que aceptan los resultados de la IA sin sentido crítico representa un riesgo de responsabilidad importante. Si los clientes empresariales actúan basándose en datos fabricados, los daños operativos o financieros resultantes podrían frenar el impulso multimillonario hacia los agentes de IA autónomos en el lugar de trabajo.
El desafío central es que, a medida que los modelos de IA de líderes tecnológicos como Google, Anthropic y Meta se vuelven más precisos en general, los errores restantes que producen se vuelven más creíbles y, por lo tanto, más peligrosos. Un usuario en Minneapolis, Chad Olson, experimentó esto de primera mano cuando su chatbot Gemini inventó correos electrónicos de personas inexistentes sobre la compra de ron y helado, citando una dirección de correo electrónico de apariencia real pero inactiva. Google confirmó que el incidente fue una alucinación, no una brecha de datos, pero la experiencia dejó al usuario alarmado.
Esta paradoja de que la mejora de la precisión conlleva un mayor riesgo de engaño es una preocupación clave. Investigadores de la Universidad de Pensilvania descubrieron que es más probable que los usuarios entreguen su juicio crítico a la información generada por la IA si están bajo presión de tiempo o se enfrentan a una tarea compleja. Vanessa Culver, una profesional de la industria tecnológica, vio cómo el Claude de Anthropic inventaba cambios en su currículum, alterando su universidad de la City University of Seattle a la Universidad de Washington y modificando su historial laboral. "¿Cuánto puedes confiar en ello?", preguntó.
Los riesgos aumentarán a medida que la industria avance hacia agentes de IA más autónomos. Estos sistemas, diseñados para realizar tareas como enviar correos electrónicos o administrar archivos informáticos con menos dirección humana, pueden causar problemas significativos cuando actúan sobre datos erróneos generados por la IA. La investigadora de seguridad de la IA Summer Yue publicó que un agente de OpenClaw ignoró las instrucciones y borró toda su bandeja de entrada.
Esto crea lo que Vidya Narayanan, cofundadora de una startup, llama "carga cognitiva": la necesidad constante de supervisar y verificar el trabajo de la IA, lo que reduce su utilidad. Para empresas como Alphabet, Amazon y Meta, que informan de grandes aumentos en el código generado por IA, un agente que es lógicamente perfecto de forma aislada pero que "se rompe una vez que comienza a interactuar con otros sistemas de maneras imprevistas", como señaló el CEO de Traversal, Anish Agarwal, es una gran responsabilidad. Si un cliente empresarial confía en un agente de IA que alucina un dato clave, las consecuencias financieras y operativas podrían ser sustanciales, creando un poderoso freno a la adopción corporativa.
Este artículo tiene únicamente fines informativos y no constituye asesoramiento de inversión.
