¿Cuántas P hay en Google? Según Google, hay dos.
También hay «exactamente 1 ‘r’ en la palabra ‘poo'», dice la revisión de inteligencia artificial de Google, y dos «d» en la palabra periodismo, pero se escribe periodismo. Al menos Google identificó que hay una P en el apellido del presidente de Estados Unidos, pero la deletreó como trpum.
No hacía falta ser un profeta para predecir que la revisión de la inteligencia artificial de búsqueda de Google saldría mal. Ya lo hemos hecho. Cuando Google agregó por primera vez reseñas de IA a la búsqueda, la función terminó vinculando a publicaciones satíricas en The Onion y Reddit que aconsejaban a las personas comer piedras y poner pegamento en su pizza.
Esta vez, mientras Google redobla su compromiso de hacer de la inteligencia artificial generativa la pieza central de su buque insignia de 29 años, no sorprende que esté tropezando.
«Contar en palabras ha sido un desafío conocido para los LLM y estamos trabajando para abordar este problema», dijo Google en un comunicado enviado por correo electrónico a TechCrunch.
Estos errores ortográficos básicos pueden resultarle familiares. Los LLM, el tipo de inteligencia artificial que impulsa los chatbots y otros generadores de texto, no están diseñados para comprender la ortografía. Ha sido un chiste durante años que cada vez que una empresa introduce un nuevo modelo de IA, hay que preguntar cuántas «r» hay en la palabra fresa. Estos modelos de IA, que pueden codificar una aplicación en segundos o resolver problemas que han desconcertado a los matemáticos durante décadas, son tan buenos en ortografía como un niño en edad preescolar.
Pero la revisión de la IA de Google va más allá de los tontos errores ortográficos. Google ya solucionó un problema de la semana pasada donde una búsqueda de la palabra «ignorar» arrojaba una definición de diccionario de la palabra, solo que la definición se presentaba como «Entendido. ¡Avíseme si tiene alguna pregunta o inquietud nueva!» Pero estos errores ortográficos siguen siendo divertidos porque son muy difíciles de eliminar.
Como explicaron los investigadores anteriormente cuando preguntamos sobre estas dificultades de ortografía, la IA no percibe las oraciones como unidades lingüísticas compuestas de palabras y letras. Muchos LLM se basan en modelos transformadores que dividen el texto en tokens, que pueden ser palabras completas, sílabas o letras, según el modelo. En lugar de «leer» como un humano, la IA convierte el texto en representaciones numéricas de sí mismo, que luego contextualiza para ayudar a la IA a proporcionar una respuesta lógica.
«Los LLM se basan en esta arquitectura transformadora que en realidad no lee texto. Cuando damos una indicación, se traduce en codificación», dijo a TechCrunch Matthew Guzdial, investigador de inteligencia artificial y profesor asistente de la Universidad de Alberta. “Cuando ves la palabra ‘el’, esa es tu única codificación de lo que significa ‘el’, pero no sabes ‘T’, ‘H’, ‘E’.
La arquitectura basada en tokens que los LLM como la revisión de IA de Google es fundamentalmente limitante, y los investigadores no se mostraron optimistas de que pudieran resolver el problema de ortografía.
«Es difícil sortear la cuestión de qué debería ser exactamente una ‘palabra’ en un modelo de lenguaje, e incluso si pudiéramos lograr que expertos humanos se pusieran de acuerdo sobre el vocabulario simbólico perfecto, los modelos probablemente encontrarían útil ‘fragmentar’ las cosas aún más», dijo a TechCrunch Sheridan Feucht, estudiante de doctorado que estudia la interpretabilidad de modelos de lenguaje grandes en la Universidad Northeastern.
Este no es necesariamente un tema apremiante en la mente de los investigadores, ya que la utilidad de los LLM no reside en la capacidad de deletrear. Pero estos fracasos flagrantes nos ayudan a recordar que la IA no es perfecta, incluso si a veces parece una fuerza omnisciente más allá de nuestra comprensión. No podemos confiar ciegamente en los resultados de la IA sin verificar su precisión.
Si realiza una compra a través de los enlaces de nuestros artículos, es posible que recibamos una pequeña comisión. Esto no afecta nuestra independencia editorial.
