Desarrolladores ponen a prueba a los modelos de IA con Minecraft y el tradicional Pictionary; la intención es que esos sistemas se enfrenten a retos que ahora les resultan complejos.

06 de noviembre 2024, 07:51hs

Los modelos de Inteligencia Artificial son entrenados con grandes volúmenes de datos: ese es su néctar. En buena medida, incluso cuando abordan tareas creativas en sus variantes generativas, esos sistemas operan gracias a su capacidad de memoria y repetición. Y amén de sus innegables habilidades, aún hay terrenos en los que la IA es ingenua, mucho menos astuta que los humanos que a diario nos enfrentamos a información variable.

Según recoge el sitio TechCrunch, para resolver esas falencias de los modelos de IA, desarrolladores los ponen a prueba con juegos tradicionales y también con videogames. “Creo que esto los desafía y les da más autonomía, al no estar tan restringido y saturado como otros puntos de referencia”, comentó al respecto uno de los developers.

El tradicional Pictionary para entrenar a la Inteligencia Artificial

Los puntos de referencia en IA, a los que se hace alusión más arriba, sirven a los investigadores para evaluar el progreso de los sistemas. Por ejemplo, el reconocimiento de imágenes, la generación de texto o la habilidad para jugar ajedrez, entre otras tareas. Conforme avanzan los desarrollos, los involucrados en el área prueban nuevos desafíos útiles para valorar y entrenar a los modelos.

El caso de Paul Calcraft, citado por TechCrunch, es interesante. Este desarrollador independiente usa el tradicional juego Pictionary para testear los alcances de la IA. En la práctica, un modelo sintético dibuja y otro intenta adivinar qué representan esos garabatos. Igual que lo hacemos los humanos.

“Pensé que esto sería divertido y potencialmente interesante desde el punto de vista de las capacidades del modelo”, dijo Calcraft, que reconoce inspiración en un proyecto previo, en el que se pidió a modelos de IA que dibujen a un pelícano andando en bicicleta para incitarlos a pensar más allá de los datos contenidos en la instancia de entrenamiento.

“La idea es tener un punto de referencia que no se pueda superar memorizando respuestas específicas o patrones simples que se hayan visto antes, durante el entrenamiento”, explicó Calcraft. “La comprensión espacial y la multimodalidad son elementos críticos para el avance de la IA, por lo que Pictionary podría ser un pequeño paso inicial en ese viaje”, concluyó.

Minecraft, el videojuego más vendido de la historia, un reto para la IA

La herramienta mc-bench fue creada por un joven desarrollador de 16 años, y básicamente es un modelo que toma control sobre un personaje de Minecraft, el popular videojuego de construcción en un mundo abierto. “Esto pone a prueba el ingenio de estos sistemas y les da mayor autonomía”, opinó el responsable de ese proyecto, Adonis Singh.

Siguiendo a la fuente, el uso de juegos para adiestrar a la IA no es precisamente nuevo. El caso más conocido es el del ajedrez, que durante muchos años ha sido un punto de referencia clave, que cobró notoriedad cuando las máquinas derrotaron a los campeones de carne y hueso.

¿Qué cambia, ahora? El contexto y la actualidad de los avances en el área. Los desafíos que se plantean se vinculan a los grandes modelos de lenguaje (LLM, por sus siglas en inglés) que dan sustento a chatbots populares y habilidosos como ChatGPT, Gemini y Meta AI, por mencionar tres paradigmas del sector.

El “esparcimiento” como punto de referencia es un paso relevante para la evolución de esas tecnologías. Al respecto, mencionó Matthew Guzdial, investigador de la Universidad de Alberta, en Canadá, que a diferencia el empleo de texto, los juegos ofrecen una forma visual e intuitiva de comparar cómo funcionan y comportan las IAs. “Podemos pensar en cada punto de referencia como si nos brindara una simplificación diferente de la realidad enfocada en tipos particulares de problemas, como el razonamiento o la comunicación”, señaló. “Los juegos son solo otras formas en las que se pueden tomar decisiones con IA”, cerró.