Estudiantes UP desarrollan el primer benchmark bonaerense para evaluar la comprensión de los LLMs

Tres alumnos de la carrera de Inteligencia Artificial UP presentaron Decubo, un proyecto académico que analiza cómo funcionan los grandes modelos de lenguaje.

Tadeo Donegana Braunschweig, Lautaro Barceló y Tadeo Wassner Penko presentaron Decubo, su proyecto de investigación: el primer benchmark de entendimiento contextual bonaerense para LLMs (grandes modelos de lenguaje), desarrollado a partir de un corpus literario regional en colaboración con la Dirección Provincial de la Lectura. La presentación se realizó en el marco del Congreso AI Innovation Summit, donde compartieron los objetivos del trabajo, sus avances y los resultados obtenidos.

“Decubo es un proyecto de investigación que hicimos en la materia Procesamiento del Lenguaje Natural de la Universidad de Palermo. Nos preguntamos si los LLM entienden nuestro idioma, el español que hablamos en Argentina. Entonces, desarrollamos el primer benchmark en español rioplatense para evaluar modelos de lenguaje”, explicó Tadeo Donegana Braunschweig.

En tanto, Lautaro Barceló, también estudiante de la UP, agregó: “Algo que nunca se había hecho es evaluar cómo funciona la comprensión textual —comprensión entre comillas—, en realidad sería cómo procesa esos textos un modelo de lenguaje y cómo da respuestas acertadas a preguntas un tanto complejas”. Además, remarcó la importancia de poder compartir el proyecto con otros estudiantes que recién comienzan la carrera.

Respecto al desarrollo del benchmark, explicaron: “Seleccionamos 21 textos literarios diversos, de distintos géneros y autores —desde ensayos, pasando por textos de Borges, hasta el Martín Fierro— y formulamos 68 preguntas con opciones múltiples, similares al benchmark oficial que usamos como referencia, pero en nuestro idioma. Además, introdujimos sesgos para ver si el modelo podía detectarlos. Queríamos saber si los modelos realmente nos entienden”.

Entre las conclusiones, destacaron el impacto del idioma y la complejidad del lenguaje sobre el rendimiento de los modelos: “Pudimos demostrar que el rendimiento depende de esas variables. Para mejorar la comprensión, es clave trabajar con más datos y ajustarlos según las particularidades lingüísticas”.

Durante el congreso, los alumnos también pudieron intercambiar experiencias con otros estudiantes de la carrera de Inteligencia Artificial UP y conocer de primera mano qué están haciendo hoy las principales empresas del sector. “Creo que, como estudiante de la UP, tener acceso a este tipo de oportunidades es muy importante. Te permite relacionarte con personas que ya están en la industria, con compañeros, colegas, y además mostrar lo que hiciste a más gente de la facultad, empresas privadas o personas interesadas. Es una gran oportunidad para recibir feedback, hacer contactos y conocer a otros”, expresó Donegana Braunschweig.

En cuanto a la carrera de Inteligencia Artificial en la UP, los estudiantes destacaron la calidad de los docentes y la flexibilidad académica: “Además de poder elegir siempre los horarios, la opción de cursar de forma asincrónica ayuda muchísimo”, concluyó Tadeo Wassner. Y agregó: “Tuve profesores excelentes, que me enseñaron mucho y me ayudaron a comprender y razonar cómo funcionan estos modelos. Eso fue clave para poder aplicarlos en este paper”.

Mirá los testimonios de los estudiantes UP y conocé más sobre su trabajo de investigación: