La GSMA Foundry, el centro de innovación de la GSMA, ha anunciado el lanzamiento de GSMA Open-Telco LLM Benchmarks, una comunidad de código abierto que busca mejorar el rendimiento de los modelos de lenguaje de gran escala (LLMs) en aplicaciones específicas del sector de telecomunicaciones.
La iniciativa, pionera en la industria, proporciona un marco de evaluación para modelos de IA en escenarios reales y cuenta con el respaldo de Hugging Face, Khalifa University, The Linux Foundation y varios operadores móviles y proveedores tecnológicos.
La comunidad GSMA Open-Telco LLM Benchmarks permite a operadores, investigadores y desarrolladores de IA presentar casos de uso, conjuntos de datos y modelos para su evaluación. Gracias a un marco de referencia estandarizado, todos los modelos serán evaluados en desafíos reales, como el conocimiento en telecomunicaciones, el razonamiento matemático, el consumo energético y la seguridad. Los resultados estarán disponibles en Hugging Face para garantizar la transparencia y fomentar la participación de la comunidad.
Entre los operadores móviles que apoyan esta iniciativa se encuentran Deutsche Telekom, LG Uplus, SK Telecom y Turkcell, además del proveedor tecnológico Huawei.
IA en telecomunicaciones
A medida que la inteligencia artificial gana presencia en las telecomunicaciones, los modelos de lenguaje han mostrado limitaciones en la gestión del conocimiento técnico, el cumplimiento regulatorio y la resolución de problemas en redes.
Pruebas revelaron que GPT-4 obtuvo menos del 75% en TeleQnA, un conjunto de datos diseñado para evaluar el conocimiento de IA en telecomunicaciones, y menos del 40% en 3GPPTdocs Classification, basado en documentación de estándares 3GPP. Modelos más pequeños, como Phi-2 de Microsoft, registraron solo un 10% en MATH500, un banco de 500 problemas matemáticos generales.
Estos resultados evidencian la necesidad de mejorar los modelos de IA para que puedan abordar consultas específicas del sector. GSMA Open-Telco LLM Benchmarks busca cerrar esta brecha proporcionando evaluaciones abiertas y transparentes en términos de capacidades, eficiencia energética y seguridad.
El lanzamiento de esta comunidad es un esfuerzo de la GSMA por promover el uso ético y sostenible de la IA en el sector. En el MWC25 Barcelona, se llevará a cabo la cumbre ‘Gen AI Summit: Experimentation to Transformation’, donde se explorarán aplicaciones prácticas y el impacto transformador de la IA generativa en telecomunicaciones. Se abordarán temas como la optimización de redes con IA, la personalización de experiencias de usuario y la integración de IA en redes 5G y futuras.
