Un nuevo informe de la GSMA, en colaboración con NetoAI, explora cómo los operadores pueden implementar y optimizar modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) directamente en el edge, para potenciar aplicaciones en tiempo real sin comprometer rendimiento ni eficiencia energética.
IA en el borde
El despliegue de LLMs en el edge, donde se generan los datos y se ejecutan las acciones, es clave para habilitar experiencias instantáneas, desde agentes de voz y redes autoajustables hasta cámaras inteligentes y soluciones industriales autónomas.
Sin embargo, según la GSMA, este avance enfrenta un desafío técnico, pues los equipos en el borde tienen limitaciones de energía y capacidad de cómputo. Por lo que el desafío al que se enfrentan las empresas es cómo ejecutar modelos tan sofisticados en entornos con recursos limitados sin sacrificar inteligencia o velocidad.
“La clave no está solo en lo que los modelos pueden hacer, sino en dónde lo hacen”, explican Louis Powell, director de Iniciativas de IA en GSMA, y Vignesh Ethiraj, CTO de NetoAI, en el estudio.
Modelos más ligeros y rápidos
Por eso, se sugiere que para lograr que los LLM funcionen eficientemente en el edge, se deben aplicar técnicas avanzadas de optimización como cuantización, poda y distilación de conocimiento. Estas estrategias permiten reducir el tamaño del modelo y acelerar su inferencia sin comprometer precisión.
Al respecto, la GSMA identifica dos grandes categorías de hardware para IA en el borde:
- Edge de alta densidad o de rango medio, ideal para centros de datos compactos o sitios de agregación que soportan casos como agentes de voz o diagnóstico de red en tiempo real.
Ejemplos: NVIDIA RTX A2000, AMD Instinct MI300 o Qualcomm Cloud AI 100. - Edge embebido y de ultra bajo consumo, destinado a dispositivos de red o equipos de cliente (CPE), que ejecutan modelos más pequeños con mínima demanda energética.
Ejemplos: Jetson Orin de NVIDIA o procesadores Ryzen AI de AMD con NPU integrada.
Con esta diversidad de opciones se rompe con la antigua dependencia de un solo proveedor y permite a los operadores elegir según su infraestructura y ecosistema tecnológico.
La estrategia híbrida
El estudio destaca que una estrategia híbrida, que combine procesamiento intensivo en la nube con modelos ligeros en el edge, es esencial para el futuro de las telecomunicaciones inteligentes.
En otras palabras, las tareas masivas y no urgentes (como la planificación de red o la detección de fraude) deben mantenerse en centros de datos; mientras que las acciones críticas en tiempo real (como la gestión del RAN o los asistentes de voz) deben ejecutarse localmente.
“Un enfoque exclusivamente basado en la nube no es viable para el futuro intensivo en datos y tiempo real que está construyendo la industria”, concluye GSMA.
El reto para los operadores será diseñar arquitecturas capaces de equilibrar potencia, eficiencia y latencia, sin perder de vista la sostenibilidad.
