La última herramienta de inteligencia artificial (IA) que ha capturado la atención del público es el Motor de Inferencia Groq LPU, que se convirtió en una sensación de la noche a la mañana en las redes sociales después de que sus pruebas de referencia públicas se volvieran virales, superando a los principales modelos de otras empresas de Big Tech. 

Groq, que no debe confundirse con el modelo de IA de Elon Musk llamado Grok, de hecho, no es un modelo en sí mismo, sino un sistema de chips a través del cual puede ejecutarse un modelo.

El equipo detrás de Groq desarrolló su propio chip de IA "definido por software", al que llamaron Unidad de Procesamiento de Lenguaje (LPU), desarrollado para fines de inferencia. El LPU permite a Groq generar aproximadamente 500 tokens por segundo.

En comparación, el modelo de IA ChatGPT-3.5 disponible públicamente, que se ejecuta en unidades de procesamiento gráfico (GPU) escasas y costosas, puede generar alrededor de 40 tokens por segundo. Las comparaciones entre Groq y otros sistemas de IA han estado inundando la plataforma X.

Cointelegraph habló con Mark Heaps, el Evangelista Principal en Groq, para comprender mejor la herramienta y cómo podría transformar potencialmente la forma en que operan los sistemas de IA. 

Heaps dijo que el fundador de Groq, Jonathan Ross, inicialmente quería crear una tecnología de sistema que impidiera que la IA estuviera "dividida entre los que tienen y los que no tienen".

En ese momento, las unidades de procesamiento tensorial (TPUs) solo estaban disponibles para Google para sus propios sistemas, sin embargo, nacieron LPUs porque:

“[Ross] y el equipo querían que cualquier persona en el mundo pudiera acceder a este nivel de capacidad de cálculo para que la IA encontrara soluciones nuevas e innovadoras para el mundo”.

El ejecutivo de Groq explicó que el LPU es una "solución de hardware diseñada principalmente por software", mediante la cual la naturaleza del diseño simplifica la forma en que viajan los datos, no solo a través del chip, sino de chip a chip y a lo largo de una red.

“No necesitar programadores, bibliotecas CUDA, núcleos y más mejora no solo el rendimiento, sino también la experiencia del desarrollador”, dijo.

“Imagina ir al trabajo y que cada semáforo se ponga verde justo cuando lo alcanzas porque sabía cuándo llegarías. O el hecho es que no necesitarías semáforos en absoluto. Así es como es cuando los datos viajan a través de nuestro LPU”.

Un problema actual que afecta a los desarrolladores en la industria es la escasez y el costo de las potentes GPU, como las fichas A100 y H100 de Nvidia, necesarias para ejecutar modelos de IA.

Sin embargo, Heaps dijo que no tienen los mismos problemas ya que su chip está hecho con silicio de 14 nm. “Este tamaño de dado se ha utilizado durante 10 años en el diseño de chips”, dijo, “y es muy asequible y fácilmente disponible. Nuestro próximo chip será de 4 nm y también se fabricará en Estados Unidos”.

Dijo que los sistemas GPU aún tienen un lugar cuando se habla de ejecutar implementaciones de hardware a menor escala. Sin embargo, la elección entre GPU y LPU se reduce a múltiples factores, incluida la carga de trabajo y el modelo.

“Si estamos hablando de un sistema a gran escala, que sirve a miles de usuarios con una alta utilización de un gran modelo de lenguaje, nuestros números muestran que [LPUs] son más eficientes en energía”.

El uso del LPU aún está por implementarse en muchos de los principales desarrolladores del espacio. Heaps dijo que varios factores resultan en esto, uno de los cuales es el relativamente nuevo “aumento de los LLMs” en el último año.

“La gente todavía quería una solución única como una GPU que pudieran usar tanto para su entrenamiento como para su inferencia. Ahora, el mercado emergente ha obligado a las personas a encontrar diferenciación y una solución general no les ayudará a lograr eso”.

Además del producto en sí, Heaps también tocó el elefante en la habitación: el nombre “Groq”.

A pesar de ser creado en 2016 con el nombre registrado poco después, el propio chatbot de IA de Elon Musk “Grok” solo apareció en escena en noviembre de 2023 y se hizo ampliamente reconocido en el espacio de la IA.

Heaps dijo que ha habido “fanáticos de Elon” que han asumido que intentaron “tomar el nombre” o que era una especie de estrategia de marketing. Sin embargo, una vez que se conoció la historia de la empresa, dijo, “entonces la gente [se puso] un poco más tranquila”.

“Fue desafiante hace unos meses cuando su LLM estaba recibiendo mucha atención de la prensa, pero en este momento creo que la gente está tomando nota de Groq, con una Q”.

Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión