Investigadores de inteligencia artificial (IA) de Google Research y Google DeepMind han desarrollado un método que permite aumentar un gran modelo lingüístico (LLM) con otros modelos lingüísticos. 

De este modo se aborda uno de los mayores problemas pendientes con los LLM, ya que permite a los desarrolladores dotar a los modelos existentes de nuevas capacidades sin tener que empezar de cero o participar en costosas sesiones de reentrenamiento/ajuste.

Según el equipo de investigación de Google, el aumento de un LLM con otro idioma mejora el rendimiento en las tareas existentes y permite nuevas tareas que los modelos no podrían realizar por sí solos.

Enseñar nuevos trucos a los chatbots

La investigación se llevó a cabo con el LLM PaLM2-S de Google, un modelo que, según la empresa, es comparable al GPT-4, la IA en la que se basa el ChatGPT de OpenAI.

PaLM2-S se evaluó por sí solo en los experimentos del equipo y después se amplió con modelos lingüísticos especializados más pequeños. Las tareas realizadas incluyeron la traducción, en la que la versión aumentada mostró una mejora de hasta el 13% con respecto al modelo de referencia, y la codificación.

Cuando se probó en tareas de codificación, el modelo híbrido mostró mejoras significativas, según el artículo:

"Del mismo modo, cuando PaLM2-S se complementa con un modelo específico de código, observamos una mejora relativa del 40% con respecto al modelo base en las tareas de generación y explicación de código, al mismo nivel que sus homólogos totalmente ajustados".

Implicaciones potencialmente masivas

A primera vista, las mejoras de rendimiento demostradas podrían tener implicaciones inmediatas para el sector de la IA. El aumento del rendimiento en tareas de traducción, por ejemplo, fue evidentemente mayor al traducir al inglés idiomas con poco soporte. Este sigue siendo un problema pendiente en el aprendizaje automático y el trabajo de Google en este campo tiene el potencial de mover la aguja.

Sin embargo, a mayor escala, es posible que esta línea de investigación pueda hacer frente a la espada de Damocles que pende sobre las cabezas de muchos directores ejecutivos del sector de la IA: problemas legales que podrían desmantelar los cimientos de chatbots como ChatGPT.

Derechos de autor VS Inteligencia artificial

Los fabricantes de algunos de los grandes modelos lingüísticos más populares han sido citados como demandados en numerosas denuncias que giran en torno a acusaciones de que estos sistemas de IA se entrenan con datos protegidos por derechos de autor.

La cuestión a la que tendrán que responder los legisladores y los tribunales es si una empresa con ánimo de lucro puede utilizar legalmente estos datos para entrenar sus modelos lingüísticos. En el extremo, si los tribunales dictaminan que los desarrolladores no pueden utilizar esos datos y que cualquier modelo entrenado con material protegido por derechos de autor tiene que ser purgado, puede ser técnicamente imposible o económicamente inviable seguir ofreciendo los servicios afectados.

Básicamente, debido a los elevados costes que conlleva la formación de grandes modelos lingüísticos y a su dependencia de ingentes cantidades de datos, productos como ChatGPT, tal y como están construidos en la actualidad, podrían no ser viables en un panorama de IA estadounidense más regulado.

Sin embargo, si el nuevo esquema de aumento de LLM de Google se desarrolla, es posible que se puedan mitigar muchos de los requisitos de escalado y los costes de crear un LLM desde cero o volver a entrenar uno existente.

Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión