Google lanzó el 6 de diciembre su último modelo de inteligencia artificial (IA), Gemini, anunciándolo como el modelo de IA más avanzado disponible actualmente en el mercado, superando al GPT-4 de OpenAI. 

Gemini es multimodal, es decir, está diseñado para comprender y combinar distintos tipos de información. Está disponible en tres versiones (Ultra, Pro y Nano) para diferentes casos de uso, y un área en la que parece superar a GPT-4 es su capacidad para realizar cálculos matemáticos avanzados y codificación especializada.

En su debut, Google publicó varias pruebas de referencia que comparaban Gemini con GPT-4. La versión Gemini Ultra obtuvo un "rendimiento puntero" en 30 de las 32 pruebas académicas de referencia utilizadas en el desarrollo de modelos de lenguaje de gran tamaño (LLM).

Comparación de rendimiento de Gemini y ChatGPT. Fuente: Google

Sin embargo, aquí es donde los críticos de todo Internet han estado atizando a Gemini y cuestionando los métodos utilizados en la prueba de referencia que sugieren la superioridad de Gemini, junto con la comercialización del producto por parte de Google.

Promoción "engañosa" de Gemini

Un usuario de la plataforma de redes sociales X, que trabaja en el campo del desarrollo de aprendizaje automático, cuestionó si la afirmación de Gemini de superioridad sobre GPT-4 era cierta o no.

Señaló que Google podría estar exagerando la promoción de Gemini o "seleccionando" ejemplos de su superioridad. Aun así, concluyó, "apuesto a que Gemini es muy competitivo y le hará la competencia a GPT-4" y que la competencia en el sector es buena. 

Sin embargo, poco después, publicó un segundo post en el que afirmaba que Google debería "avergonzarse" por su promoción "engañosa" del producto en un vídeo promocional que creó para el lanzamiento de Gemini.

Google, esto es vergonzoso.

Publicaste un vídeo impresionante mostrando a Gemini respondiendo a tus preguntas. Parecía impresionante. Parecía en tiempo real.

Pero era mentira. Nada de eso ocurrió tal y como se grabó y se presentó al público.

En lugar de eso, eligieron fotogramas y editaron...

En respuesta a su tuit, otros usuarios de X hablaron de sentirse engañados por la imagen que Google da de Gemini. Un usuario dijo que las afirmaciones de que Gemini pondría fin a la era de GPT-4 están "canceladas".

Otro usuario, un informático, se mostró de acuerdo y calificó de "falso" el retrato que hace Google de la superioridad de Gemini.

Puntos de referencia fallidos

Los usuarios señalaron que Google había incluido pruebas comparativas que utilizaban una versión obsoleta de GPT-4, en lugar de su capacidad actual, por lo que las comparaciones eran redundantes.

Otro aspecto que preocupaba a los detectives de las redes sociales eran los parámetros que Google utilizaba para comparar su modelo Gemini con el GPT-4. Además, las indicaciones [prompts] que se daban a ambos modelos no eran idénticas, lo que podría tener importantes implicaciones en los resultados.

esto es bastante raro

normalmente cuando haces un benchmark... comparas los resultados con la misma prueba exacta...

Fue necesario que alguien lo mencionara para que me diera cuenta...

El usuario también señaló que los resultados se obtuvieron utilizando pruebas realizadas con un modelo que "no está disponible públicamente" por el momento. Otro usuario señaló que las puntuaciones podrían ser diferentes si el modelo avanzado de Gemini se probara contra la versión avanzada de GPT-4 conocida como "turbo".

A la prueba

Otros usuarios de las redes sociales han decidido descartar los puntos de referencia publicados por Google y, en su lugar, han descrito sus propias experiencias con Gemini en comparación con GPT-4. 

Anne Moss, que trabaja en servicios de publicación web y afirma ser una usuaria habitual de la IA, en particular de GPT-4, dijo que utilizó Gemini a través de la herramienta Bard de Google y se sintió "decepcionada por la experiencia".

Concluyó que, por ahora, se quedaría con GPT-4 y explicó que entre las diferencias que observó estaba que Gemini/Bard se negaba a responder a preguntas políticas y "mentía" al conocer información personal.

Bueno, bueno, bueno... Google finalmente lanzó Gemini. Puedes probarlo usando la interfaz Bard, eso dicen. Bard también lo dice, pero no confío demasiado en Bard.

He estado jugando con él y hasta ahora, estoy decepcionada. Por ahora me quedo con ChatGPT Plus.

He aquí por qué

1. Bard es...

Otro usuario que trabaja en el desarrollo de aplicaciones publicó capturas de pantalla en las que pedía a ambos modelos, a través del mismo prompt, que generasen un código basado en una foto. Señaló la decepcionante respuesta de Gemini/Bard en comparación con GPT-4.

Según Google, tiene previsto extender Gemini al público en general a principios de 2024. El modelo también se integrará en el conjunto de aplicaciones y servicios de Google.

 

Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión