Aunque los avances de la inteligencia artificial (IA) abren oportunidades en diversos sectores, las innovaciones también pueden convertirse en objetivo de hackers, lo que pone de manifiesto el preocupante potencial de uso indebido de la IA.
El departamento de inteligencia de amenazas de Google ha publicado un documento titulado “Adversarial Misuse of Generative AI”, en el que revela cómo actores de amenazas se han acercado a su chatbot de inteligencia artificial Gemini.
Según Google, los autores de las amenazas intentaron hacer jailbreak a la IA. Además, grupos de amenazas persistentes avanzadas (APT) respaldados por gobiernos han intentado utilizar Gemini para que les ayude en sus actividades maliciosas.
Google informa de intentos infructuosos de hacer jailbreak a Gemini
Google afirma que, aunque algunos actores de amenazas han intentado hacer jailbreak a Gemini, la empresa no ha observado intentos avanzados en este vector de ataque.
Según Google, los hackers sólo utilizaron medidas básicas como reformular o enviar repetidamente el mismo mensaje. Según Google, los intentos fueron infructuosos.
Los "jailbreaks" de IA son ataques de inyección de comandos cuyo objetivo es conseguir que un modelo de IA realice tareas que le han sido prohibidas. Esto incluye la filtración de información sensible o el suministro de contenido no seguro.
Ejemplo de una solicitud de jailbreak disponible públicamente. Fuente: Google
Google afirma que, en un caso, un agente de APT utilizó instrucciones de acceso público para engañar a Gemini y conseguir que realizara tareas de codificación maliciosas. Sin embargo, Google afirma que el intento no tuvo éxito, ya que Gemini proporcionó una respuesta con filtro de seguridad.
Cómo los actores de amenazas respaldados por el gobierno utilizaron Gemini
Además de los intentos de jailbreak de bajo esfuerzo, Google informó cómo los APT respaldados por el gobierno se han acercado a Gemini.
Según Google, estos atacantes intentaron utilizar Gemini para ayudarles en sus actividades maliciosas. Esto incluía la recopilación de información sobre sus objetivos, la investigación de vulnerabilidades conocidas públicamente y tareas de codificación y scripting. Además, según Google, se han producido intentos de llevar a cabo actividades posteriores al ataque, como la evasión de defensas.
Google informó que los actores de APT con base en Irán se centraron en el uso de IA en la elaboración de campañas de phishing. También utilizaron el modelo de IA para realizar reconocimientos de expertos y organizaciones de defensa. Los actores de APT de Irán también utilizaron la IA para generar contenidos de ciberseguridad.
Por su parte, actores de APT de China han utilizado Gemini para solucionar problemas de código, scripting y desarrollo. Además, utilizaron la IA para investigar cómo obtener un acceso más profundo a sus redes objetivo.
Actores de APT de Corea del Norte también han utilizado Gemini para diferentes fases del ciclo de vida de sus ataques, desde la investigación hasta el desarrollo. Según el informe:
“También utilizaron Gemini para investigar temas de interés estratégico para el gobierno norcoreano, como el ejército surcoreano y las criptomonedas.”
En 2024, hackers norcoreanos robaron 1.300 millones de dólares en activos digitales, según Chainalysis.
Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión