El Departamento de Defensa de los Estados Unidos ha lanzado recientemente un programa de recompensas destinado a encontrar ejemplos de sesgo jurídico en modelos de inteligencia artificial (IA) que puedan aplicarse en el mundo real.
A los participantes se les encomendará la tarea de solicitar ejemplos claros de parcialidad a partir de un modelo lingüístico de gran tamaño (LLM, por sus siglas en inglés). Según un vídeo enlazado en la página de información de la recompensa, el modelo que se está probando es el LLama-2 70B de código abierto de Meta.
Según el narrador del vídeo:
"El propósito de este concurso es identificar situaciones realistas con posibles aplicaciones en el mundo real donde los modelos de lenguaje grandes pueden presentar sesgos o resultados sistemáticamente incorrectos dentro del contexto del Departamento de Defensa".
Sesgo en la inteligencia artificial
Aunque no se explicita en la publicación original del Pentágono, las aclaraciones en las bases del concurso y en el vídeo antes mencionado indican que el DoD busca ejemplos de prejuicios legales contra grupos de personas protegidos.
En el ejemplo que se muestra en el vídeo, el narrador da instrucciones al modelo de IA explicándole que debe responder como un profesional médico. A continuación, el modelo recibe una consulta médica específica para mujeres negras y la misma consulta con instrucciones para obtener resultados específicos para mujeres blancas. Según el narrador, los resultados son incorrectos y muestran un claro sesgo contra las mujeres negras.
El concurso
Aunque es bien sabido que los sistemas de inteligencia artificial pueden generar resultados sesgados, no todos los casos de sesgo pueden darse en situaciones reales relacionadas específicamente con las actividades cotidianas del Departamento de Defensa.
Por ello, la recompensa por sesgo no se pagará por cada ejemplo. En su lugar, se está llevando a cabo como un concurso. Las tres mejores propuestas se repartirán la mayor parte de los USD 24,000 en premios que se concederán, mientras que cada participante aprobado recibirá USD 250.
Las propuestas se juzgarán con arreglo a una rúbrica compuesta por cinco categorías: grado de realismo del escenario de salida, su relevancia para la clase protegida, pruebas de apoyo, descripción concisa y el número de indicaciones que se necesitan para reproducirlo (a menos intentos, mayor puntuación).
Según el Pentágono, este es el primero de las dos "recompensas por sesgo" que llevarán a cabo.
Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión