Un par de investigadores de Salus Security, una empresa de seguridad de blockchain con oficinas en Norteamérica, Europa y Asia, han publicado recientemente una investigación en la que muestran el talento de GPT-4 a la hora de analizar y auditar contratos inteligentes.

Resulta que la inteligencia artificial (IA) es bastante buena generando y analizando código, pero no es recomendable utilizarla como auditor de seguridad.

Según el artículo:

"GPT-4 puede ser una herramienta útil para ayudar en la auditoría de contratos inteligentes, especialmente en el análisis sintáctico de código y en la provisión de pistas sobre vulnerabilidades. Sin embargo, dadas sus limitaciones en la detección de vulnerabilidades, no puede sustituir completamente a las herramientas de auditoría profesionales y a los auditores experimentados en este momento".

Los investigadores de Salus utilizaron un conjunto de datos de 35 contratos inteligentes (denominado biblioteca de vulnerabilidades SolidiFI-benchmark), que contenía un total de 732 vulnerabilidades, para juzgar la capacidad de la IA para detectar posibles fallos de seguridad en siete tipos comunes de vulnerabilidades.

Según sus conclusiones, ChatGPT es bueno detectando verdaderos positivos, es decir, vulnerabilidades reales que, fuera de un entorno de pruebas, merecería la pena investigar. Alcanzó una precisión superior al 80% en las pruebas.

Sin embargo, tiene un problema evidente con la generación de falsos negativos. Esto se expresa a través de una estadística llamada "tasa de recuperación", y en los experimentos del equipo de Salus, la tasa de recuperación de GPT-4 fue tan baja como sólo el 11% (cuanto más alta, mejor).

Esto indica, como concluyen los investigadores, "que las capacidades de detección de vulnerabilidades de GPT-4 son deficientes, con una precisión máxima de sólo el 33%". Por ello, los investigadores recomiendan el uso de herramientas de auditoría específicas y los conocimientos humanos tradicionales para auditar los contratos inteligentes hasta que los sistemas de IA como GPT-4 puedan ponerse al día.

"En resumen, GPT-4 puede ser una herramienta útil para ayudar en la auditoría de contratos inteligentes, especialmente en el análisis sintáctico del código y en la provisión de pistas sobre vulnerabilidades. ... Cuando se utiliza GPT-4, se debe combinar con otros métodos y herramientas de auditoría para mejorar la precisión y la eficiencia general de la auditoría".

Aclaración: La información y/u opiniones emitidas en este artículo no representan necesariamente los puntos de vista o la línea editorial de Cointelegraph. La información aquí expuesta no debe ser tomada como consejo financiero o recomendación de inversión. Toda inversión y movimiento comercial implican riesgos y es responsabilidad de cada persona hacer su debida investigación antes de tomar una decisión de inversión