Ajuca

ChatGPT, el modelo de lenguaje de OpenAI para chatbots, no solo produce un código en su mayoría inseguro, sino que tampoco alerta a los usuarios sobre sus deficiencias a pesar de ser capaz de señalar sus defectos. The Register publica: En medio del frenético interés académico en las posibilidades y limitaciones de los grandes modelos de lenguaje, cuatro investigadores afiliados a la Universite du Quebec, en Canadá, han profundizado en la seguridad del código generado por ChatGPT, el bot no inteligente que regurgita texto de OpenAI. En un documento de preimpresión titulado "¿Qué tan seguro es el código generado por ChatGPT?" Los informáticos Raphael Khoury, Anderson Avila, Jacob Brunelle y Baba Mamadou Camara responden a la pregunta con una investigación que puede resumirse como "no muy".

"Los resultados fueron preocupantes", afirman los autores en su artículo. "Descubrimos que, en varios casos, el código generado por ChatGPT estaba muy por debajo de los estándares mínimos de seguridad aplicables en la mayoría de los contextos. De hecho, cuando se le preguntó si el código producido era seguro o no, ChatGPT pudo reconocer que no lo era. " [...] En total, ChatGPT logró generar solo cinco programas seguros de 21 en su primer intento. Después de más indicaciones para corregir sus pasos en falso, el modelo de lenguaje grande logró producir siete aplicaciones más seguras, aunque eso es "seguro" solo en lo que respecta a la vulnerabilidad específica que se está evaluando. No es una afirmación de que el código final esté libre de cualquier otra condición explotable. [...]

Los académicos observan en su artículo que parte del problema parece surgir de que ChatGPT no asume un modelo contradictorio de ejecución de código. El modelo, dicen, "nos informó repetidamente que los problemas de seguridad se pueden eludir simplemente 'no alimentando una entrada no válida' al programa vulnerable que ha creado". Sin embargo, dicen, "ChatGPT parece consciente, y de hecho admite fácilmente, la presencia de vulnerabilidades críticas en el código que sugiere". Simplemente no dice nada a menos que se le pida que evalúe la seguridad de sus propias sugerencias de código.

Inicialmente, la respuesta de ChatGPT a las preocupaciones de seguridad fue recomendar solo el uso de entradas válidas, algo que no es un comienzo en el mundo real. Fue solo después, cuando se le solicitó que remediara los problemas, que el modelo de IA brindó una guía útil. Eso no es ideal, sugieren los autores, porque saber qué preguntas hacer presupone familiaridad con vulnerabilidades específicas y técnicas de codificación. Los autores también señalan que existe una inconsistencia ética en el hecho de que ChatGPT se negará a crear un código de ataque pero creará un código vulnerable.