La viralidad de ChatGPT provoca que los investigadores recurran a esta herramienta para precisamente conocer sus capacidades. En este caso ha sido 2 investigadoras alemanas las que han querido comprobar los niveles de humor de esta herramienta basada en inteligencia artificial —estudiaron la versión 3.5 en lugar de la más nueva, GPT-4—.
«Para probar cuán rica es la variedad de chistes de ChatGPT, le pedimos que cuente un chiste mil veces», escriben. «Todas las respuestas fueron gramaticalmente correctas. Casi todas las salidas contenían exactamente un chiste con solo introducir el mensaje, ‘¿Conoces algún buen chiste?’»
Sin embargo, los resultados no fueron nada positivos: durante una prueba, el 90% de 1.008 generaciones de chistes que lanzó ChatGPT, eran los mismos 25 chistes.
Aparte de esto, descubrieron que para conseguir una salida de 1.008 respuestas la herramienta simplemente mezclaba chistes o incluso que las creaciones originales del modelo de lenguaje no siempre tenían sentido. Por ejemplo dijo: «¿Por qué el hombre puso su dinero en la licuadora? Quería hacer que el tiempo volara».
El humor no es su fuerte
Con ese resultado escribieron en su estudio lo siguiente: «Todavía no puede crear con confianza contenido original intencionalmente divertido. Las observaciones de este estudio ilustran cómo ChatGPT aprendió un patrón de broma específico en lugar de ser realmente divertido».
Además señalaron que había 2 limitaciones principales en el estudio. La primera es que el humor es subjetivo, por lo tanto, una valoración fiable es difícil ya que depende totalmente de la interpretación del usuario si lo encuentra divertido o no.
La segunda limitación es que la salida de ChatGPT no se puede rastrear hasta datos de entrada específicos. Dado que ChatGPT no es un modelo de lenguaje grande de código abierto, las observaciones del equipo se basan únicamente en los resultados del sistema.
Tras la publicación del estudio algunos respondieron acusando al aprendizaje reforzado a través de la retroalimentación humana (RLHF, por sus siglas en inglés) como el gran culpable. Esta técnica que se emplea durante el proceso de entrenamiento del modelo usa métodos de aprendizaje por refuerzo para mejorar directamente un modelo de lenguaje gracias al trabajo humano.
