Chat-GPT ¿un fantasma mentiroso dentro de la máquina?

 Los últimos meses han sido una locura en el mundo de la tecnología por el advenimiento de los chat basados en IA (Inteligencia Artificial) como Chat-GPT (GPT por “Generative Pre-trained Transformer)  . Estos chats de textos son capaces de responder a las entradas de usuario de forma tan sorprendentemente completa, elocuente y “precisa” que tiene embobados a todos, y también preocupados  .

Tal vez el problema radica en entender que es GPT: es un modelo basado en redes neuronales entrenado con millones de texto, al punto de que, dado un texto de entrada, es capaz de "predecir" o elaborar un texto que lo continúa, "prediciendo" cuáles son las siguientes palabras más probables de acuerdo a su propio modelo de entrenamiento.

Entonces, si a un modelo GPT le dices "2 + 2 = ", no es que GPT sepa de matemáticas, entienda que le están preguntando de matemáticas, entienda lo que es una suma, ni nada por el estilo. Lo que hará es buscar cuáles son los siguientes carácteres o palabras más probables, que completen esa entrada. Y oh sorpresa, probablemente diga "4" y no "camión"

Pero dado que completa con lo más probable que tiene "entrenado" en su modelo, no tiene una consciencia para definir que lo genera es "verdad" o "mentira". O para chequear si lo que acaba de decir como respuesta es factualmente correcto. Simplemente completará texto siguiendo lo que es lo más probablemente un texto continuaría el "prompt" (entrada de texto del usuario).

Dicho eso, las respuestas son ultra sorprendentes e incluso elocuentemente elaboradas, pero presumir que el modelo "sabe" cosas, o dice cosas erradas a propósito (definición de mentir: "decir lo contrario de lo que se sabe, cree o piensa") es presuponer que el modelo GPT es algo que no es: un ente consciente con "conocimiento" de cosas, y que entiende de cosas.

Lo que GPT es, IMHO, es lo más cercano a la " caja China" de Searle: GPT es una caja maravillosamente entrenada que nos sorprende tanto con sus respuestas que nos hace sentir que hay "alguien" con intenciones y motivaciones dentro de la caja, pero el secreto es que la caja está vacía de consciencia

Y no solamente el modelo GPT está ultra entrenado, dandi muchas veces correctas (por su increíble entrenamiento), pero otras veces groseramente erradas. Y esto puede ser crítico cuando las personas le preguntan cosas al modelo esperando respuestas correctas para información crítica, como tratamientos para el cáncer, donde laIA ¡puede “inventarse” estudios que no existen!...  lo que lleva a la cruz del problema: ¿la caja nos miente?

Lo curioso es que esto enoja a mucha gente. Muchas personas piensan que la caja realmente miente. La sienten tan humana que la única explicación para una respuesta incorrecta es que nos quiere engañar o es directamente tonta.

La realidad es más simple. Una IA como Chat-GPT no nos puede mentir porque... lo que sea que nos diga como respuesta, si es que lo que nos dice está errado, la IA no tiene como saber que está equivocada. Porque no “sabe” cosas ni “entiende” cosas.

La caja está vacía. Pero desde afuera, se ve demasiado llena como para no ser “humana”. Vaya paradoja.