La IA acaba de aprender a escribir «como humano». ¿Y ahora qué van a detectar?

Esta semana comenzó a circular Deft, un nuevo laboratorio de inteligencia artificial enfocado específicamente en un problema que muchos llevamos tiempo señalando: los modelos de IA pueden escribir correctamente, pero desarrollan una especie de acento artificial.

Palabras que se repiten. Estructuras demasiado perfectas. Ritmos similares. Abuso de ciertas construcciones. El famoso “no se trata de X, sino de Y”. Los guiones largos. Frases que individualmente funcionan, pero que cuando aparecen una y otra vez producen eso que ya muchos llaman AI slop.

Deft está intentando atacar el problema desde el entrenamiento del modelo.

Sus creadores desarrollaron un método que llaman Distribution Fine-Tuning (DFT). En lugar de enseñar al modelo solamente a producir una buena respuesta individual, intentan que la distribución estadística de muchas respuestas se parezca más a la distribución de la escritura humana. En otras palabras: no buscan simplemente que escriba bien. Buscan que no escriba siempre de la misma manera. (Deft⁠)

Y aquí viene la parte interesante.

En su investigación inicial tomaron 100 textos generados por un modelo entrenado con DFT y Pangram clasificó los 100 como escritos por humanos. Pangram es precisamente uno de los detectores de IA que más atención ha recibido recientemente. (Deft⁠)

Con el modelo beta que ahora están poniendo en manos de usuarios, Deft afirma que aproximadamente el 86% de las consultas están produciendo textos que Pangram clasifica como completamente humanos. (Digg⁠)

Eso no significa que Deft haya resuelto la escritura.

Tampoco significa que Pangram haya dejado de funcionar.

De hecho, ya comenzó el inevitable juego del gato y el ratón. Una de las críticas más sensatas que encontré señala algo obvio: Pangram todavía no ha sido entrenado específicamente contra los textos de Deft. Cuando eso ocurra, los resultados podrían cambiar. (X⁠)

Las reacciones también están divididas. Algunos investigadores celebran que finalmente alguien esté atacando directamente la monotonía de la escritura de los LLM. Otros consideran absurdo utilizar como indicador de calidad el hecho de engañar a un detector. El investigador Nathan Lambert lo llamó básicamente una distracción respecto al problema verdaderamente importante: escribir mejor. Otro comentario resume perfectamente lo que viene: el juego del gato y el ratón de la escritura con IA acaba de comenzar. (Digg⁠)

Y creo que esa es la noticia importante.

Durante los últimos años hemos intentado identificar la escritura producida por IA buscando sus huellas estadísticas. Pero ahora estamos comenzando a entrenar modelos específicamente para eliminar esas huellas.

Si una IA puede producir texto cuya distribución lingüística se aproxima cada vez más a la humana, llegaremos inevitablemente a un punto incómodo:

quizá la pregunta “¿esto lo escribió una IA?” dejará de poder contestarse mirando solamente el texto.

Y entonces tendremos que regresar a preguntas mucho más difíciles.

¿Quién tuvo la idea?
¿Quién tomó las decisiones?
¿Quién aportó el conocimiento?
¿Quién revisó, rechazó y transformó el resultado?

En otras palabras, tendremos que dejar de buscar la autoría dentro del texto y comenzar a mirar el proceso mediante el cual ese texto llegó a existir.

Y eso cambia bastante la conversación.

Para los que quieran experimentar: Deft está actualmente en beta y permite algunas generaciones gratuitas. Probar Deft⁠