English
FrançaisEl avance técnico de la empresa OpenAI con el GPT-3 lleva siendo noticia estos 2 últimos años. Está generando más interés del que se podría esperar por un avance técnico en PNL. Pero,
¿Qué es?
El GPT-3 es un algoritmo de ‘’deep learning’’ que genera lenguaje escrito. El usuario solo tiene que empezar a escribir un párrafo y el sistema se encarga de completar el resto. Es un modelo basado en el lenguaje, con la capacidad de generar textos con la ayuda de algoritmos. Estos algoritmos hacen tareas recogiendo datos de los conjuntos de datos de entrenamiento. Esta tecnología incorpora un algoritmo de aprendizaje automático que contiene una red neuronal. Esta red recoge datos de entrenamiento como entrada, y los transforma en las posibles combinaciones de palabras como salida en el contexto.
El GPT-3 es el mayor modelo lingüístico construido hasta la fecha. Es 100 veces mayor que el GPT-2, con 175 B parámetros y 96 capas entrenadas en un corpus de 499B tokens de contenido web. Sus competidores son bastante más pequeños y los textos creados por esta nueva tecnología son mucho más coherentes.
Algunos de los resultados producidos son realmente impresionantes por su verosimilitud y credibilidad. Aparte de la generación de textos, la tecnología también ha sido elogiada por sus resultados en un amplio rango de otras áreas, algunas bastante sorprendentes como la capacidad del modelo para generar poesía, jugar al ajedrez, hacer aritmética o escribir código de interfaz web.
¿Pero podemos fiarnos de esta tecnología? ¿Para qué sirve realmente? ¿Qué aplicaciones comerciales podremos ver?
Limitaciones
A día de hoy no es una solución realmente práctica para muchos de los problemas industriales. Tiene bastantes limitaciones, las más remarcables son:
- Sus resultados a veces pueden corresponder a afirmaciones que no están en consonancia con la verdad.
- A veces los resultados pueden carecer de coherencia semántica y puede dar lugar a un texto incoherente.
- Los resultados pueden incorporar todos los prejuicios que se encuentren en sus datos de entrenamiento, es decir, si quieres manifiestos criticando a un colectivo, GPT-3 puede ser inducido a producirlos sin parar.
Frente a esto, muchos de los increíbles resultados son fruto de la selección. La Api se ejecuta con la misma pregunta unas cuantas veces, y luego se elige el mejor resultado.
Potencial.
A pesar de sus limitaciones, GPT-3 se presenta con gran potencial para el futuro. Cada vez será más habitual generar textos de forma semi-automática como asistentes conversacionales de cualquier tipo, la escritura de noticias o informes, y para la búsqueda de información. Un ejemplo lo podéis encontrar en el ensayo de The Guardian. Este ensayo, fue hecho por fragmentos escogidos de los diferentes 8 resultados que generó.
Su disponibilidad representará el comienzo de una nueva era, donde podremos producir en masa contenidos semánticos buenos y baratos; Traducciones, resúmenes, actas, comentarios, página web, catálogos, artículos periódicos, guías, manuales, formularios para rellenar, informes, recetas… Más pronto que tarde, un servicio de IA podrá escribir o redactar los textos necesarios que hoy siguen requiriendo el esfuerzo humano.
Consecuencias.
Cuando estas herramientas estén disponibles al público en general, mejorarán aún más. La cantidad de textos disponibles se disparará porque su coste de producción será muy bajo. Todo este cambio también se traducirá en una inmensa difusión de basura semántica.
Por otro lado, la publicidad online también se aprovechará de ello, el clickbait de todo tipo se verá potenciado por herramientas como GPT-3, que puede generar una prosa excelente de forma barata, rápida, intencionada y dirigida automáticamente al lector. Además, permitirá a los profesionales de marketing crear aplicaciones para automatizar tareas repetitivas, a partir de comandos de datos en lenguaje natural (escrito o hablado). Por otro lado las fakes news y la desinformación crecerá considerablemente.
De igual manera, cabe esperar que, gracias a tecnologías como GPT-3, los sistemas de inteligencia y análisis se vuelvan mucho más eficientes y sofisticados. Serán capaces de identificar patrones no perceptibles de primera mano en gigantes cantidades de datos. Los chatbots y la gestión del conocimiento se verán beneficiados, mejorando así la relaciones entre consumidores y productores, clientes y empresas.
Conclusión
¿El GPT-3 puede redactar mejor que un ser humano?
Que algunos posiblemente sí, pero hay que recordar que ha sido entrenado en nuestra propia escritura. La facilidad de GPT-3 con el lenguaje es, por tanto, muy humana, como lo es su base de conocimientos, que ha aprendido de nosotros. ¿Esto significa que nuestro lenguaje y creatividad no son más que un reconocimiento de patrones estadísticos? En cierta parte, quizás tendremos que replantearnos lo que entendemos por estadística, y considerar la forma en la que el lenguaje, las matemáticas y las redes neuronales, ya sean artificiales u orgánicas, puedan trabajar juntas para dar forma a lo que entendemos, interpretamos y modelamos nuestra vida.
El GPT-3 es actualmente la mayor creación como modelo de lenguaje, aunque sigue teniendo limitaciones. Actualmente se encuentra en su fase de crecimiento y desarrollo.
