«No estamos aquí para alabarnos por el número de parámetros»: el CEO de OpenAI minimiza lo que la gente más aplaude de GPT-4
El CEO de OpenAI, Sam Altman, la empresa detrás de ChatGPT, participó en un evento organizado por el MIT, «Imagination in Action«, donde dio su punto de vista sobre uno de los temas más populares en el momento, la industria de la IA.
En su intervención que se puede ver en YouTube, Altman reveló que cada vez estamos más cerca del límite de tamaño de los grandes modelos de lenguaje (LLM, como Bard o GPT-4), aunque esto no significa directamente que hayan alcanzado su techo, pues se pueden seguir mejorando de otras maneras.
Los números no lo son todo
El jefe de OpenAI también mencionó que existe cierta «obsesión» en la industria para querer presumir el número de parámetros con los que cada LLM cuenta, una carrera que compara con la de fabricantes de chips en las décadas de 1990 y 2000 para tener el mayor número de gigahercios.
Según Altman, en ese momento «todos intentaban destacar sus grandes cifras«, pero ahora los GHz han pasado a segundo plano. El CEO de OpenAI apunta a que este mismo avance se debería dar en los parámetros de los modelos de IA, ya que ambos son malos indicadores de calidad.
La mayoría de vosotros no sabe cuántos gigahercios tiene su iPhone, pero sí que es rápido. Lo que realmente nos importa son las capacidades, y creo que es importante que nos mantengamos centrado en aumentar rápidamente la capacidad (de los LLM)
Altman también mencionó que en caso de que existiera alguna razón para preferir una «progresiva disminución de parámetros o para apostar por tener múltiples modelos trabajando de forma simultánea, se haría», mencionando también que no están para «autocomplacerse» con el recuento de parámetros.
Este punto es especialmente interesante, ya que en un documento interno de Google filtrado donde se analizaba el mercado de los LLM, se afirmaba que la brecha entre los modelos grandes, como ChatGPT o Bard y sus alternativas open source se cerraba «sorprendentemente rápido, siendo comparativamente más capaces«.
Esto era principalmente por que se estaba consiguiendo con 100 dólares 13,000 millones de parámetros, cuando a las grandes empresas les costó lograr los 540,000 millones de parámetros con 10 millones de dólares.
La carta pidiendo parar el avance de las IAs
El CEO de OpenAI también aborda el tema de la carta de Musk y otros personajes donde se solicitaba pausar el desarrollo de IAs avanzadas, que muchos tomaron como un ataque directo a la compañía y ChatGPT, sobre todo considerando la mala relación entre Altman y su antiguo socio Musk.
Eso sí, Altman aceptaba que estaba de acuerdo con algunas partes del enfoque del documento, ya que por ejemplo, desde la compañía habían pasado más de seis meses estudiando GPT-4 tras terminar de entrenarlo hasta su lanzamiento, realizando auditorías externas para mitigar la mayor cantidad de comportamientos posibles.
Sin embargo a partir de allí inician las discrepancias, pues considera que a la carta le faltan matices más técnicos sobre dónde se debía poner el límite, además aborda las referencias de la primera versión de la carta sobre el supuesto desarrollo de GPT-5.
Altman detalla que actualmente no se está entrenando, ni se hará durante un tiempo un modelo como GPT-5, aunque sí se está trabajando en otros proyectos además de GPT-4 que representan todo tipo de problemas de seguridad y que no se consideraron en esta carta.
Para el CEO de OpenAI, sus declaraciones sobre los riesgos de ChatGPT, acusadas de ser usadas para generar titulares, tienen como motivación una verdadera preocupación de seguridad, por lo que es importante tener un diálogo sobre la tecnología, aunque les haya llevado a los directivos a decir «cosas tontas» sobre el avance.
