El xAI de Elon Musk ha puesto en disponibilidad abierta el modelo de lenguaje Grok, considerado de gran tamaño, durante el fin de semana. Esta movida del multimillonario parece destinada a confrontar a su empresa con su competidor OpenAI, que a pesar de su nombre, no es particularmente abierto. Sin embargo, ¿contribuye realmente la liberación del código de Grok a la comunidad de desarrollo de IA? Sí y no.
Grok es un chatbot desarrollado por xAI para desempeñar un rol similar a otros como ChatGPT o Claude: le hacen preguntas y responden. A este LLM se le ha proporcionado un tono audaz y acceso adicional a los datos de Twitter para distinguirlo del resto.
Como es habitual, evaluar estos sistemas resulta casi imposible, pero generalmente se considera que compiten con los modelos de tamaño medio más avanzados, como el GPT-3.5. (La percepción de si esto es impresionante debido al corto tiempo de desarrollo o decepcionante dada la inversión y la grandiosidad asociada a xAI depende de cada uno).
En cualquier caso, Grok es un LLM moderno y funcional de gran tamaño y capacidad, y cuanta más disponibilidad tengan los desarrolladores a los entresijos de tales sistemas, mejor será. El problema radica en definir qué significa "abierto" de una manera que vaya más allá de permitir que una empresa (o un multimillonario) reclame superioridad moral.
No es la primera vez que se cuestionan o abusan de los términos "abierto" y "código abierto" en el ámbito de la IA. Y no se trata solo de una objeción técnica, como la elección de una licencia menos abierta que otra (Grok utiliza Apache 2.0, por si acaso se lo preguntaba).
En primer lugar, los modelos de IA se diferencian de otros softwares en cuanto a ser considerados "código abierto".
Si se está desarrollando, por ejemplo, un procesador de textos, resulta relativamente sencillo hacerlo de código abierto: se publica todo el código de forma pública y se permite que la comunidad proponga mejoras o cree su propia versión. Parte de la valía del código abierto radica en que cada aspecto de la aplicación es original o se atribuye a su creador; esta transparencia y reconocimiento adecuado no son simplemente subproductos, sino esenciales para el concepto de apertura.
En el caso de la IA, se podría argumentar que esto no es realmente posible, pues la manera en que se desarrollan los modelos de aprendizaje automático implica un proceso en gran medida desconocido en el que una gran cantidad de datos de entrenamiento se convierten en una representación estadística compleja cuya estructura no es dirigida, ni siquiera comprendida por un humano. Este proceso no es susceptible de ser inspeccionado, auditado y mejorado como lo sería el código tradicional, por lo que, aunque sigue siendo extremadamente valioso, en realidad nunca puede ser completamente abierto. (La comunidad de estándares ni siquiera ha definido lo que será abierto en este contexto, pero están discutiendo activamente al respecto).
Esto no ha impedido que desarrolladores y empresas de IA presenten sus modelos como "abiertos", un término que ha perdido gran parte de su significado en este contexto. Algunos consideran su modelo "abierto" si tiene una interfaz o API pública. Otros lo definen como "abierto" si publican un documento que describe el proceso de desarrollo.
Quizás lo más cercano que puede llegar un modelo de IA al concepto de "código abierto" es cuando sus desarrolladores lanzan sus pesos, es decir, los atributos exactos de los numerosos nodos de sus redes neuronales, que realizan operaciones matemáticas vectoriales de manera precisa para completar los patrones iniciados por la entrada de un usuario. Sin embargo, incluso los modelos de "pesos abiertos" como LLaMa-2 excluyen otros datos cruciales, como el conjunto de datos y el proceso de entrenamiento, que serían necesarios para replicarlos desde cero. (Algunos proyectos van más allá, por supuesto).
Todo esto sin mencionar el hecho de que crear o replicar estos modelos requiere millones de dólares en recursos informáticos y de ingeniería, lo que efectivamente restringe quién puede acceder a ellos y recrearlos a empresas con recursos significativos.
Entonces, ¿dónde se sitúa el lanzamiento de Grok de xAI en este escenario?
Al liberar los pesos del modelo, está disponible para que cualquier persona lo descargue, utilice, modifique, ajuste o destile. ¡Esto es positivo! Se encuentra entre los modelos más grandes a los que los ingenieros curiosos pueden acceder libremente de esta manera, en términos de parámetros (314 mil millones), ofreciendo a los interesados una gran cantidad de material para experimentar tras las modificaciones.
No obstante, el tamaño del modelo presenta desafíos significativos. Se requieren cientos de gigabytes de RAM de alta velocidad para utilizarlo en su forma sin procesar. Si no posee, digamos, una docena de Nvidia H100 en una plataforma de inferencia de IA de seis cifras, no tendrá la capacidad de procesar este modelo.
Aunque se puede argumentar que Grok es competitivo con otros modelos modernos, también es considerablemente más grande que la mayoría de ellos, lo que implica que requiere más recursos para lograr resultados similares. Siempre hay una jerarquía en términos de tamaño, eficiencia y otras métricas, y sigue siendo valioso, pero es más materia prima que producto final. Tampoco está claro si esta es la versión más avanzada de Grok, como la versión ajustada a la que algunos acceden a través de X.
En general, es beneficioso liberar estos datos, pero no cambia el panorama como algunos esperaban.
Resulta difícil no cuestionar las motivaciones de Musk para esto. ¿Realmente su nueva empresa de IA está comprometida con el desarrollo de código abierto? ¿O es simplemente una estratagema contra OpenAI, con la que Musk está actualmente en disputa a nivel multimillonario? persiguiendo una disputa a gran escala?
Si están verdaderamente comprometidos con el desarrollo de código abierto, este sería el primero de muchos lanzamientos y, con suerte, considerarán los comentarios de la comunidad, publicarán más información crucial, describirán el proceso de entrenamiento de datos y explicarán con más detalle su enfoque. Si no es así, y esto es simplemente una táctica para que Musk lo utilice en discusiones en línea, sigue siendo valioso, pero no es algo en lo que la comunidad de IA confiará o prestará mucha atención en los próximos meses mientras el panorama evoluciona.