Hace algunos días se dio a conocer una carta donde parte de la vanguardia de la industria tecnológica bregaba por tener una IA con pesos abiertos y no cerrados.

“Encourage Open-Source and Open-Weight AI”

Pero, ¿qué son los pesos, por qué estos son importantes y qué tienen que ver con la IA?

Qué simple sería decirle que en el viejo mundo esto sería la “base de datos” de la IA. Pero no es tan sencillo. Es mucho más complejo y hermoso.

Lo que sigue es una explicación, donde cada frase le va a generar una imagen mental, que la tiene que evolucionar frase tras frase.

Lea, cierre los ojos, visualice y vuelva.

Al final, habrá entendido.

Imagine una ciudad hecha de Lego o Rasti, según su edad. La ciudad es inmensa, casi un mundo. ¿La tiene? ¿La ve?

Ahora haga zoom. Acérquese más, más, más, hasta poder individualizar, en cada pared, calle, árbol, auto y techo, las piezas: unas largas, otras cortas, de colores, triangulares o transparentes. A esta ciudad la llamaré corpus.

Al fin y al cabo, todo está hecho de un conjunto finito de piezas que, dispuestas de una determinada manera, forman la pared, el techo, el piso, la torre, el árbol y el auto.

A cada pieza la llamaré token, y al conjunto de piezas diferentes lo llamaré diccionario.

Va otra IMAGEN: inhale.

Imagine 111 millones de libros de 100.000 palabras cada uno, aproximadamente del tamaño de Cien años de soledad. Pero no están apilados: están desarmados, página por página, una pegada a la otra. Son unas 44.400 millones de páginas de 250 palabras cada una. A todo esto lo llamaré corpus.

Ahora haga zoom. Acérquese más y más. ¿Ve que las palabras se repiten? Pero mire bien, MÁS CERCA: las palabras también pueden dividirse en fragmentos que se repiten. Por ejemplo: “computadora”, “computa”, “dora”.

A estos fragmentos de palabras los llamaré tokens, y al conjunto finito de tokens diferentes lo llamaré diccionario.

Suelte.

111 millones de libros, descompuestos en 44.400 millones de páginas de 250 palabras cada una, generan un cúmulo de 11,1 billones de palabras: el corpus.

Del corpus surge un diccionario de aproximadamente 129.000 tokens, o piezas únicas de Lego, con las que se construye el texto de esos 111 millones de libros.

IMAGINE QUE ANALIZA LA CIUDAD DE LEGOS HACIENDO UN CÁLCULO MATEMÁTICO (ENTRENAMIENTO) QUE ARROJA UNA MATRIZ DE COORDENADAS DE PROBABILIDADES, DE MANERA TAL QUE, DADA UNA PIEZA, CON UN CONTEXTO MÍNIMO DE OTRAS PIEZAS QUE LA RODEAN, USTED PUEDE PREDECIR CUÁL ES LA SIGUIENTE PIEZA DE LEGO QUE LE SIGUE, Y ASÍ, ES CAPAZ DE CONSTRUIR CUALQUIER COSA. A ESTA RESULTANTE LA LLAMARÉ PESO. Y SI TENGO ESOS PESOS, O CUALQUIERA QUE LO TENGA, PUEDE PREDECIR LA SIGUIENTE PIEZA.

Aguante, no exhale.

Un corpus de 111 millones de libros entrenado con un diccionario del tamaño de tan solo 1 libro arroja 671 mil coordenadas a las que llamaré pesos.

Exhale y mire al techo, vuelva a repasar.

Ciudad de Lego llamada Corpus, hecha de piezas llamadas tokens, conjunto de piezas únicas llamado diccionario y, a través de un cálculo matemático, miles de parámetros llamados pesos que predicen qué pieza es la siguiente, dando un contexto de las piezas anteriores.

Felicitaciones: Usted acaba de entender cómo está hecho un modelo como DeepSeek V3

(Por favor, no verifique los cálculos matemáticos; son referenciales y proporcionales para entender estas definiciones)

En la realidad: no son solo libros, son diarios, revistas, Wikipedia, mensajes que dejo en posts. Todo un gran cúmulo de material protegido que fue violado su copyright para hacer un zumo de IA llamado PESOS.

Si, la IA es cuestión solo de PESOS.

En productos como ChatGPT o Claude, nos cobran por acceder a cada modelo que trae dentro nuevos pesos.

En modelos como OpenLLaMA o DeepSeek entre otros, sus pesos son abiertos, lo que significa que pueden ser descargados y utilizados sin pagar por ello. Siempre teniendo el poder de cómputo necesario como para correrlos.

Hay mucha tela que cortar con respecto a esto.

Dejo algunos pedazos para armar en otro artículo.

  • El que haga zumo de IA (pesos) lógicamente está violando las leyes de copyright y debe afrontar eso, un gobierno, salvo el de China no puede hacerlo.
  • Los modelos abiertos vienen ya castrados en materia de seguridad, los que usamos comercialmente también. El que use el modelo “entero” como Dios lo trajo al mundo tiene ventaja.
  • Pero si un gobierno ataca empresas con modelos “enteros”, ¿cómo se defienden estas?

No se ponga tan contento; entendió solo los conceptos..

En 10 minutos pensará si en esos 111 millones de libros son todos en el mismo idioma, y le doy una respuesta corta. NO.

¿Se acuerda de los primeros titulares marketineros: “La IA aprendió sola a hablar otro idioma”?

Ahora sabe de dónde viene.