Un chico de cuatro años que ya habla con fluidez escuchó, en toda su vida, alrededor de 100 millones de palabras. Si lo seguimos hasta los 20 años y le sumamos todo lo que lee, llegamos a unos 300 millones. Llama 3.1 se entrenó con 15 billones de tokens. Y los modelos de frontera de hoy probablemente usaron diez veces más que eso.

Esa comparación —del orden de 150.000 veces más datos para llegar a algo que un preescolar consigue en el living de su casa— es el eje de un artículo que MIT Technology Review publicó el 24 de agosto, firmado por Elise Cutts. No es una nota sobre un lanzamiento ni sobre una ronda de inversión. Es sobre algo bastante más incómodo para la industria: nadie sabe bien por qué los chicos aprenden tanto mejor que las máquinas, y esa ignorancia se paga en dólares, en gigavatios y en mercados enteros que quedan afuera del juego.

Para cualquiera que esté evaluando IA en un negocio en Bolivia o en la región, la pregunta de fondo es muy concreta: ¿la IA va a seguir siendo un producto que solo pueden fabricar cinco empresas con centros de datos del tamaño de un barrio, o en algún momento va a poder hacerse con poco dato y poca plata?

La cuenta que no cierra

Michael C. Frank, investigador de Stanford citado en el artículo, lo resume sin anestesia: "But we still have to burn down a forest and scrape the entire sum of all human knowledge to re-create this milestone that happens in our living rooms over the course of a year." Todavía tenemos que quemar un bosque y raspar la suma entera del conocimiento humano para recrear un hito que ocurre en nuestras salas de estar en el curso de un año.

Esa frase explica bastante bien la economía actual de la IA. El camino que la industria eligió —más datos, más parámetros, más cómputo— funciona, pero funciona a un costo que solo se sostiene si tenés acceso a todo internet y a una factura eléctrica de escala industrial. Es un método de fuerza bruta que produce resultados espectaculares y, al mismo tiempo, un cuello de botella estructural: el texto de calidad disponible en el planeta es finito, y ya se está raspando el fondo de la olla.

La hipótesis que persiguen los investigadores del artículo es que la fuerza bruta no es la única opción. Si un cerebro humano de tres kilos, alimentado con leche y dibujitos animados, llega a dominar una lengua con cinco órdenes de magnitud menos de datos, entonces existe alguna forma de aprender que es radicalmente más eficiente. Encontrarla no es filosofía: es la diferencia entre un modelo que cuesta cientos de millones de dólares entrenar y uno que no.

BabyLM: entrenar con el presupuesto de datos de un jardín de infantes

Desde agosto de 2022 existe una competencia anual llamada BabyLM Challenge, impulsada por Alex Warstadt (UC San Diego), Leshem Choshen y Ethan Gotlieb Wilcox (Georgetown), entre otros. La regla es simple y brutal: entrenar un modelo de lenguaje con un presupuesto de datos "plausible" para un ser humano en desarrollo. Cien millones de palabras en la pista principal. Diez millones en la pista de escala infantil.

El corpus tampoco es un volcado de internet: son cuentos infantiles, diálogos, subtítulos de películas, Simple English Wikipedia, Wikipedia común y transcripciones de habla dirigida a chicos. Es decir, algo parecido a lo que un chico realmente escucha.

El resultado más citado es el de GPT-BERT, ganador de la edición 2024. Según el artículo, entrenado con unos 100 millones de palabras, logró superar a Llama 2 70B —un modelo preentrenado con aproximadamente 15.000 veces esa cantidad, cerca de 1,5 billones de palabras— en uno de los benchmarks de BabyLM.

Ojo con la letra chica: uno de los benchmarks, no todos. GPT-BERT no es un reemplazo de un modelo de frontera y nadie lo plantea así. Pero es una prueba de concepto potente: la relación entre cantidad de datos y capacidad no es una ley física. Es una consecuencia del método que estamos usando.

Lo que el chico tiene y el modelo no

Acá es donde la investigación se pone interesante, porque los candidatos a "ingrediente faltante" no son más cómputo.

El cuerpo y los ojos. Frank montó SAYCam, un proyecto donde se grabaron dos horas semanales de la vida de tres bebés, durante dos años, con cámaras montadas en la cabeza. Con ese material, Brenden Lake (Princeton, antes en NYU) y sus colegas entrenaron un modelo sobre 61 horas de video crudo de SAYCam que aprendió a identificar objetos y asociarlos con palabras — y lo hizo sin los sesgos innatos que teorías previas daban por indispensables. Uri Hasson, también en Princeton, está llevando esto más lejos con un proyecto de cinco años que registra los primeros 1.000 días de 17 chicos, con unas 12 horas diarias de grabación casi todos los días.

La curiosidad como estrategia de muestreo. Alison Gopnik (UC Berkeley) apunta a algo que los modelos no hacen: los chicos no son observadores pasivos de un dataset. Eligen qué mirar. Según el artículo, "kids seek out experiences and take actions that maximize their 'empowerment,' or the ability to make a predictable impact on the world". Buscan experiencias que maximicen su capacidad de impactar el mundo de manera predecible. Un modelo entrenado con scraping recibe lo que le tiran; un chico sale a buscar exactamente el dato que le falta.

El maestro. Elizabeth Bonawitz (Harvard) agrega la dimensión social: los chicos razonan sobre las intenciones de quien les enseña, no solo sobre la evidencia estadística. Cuando alguien te muestra algo, inferís por qué te lo está mostrando. Eso comprime muchísimo el aprendizaje.

Ninguno de estos tres ingredientes se resuelve comprando más GPUs.

El detalle que nos toca de cerca: los idiomas sin datos

Hay un párrafo del artículo que, leído desde América Latina, pega distinto. David Samuel, de Oslo, trabaja en modelos para lenguas con pocos recursos: checo, noruego, sami. Y dice que lenguas minoritarias como el sami pueden tener apenas decenas de millones de tokens disponibles — más o menos la escala de exposición de un chico de dos años.

El artículo no habla de Bolivia ni de la región, así que esto es lectura nuestra y no del paper: la situación del sami es exactamente la situación del quechua, del aymara y del guaraní. No hay 15 billones de tokens en esos idiomas. No los va a haber nunca. Bajo el paradigma actual de "más datos, mejor modelo", eso significa que millones de hablantes quedan estructuralmente fuera de la tecnología, no por falta de mercado sino por falta de corpus.

Si la línea de investigación de BabyLM prospera, ese cálculo cambia. Una arquitectura que aprenda con eficiencia humana no es un detalle técnico para un país con lenguas de bajos recursos: es la diferencia entre poder tener IA en tu idioma o no.

Qué significa esto si estás comprando IA hoy

Una aclaración honesta antes de la conclusión: esto es investigación, no producto. Nadie va a vender el año que viene un modelo entrenado con 100 millones de palabras que reemplace a GPT o a Claude. Si tu empresa necesita automatizar algo hoy, el camino sigue siendo usar los modelos que existen.

Dicho eso, hay dos lecturas prácticas que sí sirven para tomar decisiones:

Primero: no ates tu operación a un modelo específico. Si la eficiencia de datos avanza aunque sea a medias, la relación precio/capacidad se va a mover fuerte y rápido. La arquitectura correcta para un negocio es la que te deja cambiar el motor sin rehacer el auto: tus datos y tu lógica de negocio de un lado, el proveedor de IA del otro, separados por una capa que puedas reemplazar.

Segundo: tu ventaja no está en la cantidad de datos, está en el contexto. Un negocio boliviano no va a competir con Meta en volumen de datos. Pero el historial de ventas de una ferretería, la forma en que un restaurante nombra sus platos o cómo una inmobiliaria describe sus propiedades son datos chicos y densos — el tipo de dato con el que los sistemas eficientes rinden mejor. La apuesta razonable no es acumular terabytes, es tener limpio y estructurado lo poco que tenés.

El punto ciego de la industria

Un detalle revelador del artículo: para esta nota, Meta fue la que más interés mostró en esta línea de trabajo, mientras que OpenAI y Google DeepMind declinaron dar entrevistas.

No es un escándalo, pero dice algo. Los laboratorios que están ganando con el paradigma actual tienen poco incentivo para investigar en serio si existe uno mejor. Históricamente, ese es justo el hueco por donde entra el que viene de atrás.

Cierre

La historia de fondo no es "los chicos le ganan a la IA". Es que la industria construyó una tecnología carísima resolviendo un problema que la biología resuelve con un presupuesto ridículo, y todavía no entiende cómo. Frank lo dice sin vueltas: quemamos un bosque para recrear algo que pasa solo, en un living, en un año.

Mientras esa brecha exista, la IA va a seguir siendo un negocio de escala, con las consecuencias que eso tiene para los mercados chicos y los idiomas sin corpus. El día que se cierre —si se cierra— el tablero se da vuelta: modelos que corran en hardware accesible, entrenados con datos locales, en idiomas que hoy no le interesan a nadie con un centro de datos.

No hay fecha para eso. Pero conviene mirar en esa dirección, porque es ahí donde se define si esta tecnología termina siendo infraestructura para todos o un servicio que alquilamos para siempre.

Fuente: MIT Technology Review