El martes 25 de agosto, en la conferencia Hot Chips de Silicon Valley, OpenAI hizo algo que venía evitando desde que anunció que iba a fabricar su propio silicio: mostró los números.

El chip se llama Jalapeño, se desarrolló junto a Broadcom, y hasta ahora existía sobre todo como una promesa corporativa. Desde el martes existe como una tabla de benchmarks comparándose de frente contra los sistemas más caros que hoy alquila cualquiera que sirva un modelo de lenguaje a escala: los GB200 y GB300 de Nvidia.

Para la mayoría de la prensa de tecnología esto es una nota de guerra de infraestructura entre gigantes. Para quien construye software en América Latina es otra cosa, más aburrida y más importante: es una señal sobre cuánto va a costar el token que hoy le pagás a una API para que tu producto funcione.

Qué mostró exactamente OpenAI

Jalapeño no es un chip de entrenamiento. Es un acelerador diseñado específicamente para inferencia: la parte del ciclo en la que un modelo ya entrenado responde a una consulta real de un usuario real. Es la parte que se paga todos los días, todo el día, por cada cliente que aprieta un botón en tu producto.

Las especificaciones que se presentaron:

Los benchmarks se corrieron sobre InferenceX, la plataforma de medición de SemiAnalysis, usando tres modelos abiertos: GPT-OSS-120B, DeepSeek R1 y Kimi K2.5. Los resultados publicados:

Tom's Hardware resumió la comparación de la manera más brutal posible en su titular: un ASIC de 700 W superando a una GPU insignia de 1.400 W. La mitad del consumo.

Richard Ho, responsable de hardware de OpenAI, lo explicó en términos de arquitectura: "Diseñamos Jalapeño para minimizar el movimiento de datos y las demoras de comunicación". Y sobre los resultados fue más directo: "la conclusión es que los resultados muestran un avance de rendimiento muy, muy significativo sobre el estado del arte".

Hay un detalle del proceso que dice tanto como los benchmarks: el chip pasó de la concepción al tape out en nueve meses, y OpenAI usó sus propios modelos para optimizar motores de inferencia y escribir kernels personalizados. En junio, cuando se anunció el proyecto, Greg Brockman describió ese ciclo a CNBC como posiblemente el desarrollo de ASIC más rápido logrado en semiconductores avanzados de alto rendimiento. IA diseñando el hardware que va a correr IA. El circuito se cierra solo.

Por qué "inferencia" es la palabra que le importa a tu negocio

Si vendés software en la región, hay una asimetría que ya conocés: cobrás en pesos, bolivianos o soles, y pagás la infraestructura en dólares.

Un SaaS de gestión para una ferretería en Santa Cruz o una peluquería en Cochabamba se vende a un ticket mensual que, medido en dólares, es una fracción del equivalente estadounidense. Pero el costo por cada llamada a un modelo de lenguaje es exactamente el mismo para vos que para una startup de San Francisco que le cobra 300 dólares al mes al mismo tipo de cliente.

Esa asimetría es la razón concreta por la cual muchísimas ideas de producto con IA en LATAM no pasan de la maqueta. No fallan porque el modelo no sirva. Fallan porque el margen no cierra: cuando la función que hace la magia cuesta más por usuario que lo que ese usuario paga, no hay producto.

Por eso el costo de inferencia no es un tema de infraestructura. Es un tema de qué productos son posibles y para quién.

Y acá está la conexión con Jalapeño: cuando el proyecto se anunció en junio, el CEO de Broadcom, Hock Tan, dijo a Reuters que las pruebas tempranas mostraban ahorros de costo de alrededor del 50% frente a las GPU de IA típicas, con rendimiento a la par de Blackwell de Nvidia y de las TPU de Google. Es una cifra de la empresa que fabrica el chip, no de un tercero independiente —tomala como lo que es— pero apunta a la dirección del viaje.

Si quien opera la API que usás baja a la mitad su costo por token servido, tarde o temprano una parte de eso llega al precio de lista. No por generosidad: por competencia.

Las advertencias que hay que decir en voz alta

Sería deshonesto presentar esto como un hecho cerrado. Hay tres reservas serias y conviene tenerlas presentes.

Primera: son benchmarks de primera parte. Los publicó la empresa que diseñó el chip, sobre una plataforma que eligió, con modelos que eligió. The Register recomendó explícitamente tomar todas estas afirmaciones con pinzas, y señaló que las comparaciones excluyeron speculative decoding, una técnica que cambia bastante los números de latencia en el mundo real.

Segunda: no estás comparando solo hardware. Cuando medís un sistema completo estás midiendo la plataforma entera —compilador, runtime, kernels, todo el stack de software—, no un pedazo de silicio contra otro. Y ahí Nvidia acumula más de una década de ventaja acumulada.

Tercera: Jalapeño gana en eficiencia, no en fuerza bruta. El propio análisis técnico muestra que tiene alrededor del 85% del ancho de banda de memoria de sus rivales, y que Nvidia y AMD ofrecen entre 1,46x y 2x más cómputo. Jalapeño no es más grande: es más específico. Está optimizado para una tarea concreta, y esa especialización tiene un costo en flexibilidad. Nvidia y AMD siguen ganando cómodamente en programabilidad, porque son aceleradores de propósito general.

Además, esto no es un reemplazo. OpenAI dijo que va a seguir usando GPU de Nvidia junto con su propio silicio, y el despliegue de Jalapeño arranca en volúmenes muy pequeños a fines de 2026, con producción en volumen recién en 2027. Nadie va a ver un efecto en su factura este trimestre.

Lo que esto significa para América Latina

Hay dos lecturas y conviene no quedarse solo con la optimista.

La buena: el precio de la inferencia está bajo presión estructural, no coyuntural. No es una promoción. Es que el actor que más inferencia consume en el planeta decidió que le salía más barato diseñar su propio chip que seguir alquilando el de otro. Cuando eso pasa en cualquier industria, el precio del insumo baja para todos los que están más abajo en la cadena. Para un producto como los que construimos en la región —gestión de inventario, pedidos, clientes, documentos, con IA adentro— cada centavo que baja el costo por token es un caso de uso más que pasa de "no cierra" a "cierra".

La incómoda: el poder de cómputo se está concentrando todavía más. Diseñar un ASIC en nueve meses con Broadcom es una jugada disponible para un club de tres o cuatro empresas en el mundo. Ninguna está en América Latina. La región no va a competir en silicio, y pretenderlo sería una fantasía cara. Donde sí se compite es en la capa de arriba: el conocimiento del cliente local, la distribución, el idioma, la integración con la manera real en que un negocio boliviano factura, cobra y atiende. Esa capa no la gana nadie desde Silicon Valley con un chip mejor.

La lectura práctica de las dos juntas: aprovechá que el insumo se abarata, pero no construyas tu diferencial sobre el insumo.

Qué hacer hoy con esta información

Tres cosas concretas, ninguna urgente, todas útiles:

  1. Instrumentá tu costo por token, si todavía no lo hacés. No podés capturar una baja de precio que no estás midiendo. Saber cuánto te cuesta en dólares cada acción con IA de cada usuario es la métrica que va a decidir tu roadmap de 2027.
  1. Mantené la capa de modelo desacoplada. Si tu código llama a un proveedor específico desde cuarenta lugares distintos, no vas a poder moverte cuando el mercado se reacomode. Una capa de abstracción propia es barata de escribir hoy y carísima de retrofitear después.
  1. Revisá tu lista de "ideas descartadas por costo". Esa lista —todos tenemos una— es exactamente el inventario de features que se vuelven viables cuando el costo por token cae. Vale la pena tenerla escrita y con números, no en la cabeza.

El cierre

La noticia visible es que OpenAI le ganó unos benchmarks a Nvidia. La noticia real es más lenta y más profunda: la inferencia se está convirtiendo en una commodity industrial, con la misma lógica de escala, eficiencia energética y verticalización que cualquier otra commodity.

Eso es una mala noticia para quien apostó a que el acceso al modelo iba a ser el foso defensivo de su negocio. Y es una buena noticia para cualquiera que construya productos donde el modelo es un ingrediente y no el plato.

En Bolivia, donde el ticket promedio de un SaaS se mide en decenas de dólares y no en cientos, esa distinción no es filosófica. Es la diferencia entre tener un negocio y tener una demo.

---

Fuente: The Register