Las Big Tech se han convertido en las "caseras" de la IA y han tomado una decisión: subir el alquiler de sus NVIDIA
Los precios de las GPU están por las nubes. No me refiero a las RX 9000 de AMD o a las RTX 5000 de NVIDIA, ya que esas son para los jugadores. Me refiero a las GPU que, de pronto, son las únicas que importan: las GPU para los hiperescaladores de inteligencia artificial. Las Big Tech de la IA han paralizado todo el mercado de consumo copando la producción de los pocos fabricantes de componentes que existen en el segmento y provocando una escasez brutal.
Suerte si quieres comprar un SSD o memoria RAM, pero también está impactando a las compañías. Valve no puede sacar la Steam Machine y Apple acaba de eliminar la opción de Mac Mini y Mac Studio con la mayor cantidad de RAM. Simplemente, o no hay… o la que hay es tremendamente cara. Y lo irónico es que esta situación está empezando a impactar al propio negocio de la IA en la que algunos ahora tienen que pagar por alquilar GPU de NVIDIA a casi el doble de precio.
Es el modelo de GPU como servicio.
Precios por las nubes para las GPU en la nube
Aquí hay que diferenciar entre hiperescaladores y las empresas de IA que no tienen instalaciones propias. Amazon, Microsoft, Meta, Tesla o Google, entre otros, son hiperescaladores. Construyen gigantescos centros de datos que llenan con decenas de miles de GPU (que suelen ser de NVIDIA, ya que es la que copa este mercado) para cumplir sus necesidades.
En ellos realizan las labores de entrenamiento e inferencia de sus modelos, pero algunos han virado para convertirse en proveedores de servicio. Amazon Web Services, Google Cloud y Microsoft Azure mantienen un negocio paralelo, el de enormes arrendadores de GPU de NVIDIA. Compran enormes lotes de H100, H200 y A100 que integran en su infraestructura y, simplemente, alquilan su capacidad de cómputo a quien quiera pagar el precio.
Es como el juego en la nube de la propia NVIDIA con GeForce Now: una empresa que tenga interés en la IA, pero no pueda construir un centro de datos, tiene la posibilidad de pagar para alquilar esa capacidad de cómputo a los grandes arrendatarios. Hasta aquí todo bien porque es un ganar-ganar para todas las partes, pero el problema viene cuando la escasez aprieta.
En este terreno de juego no están sólo Google, Microsoft y Amazon. Hay otras empresas más centradas en el negocio de las GPU en la nube, como CoreWeave, que hace unos meses ya aumentó los precios de alquiler en un 20%. Coincidió con los primeros compases de la crisis de la RAM y los SSD. Y la subida de precio no fue el único cambio. Del año de contrato de permanencia anterior, la exigencia pasó a tres años.
En un artículo de Business insider podemos ver más claramente el precio de esta demanda que supera a la oferta. Carmen Li es CEO de Silicon Data, una firma de análisis, y ha comentado que las veteranas H100 de NVIDIA han subido un 20% en los últimos tres meses, de 2,20 dólares por hora a 2,64. En la misma línea están las B200: de 4,40 dólares hora a 5,35 dólares.
El problema viene con las H200, ya que aquí se están experimentando aumentos en el precio de alquiler de un 48%. De los 2,75 dólares/hora de hace un par de meses, han pasado a 4,08 dólares/hora. Es casi el doble para el mismo producto debido a que los que más necesitan quieren aún más potencia para sus modelos más recientes y a que se está inyectando tantísimo dinero en este sector que cada vez más empresas sin centros de datos necesitan más potencia de computación para sus productos.
Los fabricantes de componentes para estas GPU no pueden cumplir con la excesiva demanda, lo que está provocando tiempos de espera para nuevos chips de entre 36 y 52 semanas y, por tanto, como no hay GPU para todos, los precios de los alquileres de la computación en la nube… aumentan.
Entre las tres grandes y Meta se van a gastar más de 650.000 millones en infraestructura de IA este año y Carmen Li apunta que, como esa demanda de IA supera cualquier expectativa, no sólo no hay para todos, sino que las GPU viejas que venden los hiperescaladores cuando renuevan equipo se deprecian muy, muy poco. En el segundo año de uso de un H100, se puede vender por 85 céntimos. En el tercer año, por 84 céntimos.
Según varias voces del sector, se trata de un tsunami que ya se ha llevado por delante el mercado de consumo, pero que con el auge de la IA agéntica irá a peor. Porque ya no es sólo entrenamiento e inferencia básica, sino los agentes que ejecutan varios pasos de forma autónoma, consumiendo más capacidad de cómputo por solicitud que las consultas tradicionales a un chatbot.
Traducción: que un mercado que algunos apuntan que debería ser estable se está convirtiendo en algo como el de la luz o la energía, una montaña rusa de precios que juega con las reglas del capitalismo salvaje.
En Xataka | Usar Netflix en 2018 era mucho mejor que ahora: hemos normalizado que las experiencias se degraden
