Provisioned throughput units (PTU)
Concepto
Las unidades de rendimiento aprovisionado (PTU, por sus siglas en inglés) son la unidad normalizada que se utiliza para reservar capacidad de procesamiento de modelos dedicada para las implementaciones de Azure OpenAI, como alternativa a la facturación de tokens de pago por uso.
También se tratan
El episodio sobre Provisioned throughput units (PTU) trata también LLMLingua, Model router (Microsoft Foundry), Pay-as-you-go pricing, Semantic caching, Chargeback y Microsoft Cost Management.
Descripción
Las unidades de rendimiento aprovisionado (PTU) son la unidad normalizada que se utiliza para reservar capacidad de procesamiento de modelos dedicada para las implementaciones de Azure OpenAI. La documentación de Microsoft describe una unidad de rendimiento aprovisionado como la unidad de medida para las implementaciones aprovisionadas en Microsoft Foundry, donde cada unidad representa una cantidad fija de capacidad de procesamiento de modelos. Las PTU sirven como alternativa a la facturación de tokens de pago por uso, en la que la capacidad se comparte y el costo depende del número de tokens consumidos.
La idea central es la reserva. El número de unidades elegido se reserva de forma exclusiva para la implementación, haya o no solicitudes. Como la capacidad no se comparte como ocurre en las implementaciones estándar, la latencia es más predecible. La documentación presenta el rendimiento aprovisionado para tráficos constantes, aplicaciones sensibles a la latencia, grandes volúmenes de producción y escenarios en tiempo real, como chats, copilotos o agentes.
Varios parámetros determinan cómo se obtienen y utilizan las PTU. La cuota es independiente del modelo, pero se concede por suscripción, región y tipo de implementación. Cada modelo tiene un número mínimo de unidades y su propio rendimiento de tokens por minuto por unidad, de modo que la misma cantidad de PTU ofrece un rendimiento distinto según el modelo. Los tipos de implementación incluyen aprovisionamiento global, aprovisionamiento por zona de datos y aprovisionamiento regional. Una función opcional de desbordamiento puede enviar las solicitudes excedentes a una implementación estándar cuando se supera la capacidad aprovisionada, aunque no está disponible para todas las familias de modelos.
La facturación de las PTU es por hora y por unidad, independientemente de la cantidad de tokens consumidos. Las reservas de Azure se ofrecen como una opción de compromiso con descuento. El dimensionamiento de una implementación se basa en las tasas de solicitudes, los tamaños de los prompts y las respuestas, y las tasas de caché, y el portal de Azure incluye una calculadora de capacidad que facilita esa estimación. La documentación también advierte que la cuota no garantiza la capacidad, que puede fluctuar, y que las reservas tampoco la garantizan. Por ese motivo, se aconseja crear primero la implementación antes de comprometerse con una reserva.
Una decisión habitual en torno a las PTU es determinar si los patrones de carga de trabajo justifican la capacidad reservada o si la facturación de pago por uso es suficiente. El tráfico de producción constante, de alto volumen o sensible a la latencia coincide con los escenarios que la documentación menciona para el rendimiento aprovisionado, mientras que el uso variable o de bajo volumen es la situación para la que está diseñada la facturación estándar por tokens. El modelo de facturación por hora implica que el costo está ligado a las unidades reservadas y no al uso, por lo que el dimensionamiento es fundamental.
El episodio de M365.FM "How to Build Low-Cost AI Agents in Microsoft Cloud" sitúa las PTU dentro de la estructura de costos más amplia de la creación de agentes. En su descripción general de las capas de facturación, el episodio enumera las Provisioned Throughput Units como el costo del rendimiento en Foundry y da una cifra de 1 $ por PTU. Lo presenta junto a otros conceptos de costo, como los costos de registro y observabilidad de los agentes, que varían según el volumen de registros, y el Microsoft Agent Pre-Purchase Plan, descrito como un plan unificado con descuentos en servicios de IA por 19 000 $ por 20 000 ACU. El episodio indica que el plan de prepago cubre más de 30 servicios y ofrece una vía de gobierno única para los proyectos de IA, y plantea que comprender estas capas de facturación permite tomar mejores decisiones y mantener los costos de IA bajo control.
Resumen generado con IA a partir de los episodios de M365.FM y los datos de esta página. Puedes mejorarlo con el botón de edición de abajo.
| Tipo | Concepto |
|---|---|
| Documentación | Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com |
Preguntas frecuentes
Las preguntas marcadas con IA se escribieron con IA a partir de los datos de esta página.
¿Qué es una unidad de rendimiento aprovisionado (PTU)? (IA)
Una PTU es la unidad de medida para las implementaciones aprovisionadas en Microsoft Foundry y Azure OpenAI, donde cada unidad representa una cantidad fija de capacidad de procesamiento de modelos reservada de forma exclusiva para la implementación.
¿Cómo se facturan las PTU en comparación con las implementaciones estándar? (IA)
Las PTU se facturan por hora y por unidad, independientemente de los tokens consumidos, y las reservas de Azure están disponibles como opción de compromiso con descuento. Las implementaciones estándar usan la facturación de tokens de pago por uso sobre capacidad compartida.
¿Tener cuota de PTU garantiza la capacidad? (IA)
No. La documentación indica que la cuota no garantiza la capacidad y que las reservas tampoco la garantizan, por lo que se aconseja crear primero la implementación.
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Expertos y empresas para este tema
Nadie ha indicado aún este tema. Añádelo a tu perfil.
Fuentes
- Provisioned throughput units (PTU) – Microsoft Learn learn.microsoft.com
Mantenido por Mirko Peters (Microsoft MVP) · Última actualización: