Semantic caching
Concept
Semantic caching returns a stored LLM response for prompts that are similar in meaning to an earlier prompt, avoiding a new model call. Azure API Management offers semantic cache lookup and store policies for Azure OpenAI APIs.
| Type | Concept |
|---|---|
| Documentation | learn.microsoft.com/en-us/azure/api-management/azure-openai-enable-semantic-caching |
Articles sur Semantic caching (4)
- Dévoiler les coûts cachés d’Azure AI : contexte, raisonnement et autonomie
· Mirko Peters
Bienvenue dans notre plongée au cœur des réalités financières et structurelles du déploiement de charges de travail intelligentes dans le cloud d’entreprise. Si vous avez expérimen - Lever les voile sur les coûts cachés : contexte, raisonnement et autonomie dans les agents IA Azure
· Mirko Peters
Bon retour sur le blog d’accompagnement du podcast ! Aujourd’hui, nous allons approfondir un sujet qui tient éveillés la nuit les architectes cloud, les spécialistes FinOps et les - Unlocking Hidden Costs in Azure AI: Context, Reasoning, and Autonomy
· Mirko Peters
Welcome to our deep dive into the financial and structural realities of deploying intelligent workloads in the enterprise cloud. If you have been experimenting with… - Unlocking Hidden Taxes: Context, Reasoning, and Autonomy in Azure AI Agents
· Mirko Peters
Welcome back to the podcast companion blog! Today, we are expanding on a topic that has been keeping cloud architects, FinOps professionals, and IT leaders up at ni…
Community wiki
Short info above, community knowledge below: add practical tips, examples or corrections. New contributions are reviewed first; trusted members publish directly.
Experts et entreprises pour ce sujet
Personne n'a encore indiqué ce sujet. Ajoutez-le à votre profil.
Sources
- Documentation: learn.microsoft.com/en-us/azure/api-management/azure-openai-enable-semantic-caching
- Flux de ce sujet (RSS): entity/semantic-caching/feed.xml
- Articles sur ce sujet: 4
Maintenu par Mirko Peters (Microsoft MVP) · Dernière mise à jour: