Azure Event Hubs onder de knie krijgen: partities, consumer groups en schalen

By Mirko Peters · 2026-08-27

Automatically translated with AI from the original post. Read the English original

Cover: Azure Event Hubs - Simply Explained

Welkom terug bij onze doorlopende verkenning van cloudarchitectuur en real-time data-engineering. In de wereld van moderne bedrijfsapplicaties is de hoeveelheid data die wordt gegenereerd door gebruikers, IoT-apparaten, microservices en logaggregators verbijsterend. Organisaties slaan data allang niet meer alleen 's nachts op voor batchverwerking; ze hebben nu direct bruikbare inzichten nodig. Om aan deze vraag te voldoen, grijpen cloudarchitecten naar krachtige platforms voor event-streaming. Als je oplossingen bouwt binnen het Microsoft Azure-ecosysteem, dan valt Azure Event Hubs op als de premium, volledig beheerde service voor grootschalige ingestie.

In deze uitgebreide gids duiken we diep in de kerncomponenten van de architectuur die Azure Event Hubs laten werken. We bespreken hoe partities massaal parallel verwerken, onderzoeken hoe consumer groups meerdere applicaties in staat stellen dezelfde stream te lezen zonder elkaar in de weg te zitten, en kijken naar schaalstrategieën zoals throughput units en auto-inflate. Of je nu een systeem voor fraudedetectie in de financiële sector ontwerpt of een wereldwijde telemetriepijplijn, het begrijpen van deze fundamentele concepten is cruciaal voor je succes.

Als je liever luistert, bekijk dan zeker onze bijbehorende podcastaflevering Azure Event Hubs - Simply Explained, waarin we deze architectuurpatronen uitleggen in heldere, praktische taal.

Inleiding tot de architectuur van Azure Event Hubs

In de kern is Azure Event Hubs ontworpen als een enorm schaalbare engine voor event-ingestie. Het kan miljoenen events per seconde ontvangen en verwerken met ultralage latentie, en dient als voordeur voor big data-pijplijnen in de cloud. Zie het als een gigantische, zeer goed georganiseerde parkeergarage voor datapakketten. Producers, zoals mobiele apps, serverlogs of fabriekssensoren, plaatsen hun payloads in de hub, en consumers, zoals Azure Stream Analytics, Azure Functions of op maat gemaakte workerservices, halen ze op voor verwerking.

Anders dan traditionele berichtenwachtrijen, die berichten bewaren totdat een afzonderlijke consumer ze bevestigt (waarna het bericht wordt verwijderd), werkt Azure Event Hubs volgens een streamingmodel. Data wordt toegevoegd aan een onveranderlijk logboek. Dat betekent dat meerdere downstreamsystemen dezelfde datastream onafhankelijk van elkaar kunnen lezen, in hun eigen tempo, zonder de data voor andere lezers te vernietigen. Om de enorme snelheid van moderne workloads aan te kunnen, vertrouwt Event Hubs op een gedistribueerde architectuur die rust op twee fundamentele concepten: partities en consumer groups.

Partities begrijpen voor parallelle verwerking

Als je een hoge doorvoer wilt bereiken, kun je niet al je inkomende data door één verwerkingsknelpunt leiden. Hier komen partities om de hoek kijken. Een partitie is in essentie een afzonderlijke reeks events die binnen een event hub wordt bewaard. Wanneer je een event hub aanmaakt, moet je het aantal partities opgeven. Dat varieert doorgaans van 2 tot 32 voor standaardtiers, hoewel voor toegewezen omgevingen veel hogere limieten beschikbaar zijn.

Wanneer producers events versturen, kunnen ze een partitiesleutel meesturen, zoals een apparaat-ID, een gebruikers-ID of een transactieregio. Event Hubs past een hash toe op deze sleutel en routeert het event naar een specifieke partitie. Zo is gegarandeerd dat alle events met dezelfde sleutel altijd in precies dezelfde partitie terechtkomen, waardoor de strikte volgorde van gerelateerde data behouden blijft.

De echte kracht van partities zit in parallelle verwerking. Door de totale datastream op te delen in meerdere onafhankelijke stukken, kunnen meerdere consumer-instanties tegelijkertijd uit verschillende partities lezen. Als je event hub bijvoorbeeld 16 partities heeft, kun je een consumerapplicatie met 16 afzonderlijke leesinstanties uitrollen, waarbij elke instantie aan één partitie is toegewezen. Dit horizontale schaalmodel zorgt ervoor dat je verwerkingscapaciteit lineair meegroeit met je werkbelasting.

Consumer groups gebruiken voor onafhankelijke gegevensconsumptie

In een complexe enterprise-omgeving wordt een enkele gegevensstroom zelden door maar één team gebruikt. Je security operations center wil logs misschien scannen op afwijkingen, je data science-team wil telemetrie misschien in een machine learning-model voeden, en je facturatieafdeling wil misschien gebruiksstatistieken bijhouden, allemaal op basis van exact dezelfde binnenkomende eventstroom.

Azure Event Hubs lost deze uitdaging op met consumer groups. Een consumer group biedt een volledig overzicht van een hele event hub. Het werkt als een cursor of een verzameling bladwijzers. Door meerdere consumer groups aan te maken, kunnen meerdere consumerende applicaties tegelijkertijd de eventstroom van begin tot eind onafhankelijk van elkaar lezen.

Omdat elke consumer group zijn eigen offset heeft (een aanwijzer die aangeeft welke events al zijn gelezen), kan consumer-applicatie A events in real time verwerken, terwijl consumer-applicatie B achterloopt of historische data van eerder op de dag opnieuw afspeelt, zonder dat ze elkaar in de weg zitten. Deze ontkoppeling van producers en consumers is wat Event Hubs zo'n veelzijdige integratiehub maakt voor moderne enterprise-architecturen.

Schaalstrategieën: Throughput Units, Processing Units en Auto-Inflate

Capaciteit effectief beheren is een van de belangrijkste verantwoordelijkheden van een cloudarchitect. Azure Event Hubs biedt flexibele prijsniveaus en schaalmechanismen, zodat je architectuur ook bij wisselende belasting performant en kosteneffectief blijft.

Voor de Standard-laag wordt capaciteit uitgedrukt in Throughput Units (TU's). Eén Throughput Unit biedt je 1 MB/s aan ingress en 2 MB/s aan egress, plus maximaal 1.000 binnenkomende events per seconde per TU. Als je verkeer piekt, is handmatig schalen omslachtig en foutgevoelig. Gelukkig beschikt Event Hubs over een ingebouwde autoschaalfunctie die bekendstaat als Auto-Inflate.

Wanneer Auto-Inflate is ingeschakeld, schaalt Azure het aantal Throughput Units automatisch op op basis van je verkeersbelasting. Zo voorkom je throttling en zorg je dat je ingestion-pipeline bij onverwachte pieken nooit pakketten verliest. Voor organisaties die dedicated, geïsoleerde rekenresources met voorspelbare prestatiegaranties nodig hebben, introduceren de Premium- en Dedicated-lagen Processing Units (PU's). Die bieden hogere limieten, geen noisy-neighbor-interferentie en isolatie op enterprise-niveau.

Databetrouwbaarheid, retentie en disaster recovery

Bij high-velocity telemetrie en kritieke bedrijfslogs is dataverlies simpelweg geen optie. Azure Event Hubs bevat robuuste mechanismen om duurzaamheid van data en hoge beschikbaarheid te garanderen.

Data die naar Event Hubs wordt geschreven, wordt standaard gerepliceerd over meerdere fault domains binnen een Azure-regio. De Standard-laag bewaart data bovendien tot 7 dagen, terwijl de Premium- en Dedicated-lagen de retentie verlengen tot 90 dagen. Dankzij dit retentievenster kunnen applicaties zich herstellen na langdurige storingen door data vanaf een specifiek moment opnieuw af te spelen.

Voor missiekritieke applicaties die bescherming tegen regionale storingen vereisen, biedt Azure Geo-Disaster Recovery en geo-replicatie. Door een primaire namespace te koppelen aan een secundaire namespace in een gekoppelde Azure-regio, kunnen organisaties hun datapijplijnen bij een calamiteit snel failoveren en voldoen aan strenge Recovery Time Objectives (RTO) en Recovery Point Objectives (RPO).

Azure Event Hubs, Service Bus en Apache Kafka vergeleken

Architecten hebben vaak moeite om de juiste messagingservice in Azure te kiezen, omdat het portfolio uit meerdere krachtige opties bestaat. Om de juiste keuze te maken, is het nuttig te begrijpen hoe Event Hubs zich verhoudt tot Azure Service Bus en Apache Kafka.

Azure Service Bus is ontworpen voor enterprise-messagingpatronen en richt zich op robuuste garanties zoals transacties, dead-lettering, sessies en complexe pub/sub-routering voor relatief beperkte datavolumes. Azure Event Hubs is daarentegen speciaal gebouwd voor massale telemetrie-ingestie en stream processing met een hoge doorvoer. Als je miljoenen lichtgewicht events per seconde moet verwerken, is Event Hubs een stuk kosteneffectiever en performanter dan Service Bus.

In vergelijking met het open-source Apache Kafka biedt Azure Event Hubs een duidelijk operationeel voordeel: het is volledig beheerd. Je hoeft geen clusters te beheren, Zookeeper niet te configureren en niet zelf OS-patches te installeren. Event Hubs biedt zelfs een Kafka-compatibel eindpunt, waarmee bestaande Kafka-toepassingen met minimale codewijzigingen verbinding kunnen maken met Azure Event Hubs. Zo krijg je het beste van twee werelden.

Beste praktijken voor het ontwerpen van robuuste streamingpipelines

Een streamingpipeline op enterprise-niveau vraagt om zorgvuldige planning en het volgen van bewezen best practices. Om onze architectuurverkenning af te ronden, kun je de volgende belangrijke aanbevelingen goed in gedachten houden:

Plan je aantal partities zorgvuldig: Houd er rekening mee dat je wel dynamisch throughput units kunt opschalen, maar dat het aantal partities vastligt zodra je een event hub aanmaakt. Kies een aantal partities dat toekomstige groei aankan zonder onnodige coördinatiekosten te veroorzaken.
Kies de juiste partitiesleutels: Gebruik betekenisvolle partitiesleutels zodat data gelijkmatig over de partities wordt verdeeld. Zo voorkom je "hot partitions", waarbij één sleutel alle resources opslokt.
Implementeer robuuste foutafhandeling: Bouw retrybeleid en dead-lettering in je consumer-toepassingen in om poison messages en tijdelijke netwerkstoringen op een correcte manier af te handelen.
Houd throttling in de gaten: Gebruik Azure Monitor om metrics bij te houden, zoals binnenkomende aanvragen, gethrottelde aanvragen en de gezondheid van partities. Zo zorg je dat je toepassing ruim binnen de toegewezen limieten blijft.

Door partities, consumer groups en schaalstrategieën goed te beheersen, bouw je streamingpipelines die niet alleen bliksemsnel zijn, maar ook veerkrachtig, schaalbaar en klaar voor elke datastroom die je organisatie tegenkomt.

In deze blogpost hebben we de fundamentele architectuur van Azure Event Hubs verkend. We hebben besproken hoe partities parallelle verwerking mogelijk maken, hoe consumer groups onafhankelijke workloads ontkoppelen en hoe auto-scaling-mechanismen je toepassingen soepel laten draaien onder hoge belasting. Om te beginnen maak je in de Azure-portal een Event Hubs-naamruimte aan, configureer je je eerste consumer group en koppel je een stream processor.

Wil je dieper ingaan op dit onderwerp en echte discussies horen? Luister dan naar onze podcastaflevering: Azure Event Hubs - Simply Explained. Omarm de kracht van realtime datastreaming en transformeer vandaag nog de data-engineeringworkflows van je organisatie! 🚀

Veelgestelde vragen

Wat is Azure Event Hubs?

Azure Event Hubs is een volledig beheerd, high-throughput platform voor event streaming dat er miljoenen events per seconde met lage latentie kan opnemen en verwerken. Daarmee is het ideaal voor moderne realtime datapipelines.

Hoe werken partities in Azure Event Hubs?

Partities verdelen de totale datastroom in onafhankelijke reeksen. Producers sturen events via een partitiesleutel naar partities, waardoor meerdere consumer-instanties data parallel kunnen lezen en de verwerkingsdoorvoer maximaal wordt benut.

Wat is het verschil tussen een Event Hub en een Consumer Group?

Een event hub is de centrale logopslag voor binnenkomende events, terwijl een consumer group een eigen weergave van die eventstroom is. Meerdere consumer groups zorgen ervoor dat verschillende toepassingen dezelfde data onafhankelijk van elkaar kunnen lezen, zonder elkaar te storen.

Kan ik Azure Event Hubs automatisch schalen?

Ja. Door de functie Auto-Inflate in te schakelen op naamruimten van de Standard-laag, verhoogt Azure automatisch je toegewezen Throughput Units naarmate de verkeersbelasting groeit. Zo voorkom je prestatiethrottling.

Hoelang wordt data bewaard in Azure Event Hubs?

De bewaartermijn hangt af van je prijslaag. De Standard-laag bewaart data tot 7 dagen, terwijl de Premium- en Dedicated-lagen bewaring tot 90 dagen toestaan.

Is Azure Event Hubs compatibel met Apache Kafka?

Ja. Azure Event Hubs biedt een Kafka-native eindpunt, zodat bestaande Apache Kafka-clienttoepassingen en -tools met Event Hubs kunnen communiceren zonder dat je codebase opnieuw geschreven hoeft te worden.

🎧 Luister naar deze aflevering

Wil je een praktische, gesproken uitleg over Azure Event Hubs? In deze aflevering wordt de architectuur in heldere taal uiteengezet en wordt uitgelegd waarom dit belangrijk is voor moderne clouddevelopment, enterprise-analyse en schaalbare toepassingen.

Luister naar deze aflevering als je:

Begrijp de kernmechanismen achter Azure Event Hubs-partities en schaalbaarheid
Zie hoe streamingarchitecturen passen in het bredere Microsoft Azure-ecosysteem
Leer waar event-streaming praktische zakelijke waarde oplevert voor je organisatie

Misschien vind je deze gerelateerde M365 FM-afleveringen ook interessant:

Event Grid - Simply Explained

Ontdek meer praktische cloud- en Microsoft-gesprekken op M365 FM.

Laatst nagekeken: juli 2026.

Voor wie is deze aflevering?

Deze aflevering is essentieel voor Azure-beheerders, enterprise-architecten, softwareontwikkelaars en technische leidinggevenden die een solide, praktische basis nodig hebben voordat ze realtime streamingarchitecturen ontwerpen, beheren of gebruiken.

🎧 Luister ook eens naar

Azure Event Grid — Een praktische vervolgstap om reactieve cloudberichtenuitwisseling te verkennen.
Azure Service Bus — Leer wanneer je berichtenwachtrijen gebruikt en wanneer event-streams.
Azure Functions — Ontdek hoe je je event-streams serverless verwerkt.