Copilot Studio-agent bouwen

Je rolt je eerste Copilot Studio-agent uit en in plaats van indruk te maken, antwoordt hij iets wankels als "ik denk dat het beleid misschien zegt…". Dat is geen toeval. Met de juiste grounding, een duidelijke persona en een gedisciplineerde testaanpak maak je van zo'n blunder een bot die precies uit het beleidsdocument citeert.

In dit artikel lees je hoe je een slecht antwoord uit het testvenster reproduceert, hoe je het herstelt zodat de bot het echte document aanhaalt en hoe je een werkende pilot publiceert zonder de klassieke beginnersfouten.

Waarom een bot die in het testvenster perfect werkt in de praktijk faalt

Het testvenster van Copilot Studio is een beschermde omgeving. De vragen zijn kort, netjes geformuleerd en lijken op de voorbeelden die je zelf hebt voorbereid. Echte gebruikers typen anders. Eén collega vraagt: "Hoeveel kan ik declareren als ik in een hotel verblijf?" Een ander typt "hotel onkostenlimiet", met een typfout. Een derde schrijft: "Herinner me nog eens aan het reisbudget." Ze bedoelen allemaal hetzelfde, maar een bot die alleen op "Wat is de onkostenlimiet?" is getest, legt die verbanden niet altijd.

Test met drie variaties

Je ziet dit gat direct als je drie versies van dezelfde vraag stelt:

1. de nette versie;
2. een informele herschrijving;
3. een versie met een typfout.

Soms herkent de bot alle drie, soms alleen de nette. Dat is je eerste aanwijzing dat mooie testresultaten geen garantie zijn voor de praktijk.

Verbreed je triggerzinnen

Bots gebruiken triggerzinnen en onderwerpdefinities om te bepalen wanneer ze moeten reageren. Lijken al je voorbeelden op elkaar, dan wordt het model rigide en kan één synoniem al verwarring veroorzaken. De oplossing is saai maar effectief: voeg bredere triggerzinnen toe, niet alleen de formele bewoordingen uit je beleidsdocumenten. Neem ook informele, verkorte en licht slordige formuleringen op. Je hebt geen tientallen nodig, alleen genoeg om de voor de hand liggende variaties te dekken. Test daarna opnieuw.

Kanalen gedragen zich anders

Het testvenster is slechts een simulatie. Zodra je publiceert naar Teams, SharePoint of een demowebsite, kan het platform de invoer anders verwerken of antwoorden anders weergeven. Teams breekt regels soms anders af en een webpagina kan opmaak verwijderen. Zelfs het verplaatsen van een kernzin naar een andere regel kan de weging door het model beïnvloeden. Daarom is iteratief testen over meerdere kanalen heen nodig. Gebruikers denken bovendien niet in intenties of triggers. Ze verwachten dat de bot hen begrijpt zoals een collega dat zou doen, en herformuleren is voor hen normaal.

Grounding: laat je agent putten uit echte bronnen

De eerste grote beginnersfout is Copilot Studio behandelen als een glazen bol in plaats van een regelboek. Een agent zonder echte kennis is als een junior stagiair die de directiekamer in wordt gestuurd zonder voorbereiding. Hij praat snel en zelfverzekerd, maar de helft van wat hij zegt klopt niet. Een niet-verankerde bot haalt patronen uit taal, geen feiten. Hij bluft.

Het risico: hallucinaties

Het ergste gevolg zijn hallucinaties: antwoorden die er goed uitzien maar geen basis in de werkelijkheid hebben. Vraag je naar reiskostenvergoedingen, dan verzint de bot een plausibel getal. Een medewerker boekt een hotel op basis van dat getal en je mag onkostenconflicten gaan afhandelen.

In de oefenopdracht van Contoso Labs staat in een bestand, Expenses Policy.docx, dat de limiet voor overnachtingen 200 dollar per nacht is. Sla je de grounding over en vraag je "Wat is het hotelbeleid?", dan kan de bot vol vertrouwen 100 dollar per nacht antwoorden: volledig verzonnen. Voeg je het document toe, dan stopt het gissen en antwoordt de bot dat de overnachting volgens het reisbeleid is beperkt tot 200 dollar per dag.

Zo voeg je kennis toe

1. Open je agent in Copilot Studio en ga vanaf het overzichtsscherm naar Kennis.
2. Kies Kennis toevoegen en selecteer een bestand om te uploaden, bijvoorbeeld Expenses Policy.docx.
3. Je kunt ook een openbare website of SharePoint-locatie koppelen, maar bestanden zijn overzichtelijker.
4. Wacht tot het indexeren klaar is. Dat kan 10 minuten of langer duren, dus raak niet in paniek als de eerste testvragen nog niets opleveren.
5. Stel je vraag opnieuw. Bij correcte grounding zie je het antwoord van 200 dollar met een kleine bronvermelding naar je document.

Die bronvermelding is je bewijs dat de bot echt uit je document put.

Conversational boosting is geen vervanger

Veel makers denken dat conversational boosting de gaten vanzelf opvult. Dat klopt niet: het versterkt alleen tekstpatronen en creëert geen beleidskennis. Vindt de bot geen match in je kennisbronnen, dan kan hij terugvallen op de algemene basiskennis van het model en vage of onjuiste antwoorden geven. Configureer kritieke onderwerpen daarom zo dat alleen je toegevoegde bronnen worden doorzocht wanneer precisie telt, zoals bij compliance, financiën of HR. Ongefundeerde bots zijn prima voor een praatje, maar bij vergoedingen of verlofbeleid veroorzaken ze echte helpdesktickets. Het herstellen daarvan kost veel meer dan het document op dag één uploaden.

Persona: geef je bot een naam, toon en rol

Nauwkeurigheid zonder persoonlijkheid laat gebruikers alsnog afhaken, en die persoonlijkheid krijg je in Copilot Studio niet cadeau. Je moet haar zelf uitschrijven via de velden voor naam, beschrijving en instructies op de overzichtspagina. Laat je ze leeg, dan krijg je standaardantwoorden zonder autoriteit en context. In omgevingen als HR of Finance voelt een generieke toon als een prototype, niet als een tool waarop je kunt vertrouwen.

Naam, beschrijving en instructies

• Naam: maximaal 30 tekens, dus kort en krachtig, bijvoorbeeld een expert in onkostenbeleid.
• Beschrijving: ruimte voor ongeveer 1000 tekens, genoeg voor een paar heldere zinnen. Bijvoorbeeld: de agent geeft medewerkers actuele antwoorden uit het officiële reisbeleid, citeert relevante passages en vermijdt speculatie.
• Instructies: tot 8000 tekens voor concrete werkregels. Zeg niet alleen dat de bot behulpzaam moet zijn, maar leg het draaiboek uit: citeer altijd de beleidsregel als die beschikbaar is, vermijd speculatieve antwoorden, vat samen in één heldere zin en geef daarna de bronvermelding.

Een handige checklist: geef de rol een naam, schrijf een korte beschrijving van de expertise, bepaal de toon (formeel, informeel of eenvoudig voor niet-experts) en vul de instructies met gedragsregels, wat wel en niet mag en de gewenste opmaak. Je kunt de toon expliciet sturen met zinnen als "formeel en professioneel" of "informeel en begrijpelijk voor medewerkers zonder technische achtergrond". Voorbeelden in de instructies helpen daarbij.

Twee snelle verbeteringen

Beide kosten minder dan 5 minuten. Pas eerst het welkomstbericht aan via het startonderwerp van het gesprek. Vervang de algemene tekst door een rolspecifieke introductie, zoals: "Ik ben hier om je te helpen met het reisbeleid en zal waar mogelijk het officiële document citeren." Ververs daarna het gesprek om het te testen. Wijzig vervolgens het icoon. Ondersteund wordt een PNG-bestand tot 192 bij 192 pixels en onder de 30 kilobyte. Zelfs een eenvoudig logo voorkomt dat de bot al vóór het eerste antwoord als demo overkomt.

Zulke kleine aanpassingen leiden tot minder "ik begrijp het niet"-tickets, zonder nieuwe connectoren of plug-ins. Stel de persona daarom in voordat je aan geavanceerde logica begint.

Real-time debuggen: reproduceren, herstellen, opnieuw testen

Debuggen verandert misstappen in lessen in plaats van in tickets. De cyclus is: zie de fout, isoleer hem, herstel hem en voer de test opnieuw uit. Copilot Studio biedt de tools, maar de volgorde bepaalt het resultaat.

1. Reproduceer de falende vraag in het testvenster, precies zoals de gebruiker hem stelde.
2. Reset het gesprek via het verversicoon of een nieuwe chat, zodat je met een schone lei begint.
3. Open de onderwerpen en kijk welke is geactiveerd. Was het niet een van jouw onderwerpen maar het systeemonderwerp voor conversational boosting, dan vertrouwde de bot op het model en niet op jouw kennis.
4. Controleer de kennisbron. Is je bestand of site geüpload én geïndexeerd? Geen index, geen grounding.
5. Pas instructies of onderwerpinhoud aan, sla op en voer exact dezelfde vraag opnieuw uit.

Reproduceren, patchen, opnieuw draaien en herhalen is je mantra. Sla je dat over, dan hoop je alleen op een gunstiger worp van de dobbelstenen.

Nieuw onderwerp met Copilot

Mist een antwoord structuur, dan loont een nieuw onderwerp. Op de onderwerpenpagina kun je met Copilot een onderwerp laten toevoegen op basis van een beschrijving, bijvoorbeeld "antwoord direct wanneer gebruikers vragen naar onkostenlimieten". Het systeem ontwerpt dan een onderwerpstructuur. Gebruik dit wanneer de bot steeds dezelfde basisvraag negeert.

A/B-test van de toon

Doe experimenten van 10 minuten. Schrijf in het instructieveld variant A met formele beleidstaal, sla op en vraag naar de limiet voor reiskosten. Noteer het antwoord. Wijzig de instructies daarna naar variant B, een vriendelijke gids met eenvoudige, informele uitleg waarin de regels nog steeds worden geciteerd, en stel dezelfde vraag opnieuw. Zo kies je de toon op basis van bewijs, niet op gevoel, en je hebt er alleen het testvenster voor nodig.

Groundingchecks en gesprekstarters

Vraagt een tester "Wat kan ik declareren voor hotels?" en antwoordt de bot vaag, dan is dat feedback, geen mislukking. Misschien is het document nog niet geïndexeerd, misschien ontbrak het woord "hotel" in je triggerzinnen. Controleer het tabblad Kennis en voeg "hotelkosten" toe als triggerzin in je reisonderwerp. Krijg je daarna "volgens het beleid is de overnachting beperkt tot 200 dollar per nacht", dan is het lek gedicht.

Lege tekstvakken laten gebruikers bevriezen. Voeg daarom via de overzichtspagina 3 tot 5 gesprekstarters toe, zoals "Wat is de hotellimiet?", "Hoe dien ik een reisdeclaratie in?" en "Welke maaltijden worden vergoed?". Gebruikers klikken er direct op, jij test echte paden sneller en de bot lijkt zijn rol te kennen nog voordat iemand typt.

Publiceren en kanaalverrassingen: van testvenster naar echte gebruikers

Publiceren is meer dan één klik. Het bepaalt wie je agent kan bereiken, hoe gebruikers binnenkomen en hoe antwoorden verschijnen. Elk kanaal heeft zijn eigen eigenaardigheden. Een antwoord dat in Studio helder is ("200 dollar per dag voor verblijf") kan in Teams plotseling uitmonden in "ik begrijp het niet", terwijl de bot niet is veranderd. De manier waarop Teams tekst en metadata doorgeeft kan de uitkomst verstoren. SharePoint doet zijn eigen ding met regelafstanden en ook de demowebsite kan opmaak anders weergeven. Test elk publicatiedoel daarom afzonderlijk.

Publicatiechecklist

1. Bevestig dat je kennisbestanden volledig zijn geïndexeerd.
2. Stel de authenticatie in. Voor een brede demo kies je geen authenticatie, zodat iedereen met de link kan proberen.
3. Publiceer en controleer of je de groene bevestigingsbanner of statusupdate op de kanalenpagina ziet.
4. Open de kanaalinstellingen van de demowebsite en werk het welkomstbericht en de gesprekstarters bij.
5. Draai een besloten pilot. Rol nog niet uit naar de hele tenant.

De besloten pilot

Een kleine groep met duidelijke instructies is slimmer dan een volledige release. Maak de deelnemers duidelijk dat zij de testers zijn. Vraag hen informeel te typen, typfouten te maken en waar zinvol bestanden te uploaden. Hun fouten leggen precies de zwakke plekken bloot en leveren de feedback waarmee je de bot verbetert voordat het hele bedrijf hem gebruikt.

Herhaal alle scenario's uit Studio in elk doelkanaal: formele vragen, informele bewoordingen, typfouten en een onderbouwd antwoord met bronvermelding. Kijk of Teams ze anders toont, hoe SharePoint met witruimte omgaat en of de webdemo de bronvermelding nog toevoegt.

Monitoren na livegang

Na publicatie stroomt gebruiksdata binnen. Het Power Platform Beheer Centrum en de ingebouwde analyses laten adoptiecijfers, foutmeldingen en gesprekken zien waarbij geen onderwerp is geactiveerd. Dat is geen extra werk maar je monitoringsysteem. De publiceerknop markeert niet het einde, maar het begin van de veldcampagne.

Veelgemaakte beginnersfouten

• Alleen in Studio testen: nette invoer geeft een vals gevoel van veiligheid.
• Te weinig variatie in triggerzinnen: alleen formele beleidstaal dekt synoniemen, informele taal en typfouten niet.
• Geen kennisbron toevoegen: zonder grounding bluft de bot en verzint hij getallen.
• Vertrouwen op conversational boosting: dat vult geen kennisgaten en valt terug op algemene modelkennis.
• Persona-velden leeg laten: je krijgt standaardantwoorden zonder autoriteit en context.
• Niet wachten op indexering: het kan 10 minuten of langer duren voordat de inhoud klaar is.
• Kanalen niet apart testen: Teams, SharePoint en de demowebsite gedragen zich elk anders.
• Direct breed uitrollen: zonder besloten pilot word je bedolven onder supporttickets.

Praktische takeaways

• Behandel het testvenster als sparringsessie, niet als bewijs van gereedheid.
• Test elke vraag met een nette, informele en typfoutversie.
• Verbreed je triggerzinnen met synoniemen en informele formuleringen.
• Upload de echte documenten en wacht op de indexering; controleer of de bronvermelding verschijnt.
• Laat kritieke onderwerpen alleen je eigen bronnen doorzoeken.
• Vul naam (max. 30 tekens), beschrijving (ca. 1000 tekens) en instructies (tot 8000 tekens) in.
• Pas het welkomstbericht aan, voeg 3 tot 5 gesprekstarters toe en plaats een icoon.
• Debug volgens de cyclus: reproduceren, resetten, onderwerp controleren, kennis controleren, aanpassen en opnieuw draaien.
• Test na publicatie in elk kanaal opnieuw, start met een besloten pilot en monitor de analyses.

Conclusie: Drie dingen maken van een wankele Copilot Studio-agent een betrouwbare teamgenoot: een bot die is verankerd in echte bronnen, een duidelijke persona met naam, beschrijving, toon en instructies, en een testaanpak die verder gaat dan een soepele repetitie in Studio. Wie het testvenster gebruikt, een besloten pilot draait en na publicatie blijft monitoren, bouwt een agent die vertrouwen wint in plaats van tickets oplevert.