Op 2 augustus treedt het hoofdstuk over risicovolle toepassingen van de EU-wetgeving inzake kunstmatige intelligentie in werking. De meeste spraakgestuurde AI die momenteel in productie is, vormt geen hoog risico, maar de toepassingen die dat wel zijn, bevinden zich in sectoren zoals noodhulp, werving en selectie, kredietverlening, verzekeringen, onderwijs en openbare diensten. Hieronder leggen we uit wat er concreet van toepassing is op een spraakgestuurde agent, waar de grens per sector ligt en in welke valkuil een koper ongemerkt in een leverancier verandert.
De data in het wetboek
De AI-wetgeving is niet in één keer ingevoerd. Ze wordt in delen geïntroduceerd, en het deel dat het meest relevant is voor iedereen die conversationele AI gebruikt, is dat van 2 augustus 2026: de verplichtingen met betrekking tot hoge risico's in bijlage III en de transparantieverplichtingen van artikel 50 treden beide op die dag in werking.
| Datum | Wat is van toepassing? | Status |
|---|---|---|
| 1 augustus 2024 | Verordening (EU) 2024/1689 treedt in werking | Klaar |
| 2 februari 2025 | Artikel 5 verboden praktijken. Artikel 4 plicht tot AI-geletterdheid voor aanbieders en implementeerders. | In werking |
| 2 augustus 2025 | Verplichtingen met betrekking tot algemene AI-modellen, nationale bevoegde autoriteiten, governance en het sanctieregime. | In werking |
| 2 augustus 2026 | Bijlage III: verplichtingen met een hoog risico, transparantieverplichtingen uit artikel 50, regelgevingssandboxes. | Volgende |
| 2 augustus 2027 | Hoogrisicosystemen die als veiligheidscomponenten zijn ingebouwd in producten die al onder de sectorale EU-wetgeving vallen. GPAI-modellen die vóór augustus 2025 op de markt worden gebracht, moeten hieraan voldoen. | Later |
| 2 augustus 2030 | Verouderde, risicovolle systemen die al in gebruik zijn bij overheidsinstanties, moeten worden aangepast aan de nieuwe normen. | Later |
In Brussel wordt volop gediscussieerd over het versoepelen van die planning: het digitale omnibuspakket van de Commissie suggereert dat de ingangsdatum van bijlage III gekoppeld moet worden aan de gereedheid van geharmoniseerde standaarden. Totdat de verordening wordt gewijzigd, is 2 augustus 2026 de wettelijk vastgestelde datum. Een uitstel zou weliswaar tijd opleveren voor documentatie, maar niet voor architectuur: de eisen met betrekking tot registratie, toezicht en traceerbaarheid zijn ontwerpbeslissingen en zijn aanzienlijk duurder om achteraf in te bouwen dan om te realiseren.
Elke voice-overagent wordt door één artikel gegrepen.
Voordat we ingaan op de risicovolle vraag, is er een verplichting die in principe geldt voor elk AI-systeem voor conversaties dat actief is op de EU-markt, ongeacht de functie ervan. Artikel 50 is kort en bondig, en het is het artikel waaraan de meeste spraakgestuurde toepassingen zullen worden getoetst.
- Vertel mensen dat ze met een machine praten. Artikel 50(1) vereist dat natuurlijke personen die met een AI-systeem interageren, daarvan op de hoogte worden gesteld, tenzij het voor een redelijk goed geïnformeerd persoon in de gegeven omstandigheden duidelijk is. Bij spraakherkenning is "duidelijk" een steeds minder geldig verweer; de hele industrie heeft twee jaar besteed aan het ontwikkelen van systemen die niet synthetisch klinken. Als uw openbaarmakingsstrategie is "ze zullen het wel merken", zet u in op naleving door te hopen dat uw eigen product slecht is.
- Synthetische audio markeren. Artikel 50(2) en 50(4) hebben betrekking op de machinaal leesbare markering van door AI gegenereerde inhoud en de openbaarmaking van deepfakes. Gekloonde of gesynthetiseerde spraakuitvoer valt hier duidelijk onder.
- Meld emotieherkenning. Artikel 50(3) vereist dat degenen die systemen voor emotieherkenning en biometrische categorisatie inzetten, de mensen die eraan worden blootgesteld, hierover informeren. Elke spraakverwerkingseenheid die sentiment, stress of frustratie afleidt uit akoestische signalen, moet hieraan voldoen.
- AI-geletterdheid is al van kracht. Artikel 4 is van toepassing sinds februari 2025 en geldt voor zowel aanbieders als implementeerders: de mensen die uw spraakassistenten bedienen, moeten voldoende kennis van AI hebben voor de context waarin ze worden gebruikt. Het is de goedkoopste verplichting in de wet en de meest genegeerde.
“De openbaarmakingsplicht is niet het moeilijkste onderdeel van de AI-wet. Het is simpelweg het onderdeel waar geen enkele implementatie van conversationele AI aan kan ontkomen.”
Vier dingen die niemand mag bouwen
Artikel 5 is sinds februari 2025 van kracht, kent de zwaarste straffen in de wet en bevat verboden die onrustbarend veel lijken op patronen waarmee de spraakindustrie heeft geëxperimenteerd.
- Manipulatieve of misleidende techniek. Artikel 5(1)(a) verbiedt subliminale, opzettelijk manipulatieve of misleidende technieken die het gedrag materieel vervormen en aanzienlijke schade veroorzaken. De overtuigingstechnieken van een outbound salesagent vallen precies onder het terrein waarvoor dit artikel is opgesteld.
- Kwetsbaarheid misbruiken. Artikel 5(1)(b) verbiedt het exploiteren van kwetsbaarheden die voortvloeien uit leeftijd, een handicap of een specifieke sociale of economische situatie. Het detecteren van kwetsbaarheden is een wettelijke vereiste in de Britse financiële dienstverlening. Het is verboden, en niet slechts afgekeurd, om datzelfde signaal te gebruiken om harder aan te dringen in plaats van zorgvuldiger transacties te routeren.
- Het interpreteren van emoties op het werk of in het onderwijs. Artikel 5(1)(f) verbiedt het afleiden van emoties van natuurlijke personen op de werkplek en in onderwijsinstellingen, behalve op strikte medische en veiligheidsgronden. Het beoordelen van de emoties van agenten ten aanzien van uw eigen personeel is hier een duidelijk risico.
- Biometrische categorisatie op basis van beschermd kenmerk. Artikel 5(1)(g) verbiedt het afleiden van ras, politieke overtuiging, vakbondslidmaatschap, religieuze overtuiging, seksleven of seksuele geaardheid uit biometrische gegevens. Accent en stemafdruk zijn biometrische gegevens.
Overtreding van artikel 5 leidt tot boetes van maximaal € 35 miljoen of 7% van de totale wereldwijde jaaromzet, afhankelijk van welk bedrag hoger is. Geen enkele andere bepaling in de wet kent een dergelijk maximum.
Waar de grens van het hoge risico precies ligt
Een hoog risico is geen inschatting van hoe belangrijk uw gebruiksscenario is. Het is een lijst. Bijlage III somt acht gebieden op, en een conversationeel AI-systeem wordt als hoog risico beschouwd wanneer het beoogde doel binnen een van deze gebieden valt. Vijf van de acht zijn direct relevant voor spraak: biometrie, kritieke infrastructuur, onderwijs, werkgelegenheid en toegang tot essentiële particuliere en publieke diensten.
Het nuttige mentale model is als volgt: de wetgever geeft er niet om dát er een gesprek heeft plaatsgevonden. Het gaat erom of een geautomatiseerd systeem een belangrijke beslissing over een persoon heeft beïnvloed.
| Sector | Gebruiksvoorbeeld spraak | Laag | Waarom |
|---|---|---|---|
| Hulpdiensten | Het beoordelen van 999- of 111-oproepen en het prioriteren van de inzet. | Hoog risico | Bijlage III 5(d): evaluatie van noodoproepen en prioriteit van de meldkamer |
| Gezondheidszorg | Klinische patiëntentriage via de telefoon | Hoog risico | Bijlage III 5(d): triage van patiënten in de spoedeisende gezondheidszorg |
| Gezondheidszorg | Afspraken boeken, herinneringen, DNA-reductie | Beperkt risico | Openbaarmaking conform artikel 50. Er wordt geen klinische beslissing genomen. |
| Werving en selectie & HR | Gesprekken screenen, kandidaten rangschikken, AI-interviews | Hoog risico | Bijlage III 4(a): filteren van aanvragen en evalueren van kandidaten |
| Werving en selectie & HR | Prestatiebewaking, taaktoewijzing, exitbeslissingen | Hoog risico | Bijlage III 4(b): beslissingen die de arbeidsrelatie beïnvloeden |
| Financiële diensten | Betaalbaarheids- of kredietwaardigheidsbeoordeling tijdens het gesprek | Hoog risico | Bijlage III 5(b): kredietwaardigheid en kredietscore |
| Financiële diensten | Fraudedetectie, kaartblokkering, extra verificatiestappen | Beperkt risico | Bijlage III 5(b) maakt een uitzondering voor AI die wordt gebruikt om financiële fraude op te sporen. |
| Verzekering | Risicobeoordeling of prijsbepaling voor levens- en ziektekostenverzekeringen | Hoog risico | Bijlage III 5(c): risico en prijsstelling van levens- en ziektekostenverzekeringen |
| Verzekering | Registratie van eerste schademeldingen voor auto- of woningverzekeringen, claimstatus en verlengingen. | Beperkt risico | Buiten artikel 5(c). Openbaarmaking op grond van artikel 50 is van toepassing. |
| Publieke sector en huisvesting | Toekenning of intrekking van uitkeringen of ondersteuning | Hoog risico | Bijlage III 5(a): toegang tot essentiële openbare bijstand |
| Publieke sector en huisvesting | Reparatieboekingen, huursaldo, naleving van regelgeving | Beperkt risico | Openbaarmaking op grond van artikel 50. Een FRIA kan nog steeds van toepassing zijn op de implementeerder. |
| Onderwijs | Toelating, beoordeling van resultaten, toezicht bij examens | Hoog risico | Bijlage III 3: toelating, evaluatie en toezicht |
| Nutsvoorzieningen en kritieke infrastructuur | Spraakgestuurde agent als veiligheidscomponent in het voorraadbeheer. | Hoog risico | Bijlage III 2: veiligheidscomponenten van kritieke infrastructuur |
| Nutsvoorzieningen en kritieke infrastructuur | Facturering, meterstanden, in- en uitverhuizing | Beperkt risico | Openbaarmaking alleen op grond van artikel 50 |
| Elke sector | Stembiometrie identificeert een beller aan de hand van een database. | Hoog risico | Bijlage III 1(a): biometrische identificatie op afstand |
| Elke sector | Stemafdruk die bevestigt dat de beller is wie hij/zij beweert te zijn | Hangt ervan af | Eén-op-één-verificatie is uitgezonderd van bijlage III 1(a). |
| Elke sector | Het afleiden van emoties uit de stem van een beller | Hoog risico | Bijlage III 1(c). Volledig verboden op de werkplek en in het onderwijs krachtens artikel 5(1)(f). |
| Detailhandel, reizen, logistiek | Orderstatus, boekingen, retouren, uitgaande campagnes | Beperkt risico | Openbaarmaking op grond van artikel 50, plus de AVG en PECR zoals die reeds van toepassing waren. |
Als je die tabel doorleest, komt er een patroon naar voren dat de meeste kopers verrast: dezelfde organisatie beheert vaak beide niveaus. Een zorginstelling die telefonisch afspraken maakt, loopt een beperkt risico; dezelfde instelling die symptomen beoordeelt, loopt een hoog risico. Een verzekeraar die een schadeclaim voor een autoverzekering afhandelt, loopt een beperkt risico; dezelfde verzekeraar die een levensverzekering afsluit, loopt een hoog risico. Compliance wordt per systeem en per beoogd doel beoordeeld, niet per bedrijf.
De kopers maken steeds weer een fout bij het verificatieproces.
Stembiometrie is waar de meeste fouten optreden. Bijlage III punt 1(a) bestempelt systemen voor biometrische identificatie op afstand als risicovol en maakt vervolgens expliciet een uitzondering voor systemen die worden gebruikt voor biometrische verificatie waarvan het enige doel is te bevestigen dat een persoon is wie hij of zij beweert te zijn.
Dat onderscheid is geld waard. Een stemafdrukcontrole aan de hand van het account dat de beller al heeft geïdentificeerd, is een één-op-één-verificatie en valt buiten de lijst met risicovolle transacties. Het vergelijken van de stem van een beller met een database van geregistreerde of op een observatielijst geplaatste stemmen om te achterhalen wie ze zijn, is een één-op-veel-identificatie en vormt een risicovolle transactie. De functionaliteit lijkt in een demo vrijwel identiek. De wettelijke gevolgen verschillen echter aanzienlijk, afhankelijk van een volledige conformiteitsbeoordeling.
Het noodluik in artikel 6(3) en het bijbehorende valluik.
Een systeem waarvan het doel binnen bijlage III valt, is niet automatisch een systeem met een hoog risico. Artikel 6(3) staat een aanbieder toe om tot een andere conclusie te komen wanneer het systeem geen significant risico vormt voor de gezondheid, de veiligheid of de fundamentele rechten (ook omdat het de uitkomst van de besluitvorming niet wezenlijk beïnvloedt) en aan een van de volgende vier voorwaarden is voldaan: het voert een beperkte procedurele taak uit, het verbetert het resultaat van een eerder uitgevoerde menselijke activiteit, het detecteert patronen of afwijkingen zonder de menselijke beoordeling te vervangen, of het voert een voorbereidende taak uit voor een beoordeling.
De meeste goed ontworpen spraakgestuurde systemen in risicovolle sectoren richten zich op dat doel: feiten vastleggen, details verifiëren, dossier samenstellen en de beslissing aan een mens overlaten. De valkuil zit hem in de laatste zin van de bepaling. Als het systeem profielen van natuurlijke personen opstelt, is het sowieso een risicovolle sector. En de uitzondering is niet gratis: de beoordeling moet worden gedocumenteerd voordat het systeem op de markt komt, en het systeem moet nog steeds worden geregistreerd in de EU-database. Het is een administratieve procedure, geen kwestie van zwijgen.
“"We houden de mens betrokken" is alleen een nalevingsstrategie als die betrokkenheid gedocumenteerd en vastgelegd is en aantoonbaar de uitkomst kan beïnvloeden.”
Wat risicovolle investeringen u daadwerkelijk kosten
Als een spraakgestuurde implementatie in een risicovolle omgeving terechtkomt, maakt Hoofdstuk III van een product een gereguleerd product. In de praktijk betekenen de verplichtingen voor een spraakagent het volgende.
Voordat het live gaat
- Risicobeheersingssysteem (Artikel 9). Een continu, gedocumenteerd proces gedurende de gehele levenscyclus, geen eenmalig risicoregister dat bij de lancering wordt ondertekend.
- Gegevensbeheer (Artikel 10). De trainings-, validatie- en testgegevens worden onderzocht op vertekening en representativiteit. Voor spraak betekent dit dat er gekeken wordt naar accent, dialect, leeftijd en spraakverschillen, precies waar de meeste ASR-stacks stilletjes tekortschieten.
- Technische documentatie (Artikel 11, Bijlage IV). Systeemarchitectuur, herkomst van het model, beoogd doel, bekende beperkingen, prestatiemetingen.
- Gebruiksaanwijzing (Artikel 13). Het transparantiepakket voor de implementeerder. Als u tot aankoop overgaat, is dit het document dat bepaalt of u aan uw eigen verplichtingen kunt voldoen.
- Nauwkeurigheid, robuustheid en cyberbeveiliging (Artikel 15). De opgegeven nauwkeurigheidsstatistieken gelden onder productieomstandigheden. Voor spraakcommunicatie in het VK botst dit met smalbandtelefonie, die we hebben apart geschrevenEen model dat is getest met breedbandaudio en is ingezet op een 3,4 kHz-kanaal, presteert niet op het opgegeven niveau.
- Kwaliteitsbeheer, conformiteitsbeoordeling, CE-markering en registratie (artikelen 17, 43, 47-49). De aangegeven conformiteitsroute, de EU-verklaring, het CE-keurmerk en de inschrijving in de EU-databank.
Zodra het live is
- Houtkap (Artikel 12). Automatische registratie van gebeurtenissen gedurende de levensduur van het systeem, voldoende om te achterhalen hoe een bepaald resultaat tot stand is gekomen. Bij een spraakgestuurd systeem betreft dit niet de gespreksopname, maar de ophaalbeslissingen, toolaanroepen, beleidsevaluaties en modelversies die aan elke stap ten grondslag liggen.
- Menselijk toezicht (Artikel 14). Het is zo ontworpen dat een persoon de situatie kan begrijpen, ingrijpen, overrulen en stoppen. Ingrijpen en escaleren naar een agent vormen de zichtbare laag; de moeilijkere vereiste is dat de mens voldoende context heeft om de uitkomst daadwerkelijk te veranderen.
- Postmarket monitoring (Artikel 72). Een plan voor het verzamelen en analyseren van prestaties uit de praktijk, met terugkoppeling naar het risicomanagementsysteem.
- Rapportage van ernstige incidenten (artikel 73). De markttoezichtautoriteit moet onmiddellijk en uiterlijk binnen 15 dagen na constatering van de overtreding op de hoogte worden gesteld: 10 dagen in geval van overlijden, 2 dagen bij wijdverspreide inbreuken of ernstige verstoring van de kritieke infrastructuur. Vijftien dagen is niet lang als u niet meer kunt reconstrueren wat uw vertegenwoordiger heeft gezegd en waarom.
De valkuil van de rolverdeling: hoe een koper een aanbieder wordt.
De verplichtingen van de wet zijn onderverdeeld naar rol. Aanbieders dragen het grootste deel van Hoofdstuk III. Implementeerders hebben een kortere, maar wel degelijke lijst onder Artikelen 26 en 27: het systeem bedienen volgens de instructies, bevoegd menselijk toezicht aanstellen, ervoor zorgen dat de invoergegevens relevant zijn, de automatisch gegenereerde logboeken minstens zes maanden bewaren en (indien u een werkgever bent) werknemersvertegenwoordigers en betrokken werknemers informeren voordat een systeem met een hoog risico op de werkplek in gebruik wordt genomen. Overheidsinstanties, particuliere aanbieders van openbare diensten en implementeerders die kredietwaardigheidsbeoordelingen of prijsbepalingen voor levens- en ziektekostenverzekeringen uitvoeren, zijn bovendien verplicht een effectbeoordeling van de fundamentele rechten uit te voeren.
Artikel 25 is de bepaling die zakelijke kopers vaak verrast. Een implementeerder wordt een leverancier (en erft daarmee de volledige verplichtingen van een leverancier) als hij zijn eigen naam of handelsmerk op een systeem met een hoog risico plaatst, er een substantiële wijziging in aanbrengt of het beoogde doel van een systeem zodanig wijzigt dat het een systeem met een hoog risico wordt.
Bedenk hoe alledaags elk van deze zaken is in een spraakprogramma. U voorziet de agent van uw eigen merknaam. U herschrijft de systeemprompt, voegt tools toe, integreert uw eigen zoekfunctie en wijzigt de beslissingslogica. U neemt een agent die is aangeschaft voor het inplannen van afspraken en zet deze in voor symptoomtriage. Elk van deze situaties is een actuele vraag in de zin van artikel 25, en het antwoord bepaalt of de nalevingsplicht van uw leverancier u dekt of dat u die verantwoordelijkheid stilletjes op u hebt genomen.
Zijn we een implementeerder geworden, of zijn we een aanbieder?
Het model onder uw agent
Spraakagenten zijn opgebouwd uit verschillende onderdelen, ze zijn niet monolithisch: een ASR-model, een of meer taalmodellen, een TTS-stem en een orchestratielaag. Sinds augustus 2025 gelden er verplichtingen voor algemene AI-modellen. Dit betekent dat de modelaanbieders onder u verplicht zijn tot het leveren van technische documentatie, downstream-informatie, een auteursrechtbeleid en een samenvatting van de trainingsgegevens. Indien een model een systemisch risico met zich meebrengt, zijn er bovendien verplichtingen op het gebied van evaluatie, adversarial testing, incidentrapportage en cybersecurity.
Dat is om een praktische reden belangrijk voor u. Uw documentatie in Bijlage IV en uw nauwkeurigheidsclaims op grond van Artikel 15 zijn afhankelijk van informatie die u niet zelf genereert. Als uw leverancier van spraakdiensten u niet kan vertellen welke modelversies welke gesprekken hebben afgehandeld, kunt u geen verdedigbare nauwkeurigheidsverklaring afleggen en kunt u geen antwoord geven op de vraag van een toezichthouder waarom een specifiek antwoord is gegeven bij een specifiek gesprek. Model- en versie-informatie is niet langer een technische voorkeur, maar een vereiste voor naleving van de regelgeving.
Als u een Brits bedrijf bent, valt u waarschijnlijk nog steeds onder de reikwijdte van deze regeling.
Het Verenigd Koninkrijk heeft geen vergelijkbare wetgeving. Dat is niet de verlichting die het soms lijkt te bieden. Artikel 2 geeft de wet extraterritoriale reikwijdte: ze is van toepassing op aanbieders die AI-systemen op de EU-markt brengen of in de EU in gebruik nemen, ongeacht waar ze gevestigd zijn, en op aanbieders en implementeerders die buiten de EU gevestigd zijn, wanneer de output van het systeem in de EU wordt gebruikt.
Een Britse aanbieder van spraakgestuurde AI met een Ierse, Nederlandse of Duitse klant valt onder de wetgeving. Een Brits bedrijf dat één netwerk beheert en telefoongesprekken van EU-klanten afhandelt, valt onder de reikwijdte van dat netwerk. In de praktijk komt de commerciële druk vóór de juridische druk: inkoopteams die zich richten op de EU vragen al om documentatie volgens Bijlage IV, en Britse toezichthouders (met name de FCA, die zich bezighoudt met de consumentenbescherming) eisen steeds meer hetzelfde bewijsmateriaal, zo niet dezelfde documentatie.
Wat u in uw volgende RFP moet opnemen
Als u dit jaar conversatie-AI aanschaft, vraag dan zes verschillende leveranciers die daadwerkelijk onderzoek hebben gedaan, en leveranciers die er slechts een alinea over hebben geschreven.
- Een schriftelijke classificatie van het specifieke systeem ten opzichte van bijlage III, met de onderbouwing en, indien een beroep wordt gedaan op artikel 6(3), de gedocumenteerde beoordeling die daaraan ten grondslag ligt.
- De gebruiksaanwijzing volgens artikel 13, in zijn geheel, vóór de contractsluiting, geen specificatieblad.
- De opgegeven nauwkeurigheidsstatistieken met bijbehorende testomstandigheden, waaronder prestaties van smalbandtelefonie en accentdekking, worden vermeld.
- Een beschrijving van wat de logboekregistratie volgens artikel 12 precies vastlegt, hoe lang de gegevens worden bewaard en of u een enkele beurt van begin tot eind op verzoek kunt reconstrueren.
- Informatie over de herkomst en versie van het model, plus een melding voordat een modelwijziging in productie gaat.
- Een duidelijke positie ten aanzien van artikel 25: welke wijzigingen beschouwt de leverancier als wezenlijk, en vanaf welk punt de conformiteitsverplichting voor u niet langer geldt.
De normen zijn nog niet definitief en er moet nog veel werk verzet worden.
Bouw met het oog op de audit, niet op de deadline.
De AI-wetgeving wordt vaak gezien als een kostenpost voor naleving. Bij nadere beschouwing is het echter een specificatie voor een spraaksysteem dat een onderneming daadwerkelijk kan verdedigen: gedocumenteerd doel, beheerde kennis, gegarandeerde nauwkeurigheid, vastgelegde beslissingen, daadwerkelijk menselijk toezicht en traceerbare modelversies. Dat is dezelfde architectuur waar we destijds voor pleitten. Voorbij RAGen dezelfde houding die de werkelijke kosten van een fout antwoord bepaalt in hallucinatie-economie.
Kopers die 2 augustus als een datum voor de papierwinkel beschouwen, zullen de herfst doorbrengen met het achteraf inbouwen van gegevens in een systeem dat nooit ontworpen was om te worden herbouwd. Kopers die het als een datum voor de architectuur beschouwen, zullen merken dat de papierwinkel zich grotendeels vanzelf oplost.
Het inzetten van spraakgestuurde AI in een gereguleerde sector?
Cloudax publiceert een overzicht per laag van onze beveiligings- en compliance-status: gegevenslocatie, subverwerkers, nulbewaring van gegevens, certificeringen en roadmap. Bekijk het overzicht of stel ons uw classificatievraag, dan helpen we u graag verder.




