Hoe NeoDemos werkt — en waar de grenzen liggen
Geen black box. We leggen open uit hoe een antwoord tot stand komt, hoe goed het presteert, en wat het (nog) niet kan.
Drie stappen
Elke vraag die een gebruiker stelt doorloopt hetzelfde proces: zoeken in de bronnen, analyseren en verwijzen naar het origineel.
De vraag wordt omgezet naar een zoekopdracht over 100.000+ raadsdocumenten — full-text én semantisch — om de meest relevante fragmenten te vinden.
Een AI-model synthetiseert de gevonden fragmenten tot een samenhangend antwoord. Het mag alleen feiten uit de aangeleverde bronnen gebruiken.
Elke bewering krijgt een bronverwijzing. Je klikt door naar het originele document om de context te controleren.
Onze bronnen
NeoDemos indexeert publiek beschikbare documenten van de Rotterdamse gemeenteraad via Open Raadsinformatie:
Documenttypen: moties, amendementen, notulen, begrotingen, commissieverslagen, jaarstukken, voorjaarsnota’s, collegebrieven en raadsinformatiebrieven.
AI-transparantie
- Relevante documentfragmenten selecteren op basis van de vraag
- Informatie uit meerdere bronnen samenvatten tot een coherent antwoord
- Bij elke bewering een bronverwijzing toevoegen
- Partijstandpunten en stemgedrag in context plaatsen
- Eigen meningen of waardeoordelen geven
- Informatie verzinnen die niet in de bronnen staat
- Documenten interpreteren buiten de feitelijke inhoud
- Persoonsgegevens van gebruikers opslaan of analyseren
Hoe goed het presteert
NeoDemos wordt continu geëvalueerd op drie kernmetrieken, getest tegen een benchmark van representatieve vragen:
Verwijst het antwoord naar de juiste brondocumenten?
Komt het antwoord overeen met wat er in de bronnen staat?
Dekt het antwoord alle relevante aspecten van de vraag?
Volledigheid is bewust lager: NeoDemos geeft liever een betrouwbaar deelantwoord dan een volledig maar onzeker antwoord. Verbetering hiervan is een actief ontwikkeldoel.
Stemovereenkomst tussen fracties
Wanneer NeoDemos toont hoe vaak twee fracties hetzelfde stemmen, is dat een gemeten getal uit de vastgelegde hoofdelijke en fractiestemmen — geen inschatting. De rekenwijze is bewust auditeerbaar.
- Overeenkomst (agreement). Het aandeel van de omstreden stemmingen (waar de fracties niet unaniem waren) waarbij fractie A en fractie B dezelfde kant kozen. Onthouding is een eigen categorie en wordt nooit met voor of tegen samengevoegd.
- Cohen’s κ (kappa). Dezelfde overeenkomst, maar gecorrigeerd voor toevallige samenloop. Bij fracties die bijna altijd voor stemmen kan een hoog ruw percentage misleiden; κ corrigeert daarvoor.
- Betrouwbaarheidsinterval (95%-BI). Elk getal komt met een bootstrap-interval. Een smal interval betekent veel gedeelde stemmen; een breed interval betekent weinig data — behandel dat getal met voorzichtigheid.
- Ondergrens. Onder een minimum aantal gedeelde stemmen tonen we géén percentage maar “onvoldoende gedeelde stemmen”. We extrapoleren nooit.
- Coalitie/oppositie is een label, geen aftrek. We tonen of een fractie op dat moment in de coalitie zat, maar we trekken nooit een “coalitie-verwachting” van het overeenkomstgetal af.
- Tegenperspectief gegarandeerd. Bij een fractie-gerichte zoekopdracht reserveert NeoDemos structureel enkele plekken voor een tegengesteld perspectief (oppositie), zodat het beeld niet eenzijdig wordt. Is er te weinig oppositiemateriaal, dan vullen we die plekken met neutrale bronnen en melden dat expliciet.
- Nooit in andermans stem. NeoDemos schrijft concept-teksten alleen op basis van de eigen fractie van de ingelogde gebruiker. Het schrijft nooit een concept in de stijl of naam van een andere partij.
Campagne-vriesperiode
In de zes weken vóór een verkiezing zet NeoDemos het genereren van concept-teksten (moties, amendementen, vragen, initiatiefvoorstellen) uit. Zoeken, citeren en analyseren blijven volledig beschikbaar. Zo voorkomen we dat het hulpmiddel in campagnetijd nieuwe politieke teksten schrijft — passend bij de terughoudendheid die de Europese AI-verordening voor verkiezingsbeïnvloeding vraagt.
Bekende beperkingen
- AI kan fouten maken. Controleer altijd het brondocument via de verwijzing — het model kan fragmenten verkeerd interpreteren of context missen.
- Niet alles is even goed doorzoekbaar. Sommige oudere documenten bevatten gescande pagina’s waarvan de tekst niet volledig is herkend.
- OCR-kwaliteit varieert. Documenten van vóór 2010 hebben soms lagere OCR-kwaliteit, wat de doorzoekbaarheid beïnvloedt.
- Geen real-time data. Er zit een vertraging van maximaal enkele uren tussen publicatie en beschikbaarheid in NeoDemos.
- Alleen Rotterdam. NeoDemos indexeert momenteel uitsluitend documenten van de Rotterdamse gemeenteraad.