Modelvalidatie

Een bruikbaar model moet meer doen dan geldige JSON produceren.

We toetsen afzonderlijk of Qwen3-4B LLM het gevraagde veld begrijpt, het bewijs werkelijk in de tekst staat en de uiteindelijke interpretatie overeenkomt met menselijke beoordeling.

Diagnostische benchmark6 / 6

Vooraf gelabelde testgevallen

Alle zes compacte, vooraf gelabelde testgevallen werden binnen die beperkte benchmark correct ingevuld; dit zegt niets over de foutkans op het volledige corpus.

Bewijscontrole100%

Letterlijk herleidbaar

In die kleine benchmark waren de citaten letterlijk terug te vinden. Vindbaarheid bewijst niet dat een modelscore inhoudelijk juist is.

Belangrijke beperkingKlein

Geen volledige validatie

Zes testgevallen zijn een technische controle, geen bewijs van betrouwbaarheid op duizenden echte berichten.

Validatieprotocol

Drie lagen vóór een inhoudelijke conclusie.

01 · Schema

Technische geldigheid

Alle verplichte velden, scoregrenzen en typen worden automatisch gecontroleerd. Afgekapt JSON wordt opnieuw gegenereerd.

02 · Bewijs

Herleidbaarheid

Exacte citaten worden na witruimtenormalisatie teruggezocht in de modelinvoer. Niet-herleidbaar bewijs verlaagt de kwaliteitsscore.

03 · Mens

Geblindeerde steekproef

Een vooraf getrokken steekproef krijgt handmatige labels zonder de latere koersuitkomst te tonen. Die vergelijking volgt na voltooiing.

Actuele verwerking

Validatie groeit mee met het corpus.

De volledige kwaliteitscijfers worden pas definitief wanneer beide datasets zijn verwerkt. Tussentijds publiceren we alleen de voortgang en het protocol.

Analyse actief

Verwerkt—

Fase—

Bijgewerkt—

Kwaliteit van de lopende extractie

Vier stappen, vier verschillende betekenissen.

1 · Technisch opgeslagen—

Berichten met een geldige, opgeslagen uitvoer.

2 · Automatische controle geslaagd—

Schema en interne kwaliteitsregels gehaald; geen menselijke goedkeuring.

3 · Citaten terugvindbaar—

Alle opgegeven bewijsfragmenten letterlijk in de invoer gevonden. Dit valideert niet de interpretatie.

4 · Tweede modelcontrole—

Aantal records opnieuw geanalyseerd door een tweede model. Dit is géén menselijke beoordeling.

Deze tussentijdse aantallen komen uit opgeslagen Qwen3-4B-records. De bewijsratio telt alleen of opgegeven citaten letterlijk vindbaar zijn. Een geblindeerde menselijke steekproef en voorspellende eindtest volgen nog; dit zijn geen nauwkeurigheidspercentages.

Wat nog openstaat

Geen eindlabel vóór de controles klaar zijn.

Mens-modelovereenkomst

Nog te berekenen na voltooiing van de geblindeerde steekproef.

Lopend

Stabiliteit per bedrijf en jaar

Nog te beoordelen op de oorspronkelijke én de replicatiedataset.

Lopend

Voorspellende meerwaarde

Pas beschikbaar na de onaangeraakte eindtest met rendementen.

Lopend