De Uitdaging
De wetenschappelijke afdeling van het LUMC academisch ziekenhuis beoordeelt artikelen voor wetenschappelijke tijdschriften. Voor veel artikelen bestaan strikte checklists zoals STROBE-MR waar aan voldaan moet worden. Veel ingediende artikelen hebben gebreken, waardoor beoordelaars veel tijd kwijt zijn aan repetitieve screening van artikelen die simpelweg nog niet voldoen aan de basiskwaliteit. Dit proces kost niet alleen veel tijd, het is ook saai en repetitief werk. Precies het soort werk waar AI goed in is.
De Oplossing
Ik heb een AI-tool ontwikkeld die checklists automatisch toepast op ingediende artikelen. Voor elk punt in de checklist zijn criteria gedefinieerd om artikelen te beoordelen op een schaal van 1 tot 5.
-
Gestructureerde beoordelingscriteria
Per checklistpunt zijn duidelijke criteria gedefinieerd voor consistente beoordeling.
-
LLM-analyse met onderbouwing
Voor elk criterium genereert het systeem een score (1-5) met uitgebreide onderbouwing.
-
Benchmarking en evaluatie
Met "evals" (evaluatie checks) en prompt engineering garantie op betrouwbare output.
-
Directe, concrete feedback
Auteurs en reviewers zien direct waar verbeterpunten liggen en waarom.
De kracht zit in de aanpak
Een valkuil van AI is om blind te vertrouwen in de uitkomst. Klakkeloos een PDF van het artikel in GPT gooien en hopen op kwaliteit is een risico dat je als organisatie niet wilt lopen. Met behulp van benchmarking, AI prompt engineering en "evals" (controle checks) lever ik een garantie over het geleverde eindproduct. Daarmee heeft u een goed werkend product waar u op kunt vertrouwen, en dat meer is dan gewoon GPT gebruiken.
Het Resultaat
Artikelen van lage kwaliteit worden er snel uitgevist door de snelle, geautomatiseerde screening. Dit levert aanzienlijke tijdwinst op: beoordelaars kunnen zich bezighouden met zaken die interessanter en minder repetitief zijn. Auteurs krijgen snellere en consistente feedback, wat het hele beoordelingsproces versnelt.
AI kan vaak goed worden toegepast waar processen repetitief en saai zijn. Daarmee kunnen werknemers minder tijd spenderen aan saaie taken en houden ze meer over voor waar ze goed in zijn.