Bij Toprova komt elke website eerst langs drie AI-agents, en dan langs drie menselijke juryleden. Alleen de cijfers van de juryleden tellen. Er wordt ons vaak gevraagd waarom we beide houden. Hier is het antwoord.
Wat de agents doen
De drie agents werken elk apart. De Agent Art direction draait op Claude Opus 5.5, de Agent Gebruiksgemak op Claude Sonnet 5.5, de Agent Creatie op Claude Fable 5.2. Drie verschillende modellen, drie verschillende invalshoeken.
Ze zien dezelfde, geanonimiseerde schermafbeeldingen. De website heet S01 of S02, nooit bij zijn naam. Geen enkele agent ziet de cijfers van de anderen. Het resultaat is een geschreven voorafgaande analyse, die aan de juryleden wordt overhandigd. Ze noteert wat werkt, wat pakt, en de vragen om op de echte website te controleren.
Wat ze niet zien
Een agent ziet alleen stilstaande beelden. Er ontbreekt een flink deel van wat een website maakt:
- de animaties, de overgangen en hun ritme;
- echte hover, klik en scroll;
- de navigatie van pagina naar pagina, de menu’s, de formulieren;
- het gevoel van snelheid, of traagheid, wanneer je de website gebruikt.
De eerste sessie liet dat duidelijk zien. Van 16 websites konden de agents er 8 niet beoordelen op basis van de schermafbeeldingen. Vier bleven steken op een 3D-laadscherm, twee gaven een anti-botpagina terug, twee waren te traag voor de capture. Een mens die de website opent, wacht, klikt en ziet wat er echt achter zit.
Waarom we ze toch houden
- Niets vergeten. De voorafgaande analyse loopt bij elke website dezelfde punten na. Het jurylid heeft een lijst voor zich, ook aan het einde van de dag.
- Onafhankelijkheid helpen bewaren. De agents kennen noch de naam van de website, noch de studio die hem heeft gemaakt. Hun lezing wordt niet beïnvloed door een reputatie. Het jurylid kan haar naast de eigen indruk leggen.
- Blikken kruisen. Als de drie agents het niet eens zijn, is dat een signaal. Het jurylid weet waar het van dichterbij moet kijken.
De mens beslist
De juryleden lezen de voorafgaande analyse, openen dan de echte website en beoordelen op het oog design, gebruiksgemak, creativiteit en inhoud. Hun cijfers vervangen de voorafgaande analyse, ze komen er niet bovenop. Als een agent zich heeft vergist, heeft zijn fout geen enkel effect op de score.
AI is een goede leesassistent. Ze is geen jurylid.