Bei Toprova durchläuft jede Website zuerst drei KI-Agenten, danach drei menschliche Jurymitglieder. Nur die Noten der Jury zählen. Oft werden wir gefragt, warum wir beides behalten. Hier ist die Antwort.
Was die Agenten tun
Die drei Agenten arbeiten jeder für sich. Der Agent Art Direction läuft auf Claude Opus 5.5, der Agent Ergonomie auf Claude Sonnet 5.5, der Agent Kreation auf Claude Fable 5.2. Drei verschiedene Modelle, drei verschiedene Blickwinkel.
Sie sehen dieselben anonymisierten Screenshots. Die Website heisst S01 oder S02, nie bei ihrem Namen. Kein Agent sieht die Noten der anderen. Das Ergebnis ist eine schriftliche Voranalyse, die an die Jury geht. Sie hält fest, was funktioniert, wo es hakt und welche Fragen auf der echten Website zu prüfen sind. Sie hält fest, was funktioniert, wo es hakt und welche Fragen auf der echten Website zu prüfen sind.
Was sie nicht sehen
Ein Agent sieht nur Standbilder. Ihm fehlt ein guter Teil dessen, was eine Website ausmacht:
- Animationen, Übergänge und ihr Rhythmus;
- echtes Hovern, Klicken und Scrollen;
- die Navigation von Seite zu Seite, Menüs, Formulare;
- das Gefühl von Tempo, oder von Trägheit, bei der Nutzung.
Die erste Session hat das deutlich gezeigt. Von 16 Websites konnten die Agenten 8 anhand der Screenshots nicht beurteilen. Vier blieben auf einem 3D-Ladebildschirm hängen, zwei lieferten eine Anti-Bot-Seite, zwei waren für die Aufnahme zu langsam. Ein Mensch, der die Website öffnet, wartet, klickt und sieht, was wirklich dahintersteckt.
Warum wir sie trotzdem behalten
- Nichts vergessen. Die Voranalyse geht bei jeder Website dieselben Punkte durch. Das Jurymitglied hat eine Liste vor Augen, auch am Ende eines langen Tages.
- Unabhängigkeit stärken. Die Agenten kennen weder den Namen der Website noch das Studio dahinter. Ihre Lektüre wird nicht von einem Ruf beeinflusst. Das Jurymitglied kann sie mit dem eigenen Eindruck vergleichen.
- Blicke kreuzen. Wenn die drei Agenten sich nicht einig sind, ist das ein Signal. Das Jurymitglied weiss, wo es genauer hinschauen soll.
Der Mensch entscheidet
Die Jurymitglieder lesen die Voranalyse, öffnen dann die echte Website und bewerten mit eigenen Augen Design, Ergonomie, Kreativität und Inhalt. Ihre Noten ersetzen die Voranalyse, sie kommen nicht dazu. Hat sich ein Agent geirrt, hat sein Irrtum keinerlei Einfluss auf die Note.
Die KI ist eine gute Lesehilfe. Ein Jurymitglied ist sie nicht.