Na Toprova, cada site passa primeiro por três agentes de IA e depois por três jurados humanos. Só contam as notas dos jurados. Perguntam-nos muitas vezes porque mantemos os dois. Eis a resposta.
O que fazem os agentes
Os três agentes trabalham cada um por si. O Agente Direção de Arte funciona com o Claude Opus 5.5, o Agente Usabilidade com o Claude Sonnet 5.5 e o Agente Criação com o Claude Fable 5.2. Três modelos diferentes, três ângulos diferentes.
Veem as mesmas capturas, anonimizadas. O site chama-se S01 ou S02, nunca pelo seu nome. Nenhum agente vê as notas dos outros. O resultado é uma pré-análise escrita, entregue aos jurados. Assinala o que funciona, o que cativa e as questões a verificar no site verdadeiro.
O que não veem
Um agente só vê imagens fixas. Falta-lhe boa parte do que faz um site:
- as animações, as transições e o seu ritmo;
- o passar do rato, o clique e o deslocamento reais;
- a navegação de uma página para outra, os menus, os formulários;
- a sensação de velocidade, ou de lentidão, quando se usa o site.
A primeira sessão mostrou-o claramente. Em 16 sites, os agentes não conseguiram avaliar 8 a partir das capturas. Quatro ficavam bloqueados num ecrã de carregamento 3D, dois devolviam uma página antirrobôs e dois eram demasiado lentos para a captura. Um humano que abre o site espera, clica e vê o que realmente existe por trás.
Porque os manter mesmo assim
- Não esquecer nada. A pré-análise passa em revista os mesmos pontos para cada site. O jurado tem uma lista diante dos olhos, mesmo ao fim do dia.
- Ajudar à independência. Os agentes não conhecem nem o nome do site nem o estúdio que o fez. A sua leitura não é influenciada por uma reputação. O jurado pode confrontá-la com a sua própria impressão.
- Cruzar olhares. Quando os três agentes não concordam, é um sinal. O jurado sabe onde olhar mais de perto.
O humano decide
Os jurados leem a pré-análise e depois abrem o site verdadeiro e avaliam a olho o design, a usabilidade, a criatividade e o conteúdo. As suas notas substituem a pré-análise, não se lhe somam. Se um agente se enganou, o seu erro não tem qualquer efeito na pontuação.
A IA é uma boa assistente de leitura. Não é um jurado.