En Toprova, cada sitio pasa primero por tres agentes de IA y luego por tres miembros del jurado humanos. Solo cuentan las notas del jurado. A menudo nos preguntan por qué mantener las dos cosas. Esta es la respuesta.
Lo que hacen los agentes
Los tres agentes trabajan cada uno por su lado. El Agente Dirección de arte funciona con Claude Opus 5.5, el Agente Usabilidad con Claude Sonnet 5.5 y el Agente Creación con Claude Fable 5.2. Tres modelos distintos, tres enfoques distintos.
Ven las mismas capturas, anonimizadas. El sitio se llama S01 o S02, nunca por su nombre. Ningún agente ve las notas de los demás. El resultado es un preanálisis escrito que se entrega al jurado. Recoge lo que funciona, lo que chirría y las preguntas que hay que comprobar en el sitio real.
Lo que no ven
Un agente solo ve imágenes fijas. Le falta buena parte de lo que hace un sitio:
- las animaciones, las transiciones y su ritmo;
- el paso del ratón, el clic y el desplazamiento reales;
- la navegación de una página a otra, los menús, los formularios;
- la sensación de velocidad, o de lentitud, al usar el sitio.
La primera sesión lo dejó claro. De 16 sitios, los agentes no pudieron juzgar 8 a partir de las capturas. Cuatro se quedaban bloqueados en una pantalla de carga 3D, dos devolvían una página antibots y dos eran demasiado lentos para la captura. Una persona que abre el sitio espera, hace clic y ve lo que hay realmente detrás.
Por qué mantenerlos de todos modos
- No olvidar nada. El preanálisis repasa los mismos puntos en cada sitio. El miembro del jurado tiene una lista delante, incluso al final del día.
- Ayudar a la independencia. Los agentes no conocen ni el nombre del sitio ni el estudio que lo ha hecho. Su lectura no se deja influir por una reputación. El miembro del jurado puede contrastarla con su propia impresión.
- Cruzar miradas. Cuando los tres agentes no están de acuerdo, es una señal. El miembro del jurado sabe dónde mirar más de cerca.
El humano decide
Los miembros del jurado leen el preanálisis, luego abren el sitio real y puntúan a ojo el diseño, la usabilidad, la creatividad y el contenido. Sus notas sustituyen al preanálisis, no se suman a él. Si un agente se ha equivocado, su error no tiene ningún efecto en la puntuación.
La IA es una buena asistente de lectura. No es un miembro del jurado.