Di Toprova, setiap situs lebih dulu melewati tiga agen AI, lalu tiga juri manusia. Hanya nilai para juri yang dihitung. Kami sering ditanya mengapa keduanya dipertahankan. Inilah jawabannya.
Apa yang dilakukan para agen
Ketiga agen bekerja sendiri-sendiri. Agen Arahan Artistik berjalan di Claude Opus 5.5, Agen Kemudahan Penggunaan di Claude Sonnet 5.5, Agen Kreasi di Claude Fable 5.2. Tiga model yang berbeda, tiga sudut pandang yang berbeda.
Mereka melihat tangkapan layar yang sama, yang dianonimkan. Situsnya bernama S01 atau S02, tidak pernah dengan namanya. Tidak ada agen yang melihat nilai agen lain. Hasilnya adalah pra-analisis tertulis, yang diserahkan kepada para juri. Isinya mencatat apa yang berfungsi, apa yang menarik perhatian, dan pertanyaan yang perlu diperiksa pada situs yang sebenarnya.
Apa yang tidak mereka lihat
Seorang agen hanya melihat gambar diam. Ia kehilangan sebagian besar dari apa yang membentuk sebuah situs:
- animasi, transisi, dan iramanya;
- sorotan, klik, dan gulir yang sebenarnya;
- navigasi dari satu halaman ke halaman lain, menu, formulir;
- rasa cepat, atau lambat, saat memakai situs.
Sesi pertama menunjukkannya dengan jelas. Dari 16 situs, para agen tidak bisa menilai 8 di antaranya dari tangkapan layar. Empat tetap tertahan di layar pemuatan 3D, dua mengembalikan halaman anti-robot, dua terlalu lambat untuk ditangkap. Manusia yang membuka situs akan menunggu, mengklik, dan melihat apa yang sebenarnya ada di baliknya.
Mengapa tetap dipertahankan
- Tidak melewatkan apa pun. Pra-analisis meninjau hal-hal yang sama untuk setiap situs. Juri punya daftar di depan matanya, bahkan di akhir hari.
- Membantu independensi. Para agen tidak mengetahui nama situs maupun studio pembuatnya. Pembacaan mereka tidak dipengaruhi reputasi. Juri bisa membandingkannya dengan kesannya sendiri.
- Menyilangkan pandangan. Ketika ketiga agen tidak sepakat, itu sebuah sinyal. Juri tahu di mana harus melihat lebih dekat.
Manusia yang memutuskan
Para juri membaca pra-analisis, lalu membuka situs yang sebenarnya dan menilai desain, kemudahan penggunaan, kreativitas, dan konten dengan mata sendiri. Nilai mereka menggantikan pra-analisis, bukan ditambahkan padanya. Kalau seorang agen keliru, kesalahannya tidak berpengaruh pada skor.
AI adalah asisten membaca yang baik. Ia bukan juri.