Di Toprova, setiap laman web melalui tiga ejen AI dahulu, kemudian tiga juri manusia. Hanya markah juri yang dikira. Kami kerap ditanya mengapa mengekalkan kedua-duanya. Inilah jawapannya.
Apa yang dilakukan oleh ejen
Ketiga-tiga ejen bekerja sendiri-sendiri. Ejen Arahan seni berjalan dengan Claude Opus 5.5, Ejen Kebolehgunaan dengan Claude Sonnet 5.5 dan Ejen Kreativiti dengan Claude Fable 5.2. Tiga model yang berbeza, tiga pendekatan yang berbeza.
Mereka melihat tangkapan yang sama, dinyahkenalkan. Laman web dinamakan S01 atau S02, tidak pernah dengan namanya. Tiada ejen melihat markah yang lain. Hasilnya ialah pra-analisis bertulis yang diserahkan kepada juri. Ia merekodkan apa yang berfungsi, apa yang janggal dan soalan yang perlu disemak pada laman web sebenar.
Apa yang tidak dilihatnya
Ejen hanya melihat imej pegun. Ia kehilangan sebahagian besar daripada apa yang menjadikan sesebuah laman web:
- animasi, peralihan dan iramanya;
- tetikus yang melalui, klik dan tatalan yang sebenar;
- navigasi dari halaman ke halaman, menu, borang;
- perasaan kelajuan, atau kelambatan, semasa menggunakan laman web.
Sesi pertama menjelaskannya. Daripada 16 laman web, ejen tidak dapat menilai 8 daripada tangkapan. Empat tersekat pada skrin pemuatan 3D, dua mengembalikan halaman anti-bot dan dua terlalu perlahan untuk ditangkap. Seorang manusia yang membuka laman web menunggu, mengklik dan melihat apa yang sebenarnya ada di sebaliknya.
Mengapa tetap mengekalkannya
- Tidak melupakan apa-apa. Pra-analisis menyemak perkara yang sama pada setiap laman web. Juri mempunyai senarai di hadapannya, walaupun pada penghujung hari.
- Membantu kebebasan. Ejen tidak mengetahui nama laman web atau studio yang membuatnya. Bacaan mereka tidak terpengaruh oleh reputasi. Juri boleh membandingkannya dengan tanggapannya sendiri.
- Menyilangkan pandangan. Apabila ketiga-tiga ejen tidak sependapat, itu satu isyarat. Juri tahu di mana untuk melihat dengan lebih teliti.
Manusia memutuskan
Para juri membaca pra-analisis, kemudian membuka laman web sebenar dan menilai reka bentuk, kebolehgunaan, kreativiti dan kandungan dengan mata sendiri. Markah mereka menggantikan pra-analisis, tidak ditambah kepadanya. Jika seorang ejen tersilap, kesilapannya tidak mempunyai sebarang kesan pada skor.
AI ialah pembantu bacaan yang baik. Ia bukan seorang juri.