A Toprovánál minden oldal először három MI-ügynök elé kerül, majd három emberi zsűritag elé. Csak a zsűritagok pontszámai számítanak. Gyakran kérdezik tőlünk, miért tartjuk meg mindkettőt. Itt a válasz.
Mit csinálnak az ügynökök
A három ügynök egymástól függetlenül dolgozik. A Művészeti vezetés ügynök a Claude Opus 5.5-ön fut, a Használhatóság ügynök a Claude Sonnet 5.5-ön, a Kreativitás ügynök a Claude Fable 5.2-n. Három különböző modell, három különböző nézőpont.
Ugyanazokat az anonimizált képernyőképeket látják. Az oldal neve S01 vagy S02, soha nem a valódi neve. Egyik ügynök sem látja a többiek pontszámait. Az eredmény egy írásos előelemzés, amelyet a zsűritagok kapnak meg. Kiemeli, mi működik, mi ragadja meg az embert, és milyen kérdéseket kell ellenőrizni az igazi oldalon.
Mit nem látnak
Az ügynök csak állóképeket lát. Hiányzik neki az, ami egy oldalt oldallá tesz:
- az animációk, az átmenetek és a ritmusuk;
- a valódi rámutatás, kattintás és görgetés;
- az oldalról oldalra való navigáció, a menük, az űrlapok;
- a sebesség, vagy a lassúság érzete, amikor használjuk az oldalt.
Az első ülés ezt világosan megmutatta. A 16 oldalból az ügynökök 8-at nem tudtak megítélni a képernyőképek alapján. Négy egy 3D-s betöltőképernyőn ragadt, kettő robotellenes oldalt adott vissza, kettő túl lassú volt a rögzítéshez. Az ember, aki megnyitja az oldalt, vár, kattint, és látja, mi van valójában mögötte.
Miért tartjuk meg mégis őket
- Semmit sem felejteni. Az előelemzés minden oldalnál ugyanazokat a pontokat veszi sorra. A zsűritag egy listát lát maga előtt, a nap végén is.
- Segíteni a függetlenséget. Az ügynökök nem ismerik sem az oldal nevét, sem a készítő stúdiót. Az olvasatukat nem befolyásolja a hírnév. A zsűritag szembesítheti a saját benyomásával.
- Keresztezni a nézőpontokat. Ha a három ügynök nem ért egyet, az jelzés. A zsűritag tudja, hova nézzen közelebbről.
Az ember dönt
A zsűritagok elolvassák az előelemzést, majd megnyitják az igazi oldalt, és szemre pontozzák a dizájnt, a használhatóságot, a kreativitást és a tartalmat. A pontszámaik felváltják az előelemzést, nem hozzáadódnak. Ha egy ügynök tévedett, a tévedése semmilyen hatással nincs a pontszámra.
Az MI jó olvasássegéd. Nem zsűritag.