У Toprova кожен сайт спершу проходить перед трьома агентами ШІ, а потім перед трьома членами журі — людьми. Враховуються лише оцінки членів журі. Нас часто питають, чому ми залишаємо обидва етапи. Ось відповідь.
Що роблять агенти
Троє агентів працюють кожен окремо. Агент «Арт-дирекція» працює на Claude Opus 5.5, агент «Зручність» — на Claude Sonnet 5.5, агент «Креативність» — на Claude Fable 5.2. Три різні моделі, три різні кути зору.
Вони бачать ті самі знімки, знеособлені. Сайт називається S01 або S02, ніколи — своєю назвою. Жоден агент не бачить оцінок інших. Результат — письмовий попередній аналіз, який передають членам журі. У ньому зазначено, що працює, що чіпляє, і запитання, які варто перевірити на справжньому сайті.
Чого вони не бачать
Агент бачить лише нерухомі зображення. Йому бракує значної частини того, з чого складається сайт:
- анімацій, переходів та їхнього ритму;
- справжнього наведення, кліку й прокручування;
- навігації від сторінки до сторінки, меню, форм;
- відчуття швидкості чи повільності, коли користуєшся сайтом.
Перша сесія це чітко показала. З 16 сайтів агенти не змогли оцінити 8 за знімками. Чотири застрягли на екрані завантаження 3D, два повертали антиботову сторінку, два були надто повільними для захоплення. Людина, що відкриває сайт, чекає, клікає і бачить, що там насправді.
Чому їх усе ж залишати
- Нічого не забути. Попередній аналіз перебирає ті самі пункти для кожного сайту. Член журі має перед очима перелік, навіть наприкінці дня.
- Допомагати незалежності. Агенти не знають ні назви сайту, ні студії, яка його зробила. На їхнє прочитання не впливає репутація. Член журі може порівняти його зі своїм враженням.
- Перехрещувати погляди. Коли троє агентів не згодні, це сигнал. Член журі знає, куди придивитися уважніше.
Людина вирішує
Члени журі читають попередній аналіз, а потім відкривають справжній сайт і оцінюють на око дизайн, зручність, креативність і вміст. Їхні оцінки замінюють попередній аналіз, а не додаються до нього. Якщо агент помилився, його помилка не впливає на оцінку.
ШІ — добрий помічник у читанні. Він не член журі.