У Toprova кожен сайт спершу проходить перед трьома агентами ШІ, а потім перед трьома членами журі — людьми. Враховуються лише оцінки членів журі. Нас часто питають, чому ми залишаємо обидва етапи. Ось відповідь.

Що роблять агенти

Троє агентів працюють кожен окремо. Агент «Арт-дирекція» працює на Claude Opus 5.5, агент «Зручність» — на Claude Sonnet 5.5, агент «Креативність» — на Claude Fable 5.2. Три різні моделі, три різні кути зору.

Вони бачать ті самі знімки, знеособлені. Сайт називається S01 або S02, ніколи — своєю назвою. Жоден агент не бачить оцінок інших. Результат — письмовий попередній аналіз, який передають членам журі. У ньому зазначено, що працює, що чіпляє, і запитання, які варто перевірити на справжньому сайті.

Чого вони не бачать

Агент бачить лише нерухомі зображення. Йому бракує значної частини того, з чого складається сайт:

  • анімацій, переходів та їхнього ритму;
  • справжнього наведення, кліку й прокручування;
  • навігації від сторінки до сторінки, меню, форм;
  • відчуття швидкості чи повільності, коли користуєшся сайтом.

Перша сесія це чітко показала. З 16 сайтів агенти не змогли оцінити 8 за знімками. Чотири застрягли на екрані завантаження 3D, два повертали антиботову сторінку, два були надто повільними для захоплення. Людина, що відкриває сайт, чекає, клікає і бачить, що там насправді.

Чому їх усе ж залишати

  • Нічого не забути. Попередній аналіз перебирає ті самі пункти для кожного сайту. Член журі має перед очима перелік, навіть наприкінці дня.
  • Допомагати незалежності. Агенти не знають ні назви сайту, ні студії, яка його зробила. На їхнє прочитання не впливає репутація. Член журі може порівняти його зі своїм враженням.
  • Перехрещувати погляди. Коли троє агентів не згодні, це сигнал. Член журі знає, куди придивитися уважніше.

Людина вирішує

Члени журі читають попередній аналіз, а потім відкривають справжній сайт і оцінюють на око дизайн, зручність, креативність і вміст. Їхні оцінки замінюють попередній аналіз, а не додаються до нього. Якщо агент помилився, його помилка не впливає на оцінку.

ШІ — добрий помічник у читанні. Він не член журі.