В Toprova каждый сайт сначала проходит перед тремя ИИ-агентами, затем перед тремя живыми членами жюри. Учитываются только оценки членов жюри. Нас часто спрашивают, зачем оставлять и тех, и других. Вот ответ.
Что делают агенты
Все трое агентов работают каждый сам по себе. Агент «Арт-дирекция» работает на Claude Opus 5.5, агент «Удобство» — на Claude Sonnet 5.5, агент «Креатив» — на Claude Fable 5.2. Три разные модели, три разных взгляда.
Они видят одни и те же обезличенные снимки. Сайт называется S01 или S02, но никогда по имени. Ни один агент не видит оценок других. Результат — письменный предварительный анализ, передаваемый членам жюри. В нём отмечено, что работает, что цепляет, и вопросы, которые стоит проверить на настоящем сайте.
Чего они не видят
Агент видит только неподвижные картинки. Ему недостаёт значительной части того, из чего состоит сайт:
- анимаций, переходов и их ритма;
- настоящего наведения, клика и прокрутки;
- навигации между страницами, меню, форм;
- ощущения скорости или медлительности, когда пользуешься сайтом.
Первая сессия показала это совершенно ясно. Из 16 сайтов агенты не смогли оценить 8 по снимкам. Четыре застряли на экране загрузки 3D, два выдали антиботовую страницу, два были слишком медленными для съёмки. Человек, который открывает сайт, ждёт, кликает и видит, что на самом деле за ним стоит.
Зачем их всё-таки оставлять
- Ничего не упустить. Предварительный анализ проходит по одним и тем же пунктам для каждого сайта. У члена жюри перед глазами список, даже в конце рабочего дня.
- Помогать независимости. Агенты не знают ни названия сайта, ни студии, которая его сделала. На их прочтение не влияет репутация. Член жюри может сопоставить его со своим впечатлением.
- Сверять взгляды. Когда трое агентов не согласны, это сигнал. Член жюри знает, куда присмотреться.
Решает человек
Члены жюри читают предварительный анализ, затем открывают настоящий сайт и оценивают на глаз дизайн, удобство, креативность и содержание. Их оценки заменяют предварительный анализ, а не складываются с ним. Если агент ошибся, его ошибка никак не влияет на оценку.
ИИ — хороший помощник в чтении. Он не член жюри.