Toprovaでは、各サイトはまず3つのAIエージェントの前を通り、次に3人の人間の審査員の前を通ります。数えるのは審査員の点数だけです。なぜ両方を残すのか、とよく聞かれます。その答えを説明します。

エージェントがすること

3つのエージェントは、それぞれ独立して作業します。アートディレクション担当エージェントはClaude Opus 5.5、使いやすさ担当エージェントはClaude Sonnet 5.5、創造性担当エージェントはClaude Fable 5.2で動いています。3つの異なるモデル、3つの異なる視点です。

全員が同じ匿名化されたキャプチャを見ます。サイトはS01やS02と呼ばれ、名前で呼ばれることはありません。どのエージェントも、ほかのエージェントの点数を見ません。その結果が、審査員に渡される文書の事前分析です。うまくいっている点、引っかかる点、実際のサイトで確かめるべき問いを挙げます。

エージェントに見えないもの

エージェントが見るのは静止画だけです。サイトを形づくるものの多くが欠けています。

  • アニメーション、トランジション、そのリズム。
  • 実際のホバー、クリック、スクロール。
  • ページ間の移動、メニュー、フォーム。
  • サイトを使ったときの速さ、または遅さの感覚。

最初の審査回で、それがはっきりしました。16サイトのうち8サイトは、エージェントがキャプチャから判断できませんでした。4サイトは3Dの読み込み画面で止まったまま、2サイトはボット対策のページを返し、2サイトはキャプチャには遅すぎました。サイトを開いた人間は待ち、クリックし、その奥に本当にあるものを見ます。

それでもエージェントを残す理由

  • 見落としを防ぐ。事前分析は、すべてのサイトで同じ点を確認します。一日の終わりでも、審査員の手元にはチェックリストがあります。
  • 独立性を助ける。エージェントは、サイト名も制作したスタジオも知りません。その読み取りは評判に左右されません。審査員は、それを自分の印象と照らし合わせられます。
  • 視点を突き合わせる。3つのエージェントの意見が分かれたら、それはサインです。審査員は、どこをよく見るべきかがわかります。

決めるのは人間

審査員は事前分析を読み、実際のサイトを開いて、デザイン、使いやすさ、創造性、コンテンツを自分の目で採点します。審査員の点数は事前分析に置き換わるもので、足し合わされるものではありません。エージェントが間違えても、その誤りはスコアに一切影響しません。

AIは優れた読解のアシスタントです。審査員ではありません。