Toprova에서는 모든 사이트가 먼저 AI 에이전트 3개를 거친 뒤 사람 심사위원 3명 앞에 서요. 심사위원의 점수만 반영돼요. 왜 둘 다 두느냐는 질문을 자주 받아요. 그 답을 정리했어요.

에이전트가 하는 일

세 에이전트는 각자 따로 작업해요. 아트 디렉션 에이전트는 Claude Opus 5.5, 사용성 에이전트는 Claude Sonnet 5.5, 크리에이티브 에이전트는 Claude Fable 5.2로 작동해요. 서로 다른 세 모델, 서로 다른 세 관점이에요.

에이전트는 익명 처리된 같은 캡처를 봐요. 사이트는 이름이 아니라 S01이나 S02로 불려요. 어떤 에이전트도 다른 에이전트의 점수를 보지 못해요. 결과물은 심사위원에게 전달되는 서면 사전 분석이에요. 잘 작동하는 점, 걸리는 점, 실제 사이트에서 확인할 질문을 짚어 줘요.

에이전트가 보지 못하는 것

에이전트는 정지된 이미지만 봐요. 사이트를 이루는 것 중 상당 부분을 놓쳐요.

  • 애니메이션, 전환 효과, 그 리듬
  • 실제 호버, 클릭, 스크롤
  • 페이지 간 이동, 메뉴, 양식
  • 사이트를 쓸 때 느껴지는 빠르기나 느림

첫 번째 세션에서 이 점이 분명히 드러났어요. 사이트 16개 중 8개는 에이전트가 캡처만으로 평가할 수 없었어요. 4개는 3D 로딩 화면에 멈춰 있었고, 2개는 봇 차단 페이지를 보여 줬고, 2개는 캡처하기에 너무 느렸어요. 사람은 사이트를 열고 기다리고 클릭하면서 그 뒤에 실제로 무엇이 있는지 봐요.

그래도 에이전트를 두는 이유

  • 빠뜨리지 않기. 사전 분석은 모든 사이트에서 같은 항목을 검토해요. 심사위원은 하루가 끝날 무렵에도 체크리스트를 눈앞에 두고 볼 수 있어요.
  • 독립성 돕기. 에이전트는 사이트 이름도, 만든 스튜디오도 몰라요. 평판에 영향을 받지 않고 읽어요. 심사위원은 이를 자기 인상과 비교해 볼 수 있어요.
  • 여러 시선 교차하기. 세 에이전트의 의견이 엇갈리면 그 자체가 신호예요. 심사위원은 어디를 더 자세히 봐야 할지 알게 돼요.

결정은 사람이 해요

심사위원은 사전 분석을 읽은 뒤 실제 사이트를 열고 디자인, 사용성, 창의성, 콘텐츠를 눈으로 평가해요. 심사위원의 점수는 사전 분석에 더해지는 것이 아니라 대체해요. 에이전트가 틀렸더라도 그 오류는 점수에 전혀 영향을 주지 않아요.

AI는 좋은 읽기 도우미예요. 심사위원은 아니에요.