Toprova는 최고의 웹사이트에 상을 줘요. 결과가 의미 있으려면 모든 사이트가 같은 방식을 거쳐야 해요. 지름길도, 돈으로 산 순위도 없어요. 첫 테스트부터 게시까지 어떻게 진행되는지 소개할게요.
두 부분으로 이뤄진 10점 만점 점수
사이트의 최종 점수는 이렇게 계산해요. 80%는 심사위원단, 20%는 자동 측정에서 나와요. 즉 심사위원단의 비중이 기계보다 네 배 커요. 일부러 그렇게 했어요. 사이트가 아주 빨라도 아무에게도 아무것도 전하지 못할 수 있거든요. 측정은 심판이 아니라 안전장치예요.
10점 만점에 7.0점 미만인 사이트는 Toprova에 표시되지 않아요. 이 기준점은 누구에게나 같아요.
1단계: 측정
Toprova는 Google의 감사 도구인 Lighthouse를 데스크톱 프로필로 실행해요. 세 번 실행해서 중앙값을 사용하기 때문에, 비정상적으로 느리거나 빠른 한 번의 결과가 전체를 왜곡하지 않아요. 100점 만점 점수 세 가지를 반영해요.
- 속도, 즉 Lighthouse의 성능 점수
- 접근성
- 권장 사항
세 점수의 평균을 낸 뒤 10점 만점으로 환산해요. 이것이 점수의 ‘측정’ 부분이에요.
2단계: AI 에이전트 3개의 사전 분석
그다음 독립된 AI 에이전트 3개가 사이트를 살펴봐요. 아트 디렉션 에이전트는 Claude Opus 5.5, 사용성 에이전트는 Claude Sonnet 5.5, 크리에이티브 에이전트는 Claude Fable 5.2로 작동해요. 모두 익명 처리된 같은 캡처를 봐요. 사이트는 S01, S02처럼 불려요. 어떤 에이전트도 사이트 이름이나 다른 두 에이전트의 의견을 몰라요.
이 사전 분석은 점수에 반영되지 않아요. 심사위원의 작업을 준비하는 데만 쓰여요.
3·4단계: 심사위원 3명이 결정하고, 게시해요
사람 심사위원 3명이 사전 분석을 읽은 뒤 실제 사이트를 열어요. 둘러보고, 클릭하고, 스크롤하면서 눈으로 평가해요. 심사위원의 점수만 반영되며, 사전 분석을 완전히 대체해요. 심사위원은 각자 네 가지 기준을 1~10점으로 평가해요.
- 디자인: 40%
- 사용성: 30%
- 창의성: 20%
- 콘텐츠: 10%
점수는 그다음 베이지안 평균을 거쳐요. 구체적으로는 6.5점짜리 ‘기준’ 투표 3개를 더해요. 그래서 소수의 심사위원만 평가한 사이트는 6.5점 근처에 머물러요. 열광적인 의견 두세 개만으로 많은 심사위원이 평가한 사이트를 앞지를 수 없어요. 점수가 계산되면 사이트는 Toprova 인증 도장과 함께 게시돼요.
변하지 않는 규칙
- 누구도 순위를 살 수 없어요. 사이트 제출에는 심사 비용 9.90 CHF가 들어요. 사이트가 탈락해도 환불되지 않으며, 점수를 올려 주지도 않아요.
- 심사위원은 자기 스튜디오나 고객의 사이트를 절대 평가하지 않아요.
- Toprova 운영자도 순위에 오를 수 있지만, 그 사이트는 예외 없이 같은 심사위원단이 블라인드로 평가해요.
- 계정 보유자가 1~10점으로 매기는 일반 평점은 따로 표시돼요. 점수에는 절대 반영되지 않아요.
기계는 측정하고, AI는 준비하고, 사람은 결정해요.