Trên Toprova, mỗi trang web trước hết đi qua ba tác tử AI rồi đến ba giám khảo là người thật. Chỉ điểm của ban giám khảo được tính. Chúng tôi thường được hỏi vì sao giữ cả hai. Đây là câu trả lời.
Các tác tử làm gì
Ba tác tử mỗi tác tử làm việc riêng. Tác tử Chỉ đạo nghệ thuật chạy bằng Claude Opus 5.5, Tác tử Trải nghiệm sử dụng bằng Claude Sonnet 5.5 và Tác tử Sáng tạo bằng Claude Fable 5.2. Ba mô hình khác nhau, ba cách tiếp cận khác nhau.
Chúng thấy cùng những ảnh chụp đã được ẩn danh. Trang web được gọi là S01 hay S02, không bao giờ bằng tên của nó. Không tác tử nào thấy điểm của các tác tử khác. Kết quả là một bản phân tích sơ bộ bằng văn bản được chuyển cho ban giám khảo. Nó ghi lại những gì hoạt động tốt, những gì chưa ổn và những câu hỏi cần kiểm tra trên trang web thật.
Những gì chúng không thấy
Một tác tử chỉ thấy các hình ảnh tĩnh. Nó thiếu một phần lớn những gì làm nên một trang web:
- các hoạt ảnh, các chuyển tiếp và nhịp điệu của chúng;
- việc rê chuột, nhấp và cuộn thật sự;
- việc điều hướng từ trang này sang trang khác, các menu, các biểu mẫu;
- cảm giác nhanh, hay chậm, khi dùng trang web.
Phiên đầu tiên đã cho thấy rõ điều đó. Trong 16 trang web, các tác tử không thể đánh giá 8 trang từ các ảnh chụp. Bốn trang bị kẹt ở một màn hình tải 3D, hai trang trả về một trang chống bot và hai trang quá chậm để chụp. Một con người mở trang web sẽ chờ, nhấp và thấy thực sự có gì phía sau.
Vì sao vẫn giữ chúng
- Không bỏ sót gì. Phần phân tích sơ bộ rà soát cùng những điểm trên mỗi trang web. Giám khảo có sẵn một danh sách trước mặt, kể cả vào cuối ngày.
- Giúp giữ tính độc lập. Các tác tử không biết cả tên trang web lẫn studio làm ra nó. Cách đọc của chúng không bị danh tiếng ảnh hưởng. Giám khảo có thể đối chiếu nó với ấn tượng của chính mình.
- Đối chiếu các góc nhìn. Khi cả ba tác tử không đồng ý, đó là một tín hiệu. Giám khảo biết nên nhìn kỹ ở đâu.
Con người quyết định
Các giám khảo đọc phần phân tích sơ bộ, rồi mở trang web thật và chấm bằng mắt thiết kế, trải nghiệm sử dụng, sáng tạo và nội dung. Điểm của họ thay thế phần phân tích sơ bộ, không cộng thêm vào nó. Nếu một tác tử đã sai, lỗi của nó không có bất kỳ ảnh hưởng nào đến điểm số.
AI là một trợ lý đọc tốt. Nó không phải là một giám khảo.