Cắt một tập dữ liệu thành nhóm con này đến nhóm con khác cho đến khi cơ hội trao cho bạn p < 0,05 — sau đó xem một mẫu mới để quyết định xem phát hiện của bạn là thật hay chỉ là ngẫu nhiên.
Việc xử lý không có tác dụng thực sự nên bất kỳ ý nghĩa nào bạn tìm thấy đều chỉ là tiếng ồn. Lọc dữ liệu thành các nhóm con và chạy lại thử nghiệm bao nhiêu lần tùy thích để đạt được giá trị p dưới 0,05, sau đó gửi 'phát hiện' của bạn cho trọng tài. Điểm mấu chốt: kiểm tra sao chép sẽ rút ra một mẫu độc lập mới và kiểm tra lại tuyên bố chính xác của bạn. Hiệu ứng thực sự tồn tại; p-hacks biến mất - và khoảng cách đó là toàn bộ bài học.
Cherry Picker nói về hack p, so sánh nhiều lần và tại sao việc sao chép lại quan trọng - tính toàn vẹn của số liệu thống kê.
Lọc thành các nhóm con và chạy lại kiểm định cho đến khi có thứ gì đó có ý nghĩa thống kê là nạo vét dữ liệu — p-hacking: thực hiện nhiều kiểm định và chỉ báo cáo những kiểm định cho kết quả có ý nghĩa.
Thiết kế độc đáo là phương pháp điều trị không có tác dụng thực sự, nên mọi kết quả bạn tìm thấy đều là nhiễu theo cách dựng sẵn.
Đó là cách trung thực duy nhất để dạy điều này. Nói một cách trừu tượng, p-hacking nghe như gian lận mà một người cẩn thận sẽ không bao giờ làm; thực hiện nó trên dữ liệu chắc chắn rỗng cho thấy ý nghĩa thống kê xuất hiện dễ dàng thế nào, và đây là vấn đề so sánh bội chứ không phải một khiếm khuyết tính cách.
Cherry Picker là một trò chơi thống kê về hack p, so sánh nhiều lần và tại sao việc sao chép lại quan trọng. Đây là một trò chơi trình duyệt miễn phí nguyên bản được xây dựng cho PlayPendium.