Quy luật số lớn

Khi một phép thử ngẫu nhiên được lặp lại đủ nhiều, tỉ lệ quan sát được sẽ tiến dần về tỉ lệ thật của nó. Điều quan trọng là mặt trái: với mẫu nhỏ, dao động rất lớn và những kết quả cực đoan xuất hiện thường xuyên hoàn toàn do ngẫu nhiên. Vì vậy các nhóm nhỏ luôn chiếm cả đầu bảng lẫn cuối bảng trong mọi so sánh, và người ta hay đi tìm nguyên nhân cho một hiện tượng vốn chỉ là nhiễu. Hiểu điều này là hàng rào tốt nhất trước những kết luận rút ra từ vài trường hợp.

Một cửa hàng mới mở có tuần bán rất chạy rồi tuần sau ế hẳn, và chủ quán đi tìm lý do trong khi cả hai tuần đều nằm trong dao động bình thường của mẫu nhỏ. Trong quảng cáo, thử nghiệm với ba trăm lượt xem cho ra chênh lệch nghe rất thuyết phục nhưng lặp lại thì đổi chiều. Tung đồng xu mười lần ra bảy mặt ngửa là chuyện thường; tung mười nghìn lần mà vẫn bảy phần mười thì đồng xu có vấn đề thật.

Mỗi khi ai đó rút kết luận từ một chuỗi ngắn: vài ngày doanh số, vài lượt thử nghiệm, vài câu chuyện cá nhân. Cũng dùng khi đánh giá thành tích của một cá nhân hay một nhóm trong khoảng thời gian ngắn, và khi so hai phương án mà chênh lệch giữa chúng nhỏ hơn mức dao động thường thấy của chính chỉ số đó.

Hỏi cỡ mẫu trước khi hỏi kết quả, và hỏi cần bao nhiêu quan sát để chênh lệch này có nghĩa. Với những việc lặp lại được, hãy gộp nhiều chu kỳ thay vì đánh giá từng chu kỳ. Và khi mẫu nhỏ, hãy nói rõ mức độ không chắc chắn thay vì làm tròn thành kết luận.

Cái bẫy nổi tiếng nhất là hiểu quy luật thành sau nhiều lần thua thì sắp tới lượt thắng để bù lại. Không có cơ chế nào bù trừ cả; tỉ lệ tiến về mức thật chỉ vì các lần sau làm loãng dần phần lệch ban đầu. Nhầm lẫn thứ hai là tưởng mẫu lớn thì kết quả nào cũng đáng tin, trong khi một mẫu lớn nhưng chọn lệch còn dẫn ta đi xa hơn một mẫu nhỏ trung thực.

Quy luật chỉ áp cho các phép thử độc lập và cùng điều kiện; nếu điều kiện thay đổi giữa chừng thì gộp mẫu lại là gộp hai thứ khác nhau. Nó cũng không nói gì về từng lần cụ thể, nên đừng dùng nó để dự đoán lần tới.