İstatistiksel anlamlılık, önceden seçilmiş bir eşik ve test modeli altında gözlenen sonucun sıfır hipoteziyle yeterince uyumsuz sayılmasıdır. Bu etiket, etkinin büyük, önemli veya nedensel olduğunu tek başına göstermez; sıfır hipotezinin yanlış olma olasılığını da doğrudan vermez.
Örneklem büyüdükçe gündelik bakımdan önemsiz bir fark istatistiksel olarak anlamlı olabilir. Küçük örneklemdeyse önemli olabilecek bir etki, geniş belirsizlik nedeniyle eşiği geçmeyebilir. Çoklu karşılaştırmalar, sonradan seçilen analizler, ölçüm hatası ve model varsayımları da sonucu etkiler. Bu nedenle eşik etiketi yerine etki büyüklüğü, güven aralığı, mutlak fark, çalışma tasarımı ve önceden belirlenmiş analiz birlikte okunmalıdır. İstatistiksel anlamlılık bir kapı zili olabilir; odanın ne kadar büyük olduğunu söylemez.