برای اینکه معناداری آماری را درک کنیم ابتدا لازم است که معنای دو نوع خطا را بدانیم. خطای نوع اول و خطای نوع دوم؛ زیرا احتمال خطای نوع اول سطح معناداری یک آزمون نامیده می‌شود. با روان حامی همراه باشید.
خطای نوع اول زمانی رخ می‌دهد که فرضیه صفر درست را رد کنیم.
خطای نوع دوم نیز زمانی رخ می‌دهد که فرضیه صفر غلط پذیرفته شود.
معمولاً محقق یک سطح خاص معناداری را که البته تا اندازه زیادی قراردادی است انتخاب می‌کند. انتخاب سطوح معناداری ۰۵/۰ یا ۰۱/۰ اغلب مرسوم و متدوال است. اگر برای مثال درباره این ادعا که بین دو میانگین تفاوت وجود دارد احتمالی برابر یا کمتر از ۰۵/۰ وجود داشته باشد آن گاه گفته می‌شود که این تفاوت در سطح ۰۵/۰ یا کمتر معنادار است. در اینجا احتمال اینکه چنین تفاوتی ظاهر شود، هنگامی که بین ارزش‌های جامعه تفاوتی وجود نداشته باشد ۵ مورد از ۱۰۰ مورد است. هرگاه این احتمال، ۰۱/۰ یا کمتر باشد، گفته می‌شود که این تفاوت در سطح ۰۱/۰ معنادار است.
سطوح ۰۵/۰ و ۰۱/۰ مبین این نکته هستند که تفاوت مشاهده شده یک تفاوت واقعی و معنادار است یا تفاوتی محسوب می‌شود که ناشی از شانس، تصادف و خطای نمونه‌گیری نیست.
بنابراین به طور کلی معناداری آماری نشان می‌دهد که یافته‌های آماری تا چه اندازه ممکن است حاصل شانس و تصادف نباشد. این شاخص می‌تواند نشان دهد که نمونه‌های تصادفی منتخب از جامعه به طور کلی ویژگی‌هایی مانند ویژگی جامعه دارند. هرچند برخی نمونه‌ها نشان می‌دهند که معمولاً به جامعه شباهت ندارند.
فرضیه همیشه بیان می‌کند که بین دو متغیر رابطه وجود ندارد. آزمون معناداری همیشه در پی سنجش روایی فرضیه صفر است.
اگر نمونه داده‌های ما در میانه‌ی ۹۵ درصد نمونه قرار داشته و فرضیه صفر درست باشد، گفته می‌شود که نمونه‌ها از نظر آماری در سطح ۵ درصد معنادار نیست و فرضیه صفر رد نمی‌شود.
اما اگر نمونه داده‌های ما در ۵ درصد انتهایی نمونه‌ها قرار داشته باشد، نتیجه می‌گیریم که نمونه ما به ظاهر از فرضیه صفر حمایت نمی‌کند. در این حالت ما به طور معمول فرضیه خلاف را می‌پذریم و فرضیه صفر را رد می‌کنیم. همچنین می‌توانیم بیان کنیم که یافته‌های ما از نظر آماری معنادارند.
Reference: Statistical Significance in A/B Testing – a Complete Guide
