نیکویی برازش چیست؟

نیکویی برازش چیست؟

اصطلاح «نیکویی برازش» به یک آزمون آماری اشاره دارد که بررسی می‌کند داده‌های نمونه تا چه حد با توزیع مورد انتظار از یک جامعه آماری (معمولاً با توزیع نرمال) هم‌خوانی دارند. به زبان ساده، این آزمون مشخص می‌کند که آیا داده‌های نمونه انحراف دارند یا نماینده‌ای مناسب از داده‌های واقعی جامعه هستند. هدف از آزمون نیکویی برازش، اندازه‌گیری اختلاف بین مقادیر مشاهده‌شده و مقادیری است که بر اساس یک مدل آماری (مثلاً توزیع نرمال) انتظار می‌رود. برای انجام این کار روش‌های مختلفی وجود دارد که یکی از رایج‌ترین آن‌ها آزمون کای‌دو (Chi-Square) است.

نکات کلیدی:

• آزمون نیکویی برازش بررسی می‌کند که آیا داده‌های مشاهده‌شده با داده‌هایی که طبق یک مدل آماری انتظار می‌روند، هم‌خوانی دارند یا خیر.

• این آزمون‌ها به شما نشان می‌دهند که داده‌های نمونه‌تان چقدر با توزیع نرمال جامعه مطابقت دارند.

• انواع مختلفی از آزمون‌های نیکویی برازش وجود دارد، اما رایج‌ترین آن‌ها آزمون کای‌دو است.

• آزمون کای‌دو برای بررسی وجود رابطه بین داده‌های طبقه‌بندی‌شده (categorical data) به‌کار می‌رود.

• آزمون کولموگروف–اسمیرنوف (Kolmogorov-Smirnov) نیز مشخص می‌کند که آیا یک نمونه از توزیع خاصی در جامعه آماری آمده یا خیر.

درک مفهوم آزمون نیکویی برازش (Goodness-of-Fit)

آزمون‌های نیکویی برازش، روش‌هایی آماری هستند که با استفاده از آن‌ها می‌توان درباره مقادیر مشاهده‌شده نتیجه‌گیری کرد. برای مثال، می‌توان بررسی کرد که آیا یک نمونه واقعاً نماینده‌ی مناسبی از کل جامعه هست یا نه. این آزمون‌ها به ما نشان می‌دهند که مقادیر واقعی چقدر با مقادیر پیش‌بینی‌شده در یک مدل آماری مطابقت دارند. هنگام تصمیم‌گیری، این آزمون‌ها به پیش‌بینی روندها و الگوهای آینده کمک می‌کنند.

همان‌طور که گفته شد، انواع مختلفی از آزمون‌های برازش وجود دارد. رایج‌ترین آن‌ها آزمون کای‌دو (Chi-Square) است، اما آزمون کولموگروف–اسمیرنوف و آزمون شاپیرو–ویلک نیز کاربرد زیادی دارند. این آزمون‌ها معمولاً با استفاده از نرم‌افزارهای آماری انجام می‌شوند، اما آمارگران می‌توانند آن‌ها را به صورت دستی و با فرمول‌های مخصوص هر آزمون نیز محاسبه کنند.

برای اجرای آزمون برازش به این موارد نیاز دارید:

• یک متغیر و فرضی درباره نحوه توزیع آن؛

• مجموعه‌ای از داده‌های مشخص شامل:

  • مقادیر مشاهده‌شده (از داده‌های واقعی به‌دست می‌آیند)،

  • مقادیر مورد انتظار (بر اساس فرضیات تعیین می‌شوند)،

  • تعداد کل طبقات یا گروه‌ها.

نکته مهم: آزمون‌های برازش معمولاً برای بررسی نرمال بودن باقی‌مانده‌ها (residuals) یا تشخیص یکسان بودن توزیع دو نمونه استفاده می‌شوند.

تعیین سطح آلفا (Alpha Level)

برای تفسیر نتایج آزمون، باید سطح معناداری یا همان آلفا (α) تعیین شود. در آزمون کای‌دو، این به شکل مقدار p (p-value) شناخته می‌شود. این مقدار نشان می‌دهد چقدر احتمال دارد نتایجی به دست آید که در محدوده‌ای دور از مقادیر متوسط باشند؛ در صورتی که فرض صفر درست باشد.

فرض صفر (Null Hypothesis) بیان می‌کند که رابطه‌ای بین متغیرها وجود ندارد، در حالی که فرض مقابل (Alternative Hypothesis) وجود یک رابطه را نشان می‌دهد. اگر مقدار محاسبه‌شده کمتر از آلفا باشد، فرض صفر رد می‌شود و نتیجه گرفته می‌شود که بین متغیرها رابطه وجود دارد.

انواع آزمون‌های برازش

۱. آزمون کای‌دو (Chi-Square Test)

فرمول:
χ² = ∑( (Oi − Ei)² / Ei )
در این فرمول:

• Oi: مقدار مشاهده‌شده

• Ei: مقدار مورد انتظار

این آزمون برای داده‌هایی استفاده می‌شود که در گروه‌های طبقه‌بندی‌شده (categorical) قرار دارند و برای بررسی ادعایی درباره جامعه، بر اساس نمونه‌ای تصادفی، به‌کار می‌رود. با اینکه برای بررسی وجود یا عدم وجود رابطه مناسب است، نوع و شدت رابطه را مشخص نمی‌کند. همچنین برای داده‌های پیوسته (continuous) مناسب نیست.

نکته: برای استفاده از این آزمون، متغیرها باید متقابلاً مجزا باشند (یعنی هیچ هم‌پوشانی نداشته باشند).

۲. آزمون کولموگروف–اسمیرنوف (Kolmogorov-Smirnov Test - K-S)

این آزمون، که به نام دو ریاضی‌دان روسی نام‌گذاری شده، بررسی می‌کند که آیا نمونه‌ای از توزیع خاصی در یک جامعه گرفته شده یا نه. این روش برای نمونه‌های بزرگ (مثلاً بالای ۲۰۰۰ مورد) مناسب است و چون بدون وابستگی به نوع توزیع (non-parametric) است، انعطاف بیشتری دارد. در این آزمون نیز دو فرضیه (صفر و مقابل) تعریف می‌شود. اگر مقدار آماره D از مقدار بحرانی بیشتر باشد، فرض صفر رد می‌شود.

تفاوت مهم با آزمون کای‌دو: آزمون K-S برای توزیع‌های پیوسته استفاده می‌شود، در حالی که کای‌دو برای داده‌های طبقه‌بندی‌شده کاربرد دارد.

۳. آزمون اندرسون–دارلینگ (Anderson-Darling Test - A-D)

این آزمون نسخه‌ای پیشرفته‌تر از آزمون K-S است و وزن بیشتری به انتهای توزیع (tails) می‌دهد. به همین دلیل در تحلیل‌های مالی، که خطرات انتهایی (tail risks) اهمیت زیادی دارند، کاربرد بیشتری دارد. در این آزمون نیز یک آماره تولید می‌شود (A²) که با مقدار بحرانی مقایسه شده و درباره پذیرش یا رد فرض صفر تصمیم‌گیری می‌شود.

۴. آزمون شاپیرو–ویلک (Shapiro-Wilk Test - S-W)

این آزمون بررسی می‌کند که آیا داده‌ها از توزیع نرمال پیروی می‌کنند یا نه. مناسب برای نمونه‌های کوچک (زیر ۲۰۰۰ مورد) است و تنها در صورتی قابل استفاده است که داده‌ها پیوسته و تک‌متغیره باشند. این آزمون از نمودار QQ (Quantile-Quantile Plot) برای بررسی نرمال بودن استفاده می‌کند. اگر نقاط روی نمودار تقریباً روی یک خط مستقیم قرار گیرند، احتمال نرمال بودن توزیع زیاد است. همچنین اگر نسبت واریانس نمونه و جامعه به ۱ نزدیک باشد، فرض صفر پذیرفته می‌شود.

آزمون‌های دیگر برازش (Goodness-of-Fit)

علاوه بر آزمون‌های رایج مانند کای‌دو، کولموگروف–اسمیرنوف و شاپیرو–ویلک، تحلیل‌گران می‌توانند از آزمون‌های متنوع دیگری برای بررسی برازش مدل‌ها استفاده کنند. در ادامه با چند نمونه مهم آشنا می‌شویم:

• معیار اطلاعات بیزی (BIC)
  BIC روشی آماری برای انتخاب بهترین مدل از میان چند مدل مختلف است. این معیار بین سادگی مدل و میزان برازش آن با داده‌ها تعادل برقرار می‌کند، به طوری که از مدل‌های بیش‌ازحد پیچیده جلوگیری شود.

• معیار کرامر–فون–میسز (Cramer-von Mises - CVM)
  این آزمون بررسی می‌کند که آیا داده‌های مشاهده‌شده با یک توزیع احتمال فرضی هم‌خوانی دارند یا نه. در حوزه‌هایی مثل اقتصاد، مهندسی و مالی بسیار کاربرد دارد و بر اساس تابع توزیع تجمعی داده‌ها عمل می‌کند.

• معیار اطلاعات آکائیکه (Akaike Information Criterion - AIC)
  AIC کیفیت نسبی مدل‌های آماری را در مقایسه با یکدیگر ارزیابی می‌کند. این معیار نیز مانند BIC، تعادلی بین دقت مدل و پیچیدگی آن ایجاد می‌کند. اساس آن بر تئوری اطلاعات است و میزان "اطلاعات از‌دست‌رفته" توسط مدل را اندازه‌گیری می‌کند.

• آزمون هاسمر–لمشو (Hosmer-Lemeshow Test)
  این آزمون برای داده‌های دودویی (مثل بله/خیر یا موفق/ناموفق) استفاده می‌شود و مقادیر پیش‌بینی‌شده را با مقادیر واقعی در گروه‌های مختلف مقایسه می‌کند. معمولاً داده‌ها به ۱۰ گروه بر اساس احتمال پیش‌بینی‌شده تقسیم می‌شوند.

• آزمون کویپر (Kuiper’s Test)
  شبیه آزمون کولموگروف–اسمیرنوف است، اما حساسیت بیشتری نسبت به تفاوت‌های موجود در انتهای توزیع دارد و در برخی موارد عملکرد دقیق‌تری دارد.

• آزمون مورن (Moran’s I)
  این آزمون برای بررسی هم‌بستگی فضایی (spatial autocorrelation) در داده‌ها به‌کار می‌رود؛ یعنی بررسی اینکه آیا داده‌هایی که از نظر جغرافیایی نزدیک هم هستند، شباهت آماری نیز دارند یا خیر.

نکته کاربردی: در آزمون‌های برازش، بهتر است هر گروه یا طبقه‌ی آماری حداقل ۵ داده داشته باشد تا آزمون از اعتبار آماری کافی برخوردار باشد.

اهمیت آزمون‌های برازش

آزمون‌های برازش در علم آمار نقش بسیار کلیدی دارند. مهم‌ترین کاربرد آن‌ها این است که نشان دهند آیا داده‌های مشاهده‌شده با مدلی آماری که برای آن‌ها در نظر گرفته شده هماهنگ هستند یا خیر. اگر داده‌ها با مدل هماهنگ نباشند، ممکن است لازم باشد مدل تغییر داده شود یا مدلی دقیق‌تر انتخاب گردد.

آزمون‌های برازش همچنین می‌توانند به شناسایی داده‌های پرت (outliers) یا ناهنجاری‌های بازار کمک کنند. این داده‌های پرت ممکن است تأثیر زیادی بر نتایج مدل داشته باشند و گاهی تا زمانی که مدل ساخته نشود، قابل شناسایی نیستند.

از دیگر مزایای این آزمون‌ها، ارائه اطلاعاتی درباره تغییرپذیری داده‌ها و برآورد دقیق‌تر پارامترهای مدل است. این اطلاعات برای پیش‌بینی و درک بهتر رفتار سیستم آماری بسیار مفید هستند. در برخی موارد نیز ممکن است با توجه به نتایج آزمون برازش، لازم باشد مدل به‌طور خاص برای آن مجموعه‌داده بازطراحی شود یا پارامترهایی مثل باقی‌مانده‌ها (residuals) و مقدار p دوباره محاسبه شوند.

مقایسه آزمون برازش و آزمون استقلال

آزمون برازش و آزمون استقلال هر دو از روش‌های آماری هستند، اما کاربرد و هدف آن‌ها با یکدیگر متفاوت است:

• آزمون برازش برای بررسی این است که آیا داده‌های مشاهده‌شده با یک توزیع احتمال خاص هم‌خوانی دارند یا نه.

• آزمون استقلال بررسی می‌کند که آیا بین دو متغیر رابطه‌ای وجود دارد یا خیر.

برای مثال، اگر بخواهیم بررسی کنیم که آیا مصرف سیگار با ابتلا به سرطان ارتباط دارد، از آزمون استقلال استفاده می‌کنیم. اما اگر هدف ما بررسی این باشد که داده‌ها از یک توزیع نرمال پیروی می‌کنند یا نه، آزمون برازش مناسب‌تر است.

به‌طور خلاصه:

• آزمون برازش: بررسی تناسب یک مدل با مجموعه‌ای از داده‌ها؛

• آزمون استقلال: بررسی وجود یا عدم وجود رابطه میان دو متغیر خاص.

مثال برازش مدل (Goodness-of-Fit)

برای درک بهتر آزمون برازش، به یک مثال فرضی توجه کنید:

فرض کنید یک باشگاه ورزشی کوچک در محله‌ای محلی بر این باور است که بیشترین تعداد مراجعه‌کنندگان در روزهای دوشنبه، سه‌شنبه و شنبه است؛ روزهای چهارشنبه و پنج‌شنبه حضور معمولی و متوسط دارند، و کمترین مراجعه‌ها مربوط به جمعه و یک‌شنبه است. باشگاه بر اساس این فرضیات، تعداد کارکنان مورد نیاز برای هر روز را برنامه‌ریزی می‌کند تا وظایفی مثل پذیرش، نظافت، آموزش و برگزاری کلاس‌ها را انجام دهند.

اما با گذر زمان، اوضاع مالی باشگاه رو به افول می‌رود و صاحب باشگاه تصمیم می‌گیرد بررسی کند که آیا این فرضیات درباره تعداد مراجعین واقعاً درست هستند یا نه. او به مدت شش هفته، تعداد مراجعه‌کنندگان در هر روز را به‌طور دقیق ثبت می‌کند. حالا می‌تواند با استفاده از آزمون کای‌دو برای برازش مدل، داده‌های واقعی را با فرضیات قبلی مقایسه کند.

با داشتن این اطلاعات جدید، صاحب باشگاه می‌تواند تصمیمات بهتری برای مدیریت منابع و افزایش سودآوری اتخاذ کند.

برازش مدل یعنی چه؟

آزمون برازش یا Goodness-of-Fit یکی از آزمون‌های آماری فرضیه است که بررسی می‌کند داده‌های مشاهده‌شده چقدر با داده‌های مورد انتظار هم‌خوانی دارند. این آزمون‌ها مشخص می‌کنند که آیا یک نمونه از توزیع نرمال پیروی می‌کند، متغیرهای طبقه‌ای با هم ارتباط دارند، یا نمونه‌ها از توزیع یکسانی آمده‌اند یا خیر.

چرا آزمون برازش مهم است؟

اهمیت آزمون برازش در این است که به ما می‌گوید آیا آنچه در واقعیت مشاهده کرده‌ایم با آنچه انتظار داشته‌ایم، هم‌راستا بوده یا نه. تصمیم‌گیری‌ها می‌توانند بر اساس نتایج این آزمون‌ها صورت گیرند.

مثلاً فرض کنید یک فروشگاه می‌خواهد بداند کدام محصول برای جوانان جذاب‌تر است. او از یک نمونه تصادفی از افراد مسن و جوان نظرسنجی می‌کند. سپس با استفاده از آزمون کای‌دو، مشخص می‌شود که با ۹۵٪ اطمینان، رابطه‌ای بین محصول A و گروه سنی جوان وجود دارد. بر همین اساس، می‌توان نتیجه گرفت که این نمونه نماینده‌ای مناسب از جمعیت جوان است و بازاریاب‌ها می‌توانند کمپین‌های تبلیغاتی خود را بر اساس آن طراحی کنند.

آزمون کای‌دو و برازش مدل

در آزمون کای‌دو، بررسی می‌شود که آیا بین متغیرهای طبقه‌ای رابطه‌ای وجود دارد یا نه، و همچنین اینکه آیا یک نمونه نماینده‌ای از کل جامعه هست. این آزمون بررسی می‌کند که داده‌های مشاهده‌شده چقدر با داده‌های مورد انتظار مطابقت دارند.

چگونه آزمون برازش انجام می‌شود؟

آزمون‌های برازش به انواع مختلفی تقسیم می‌شوند و انتخاب روش مناسب، به هدف تحلیل بستگی دارد:

• اگر هدف بررسی نرمال بودن داده‌ها در یک نمونه کوچک باشد، آزمون شاپیرو–ویلک مناسب است.

• اگر بخواهید بررسی کنید که آیا یک نمونه از یک توزیع خاص در جامعه آمده، آزمون کولموگروف–اسمیرنوف کاربرد دارد.

هر آزمون فرمول خاص خود را دارد، اما اصولی مانند فرضیه صفر و سطح معناداری در همه آن‌ها مشترک است.

جمع‌بندی

آزمون‌های برازش (Goodness-of-Fit) به ما کمک می‌کنند بفهمیم داده‌های یک نمونه تا چه اندازه با آنچه از جامعه آماری انتظار داریم، هم‌خوانی دارند. در این آزمون‌ها، داده‌های مشاهده‌شده با مقادیر مورد انتظار مقایسه می‌شوند تا میزان اختلاف آن‌ها سنجیده شود. بسته به نوع نتیجه‌ای که به‌دنبال آن هستیم، آزمون‌های متفاوتی برای این منظور طراحی شده‌اند.

انتخاب آزمون مناسب به این بستگی دارد که چه اطلاعاتی از نمونه می‌خواهید به دست آورید و حجم نمونه چقدر است. مثلاً اگر هدف این باشد که بررسی کنیم آیا داده‌های دسته‌بندی‌شده با مقادیر مورد انتظار مطابقت دارند یا نه، آزمون کای‌دو (Chi-square) انتخاب درستی است. اما اگر بخواهیم بررسی کنیم که آیا یک نمونه کوچک از توزیع نرمال پیروی می‌کند یا نه، آزمون شاپیرو–ویلک (Shapiro-Wilk) کاربرد دارد. در نهایت، آزمون‌های متنوعی برای بررسی برازش وجود دارد و انتخاب درست آن‌ها نقش مهمی در تحلیل دقیق داده‌ها ایفا می‌کند.