احجز استشارتك واكتشف خلل القيم المفقودة والمتطرفة في البيانات

تُعد جودة البيانات من العوامل الأساسية التي تؤثر في دقة التحليل الإحصائي وموثوقية نتائجه؛ فقد تحتوي قواعد البيانات على مشاهدات غير مكتملة أو قيم تختلف بصورة كبيرة عن النمط العام لبقية البيانات؛ لذلك يتطلب إعداد البيانات للتحليل فحصها بعناية والتعامل مع المشكلات التي قد تؤثر في النتائج، ومن أبرزها القيم المفقودة والمتطرفة في البيانات.

 

تشير إلى نوعين مختلفين من المشكلات التي قد تظهر أثناء جمع البيانات أو إدخالها أو مراجعتها؛ فالقيم المفقودة تعني غياب قيمة يفترض وجودها في أحد المتغيرات، بينما تشير القيم المتطرفة إلى مشاهدات تختلف بدرجة ملحوظة عن معظم القيم الأخرى في مجموعة البيانات.

 

 

اطلع على: 17 عامًا من تحقيق الريادة في الدعم الأكاديمي للباحثين مع شركة سندك

 

تظهر نتيجة مجموعة من العوامل المرتبطة بعملية جمع البيانات وإدخالها وتخزينها، وقد تكون هذه الأسباب إجرائية أو مرتبطة بالمشاركين أو بأدوات القياس المستخدمة في الدراسة، ومن أبرز أسباب ظهور القيم المفقودة والمتطرفة:

♦ عدم استجابة المشاركين

قد يتجاوز بعض أفراد العينة أسئلة معينة في الاستبيان، خاصة إذا كانت حساسة أو تتطلب معلومات شخصية.

 

♦ أخطاء إدخال البيانات

قد ينسى الباحث أو مدخل البيانات تسجيل بعض الإجابات، أو تحدث أخطاء أثناء نقل البيانات من الاستمارات الورقية إلى الملفات الإلكترونية، مما يؤدي إلى ظهور القيم المفقودة والمتطرفة في البيانات ويستدعي مراجعة السجلات والتحقق من دقة إدخالها.

 

♦ مشكلات أدوات جمع البيانات

قد تؤدي صياغة الأسئلة غير الواضحة أو وجود خلل تقني في النماذج الإلكترونية إلى عدم تسجيل بعض الإجابات.

 

♦ انسحاب المشاركين من الدراسة

قد يتوقف بعض المشاركين عن استكمال الاستبيان أو المقابلة، مما يؤدي إلى عدم اكتمال بياناتهم.

 

♦ عدم انطباق بعض الأسئلة

قد لا تكون بعض الأسئلة مناسبة لجميع المشاركين، فتُترك دون إجابة وفقًا لطبيعة تصميم الأداة.

 

♦ فقدان البيانات أثناء المعالجة

قد تحدث أخطاء عند دمج الملفات أو تحويل صيغها أو نقلها بين البرامج، مما يؤدي إلى اختفاء بعض القيم.

 

تمكن من خدمة : التحليل الإحصائي SPSS عمان من سندك..دمر عقبات البيانات الآن

 

لا تقتصر القيم المفقودة على مجرد غياب بعض البيانات، بل تختلف وفقًا للأسباب والأنماط التي تظهر بها، ويساعد تحديد نوعها على اختيار طريقة المعالجة المناسبة وتجنب التحيز في النتائج، ويمكن تصنيف القيم المفقودة والمتطرفة في البيانات من خلال ثلاثة أنواع رئيسية للقيم المفقودة:

نوع القيم المفقودة	المقصود بها	كيفية التمييز بينها
الفقد العشوائي تمامًا (MCAR)	يحدث فقدان البيانات دون ارتباط بخصائص المشاركين أو بقيم المتغيرات الأخرى.	لا يرتبط غياب القيمة بأي متغير في مجموعة البيانات.
الفقد العشوائي (MAR)	يرتبط احتمال فقدان القيمة بمتغيرات أخرى معروفة في الدراسة، وليس بالقيمة المفقودة نفسها.	يمكن تفسير نمط الفقد بالاعتماد على متغيرات أخرى مسجلة.
الفقد غير العشوائي (MNAR)	يرتبط احتمال فقدان القيمة بالقيمة المفقودة نفسها.	يكون غياب الإجابة مرتبطًا بطبيعة القيمة التي لم تُسجل.

 

► ويمكن التمييز بين هذه الأنواع من خلال:

1. فحص نمط الفقد

مراجعة المتغيرات التي تظهر فيها القيم المفقودة، وتحديد ما إذا كان غيابها يتكرر بصورة منتظمة.

2. تحليل العلاقة بين الفقد والمتغيرات الأخرى

التحقق مما إذا كان احتمال فقدان البيانات يرتبط بخصائص المشاركين أو بإجاباتهم المسجلة.

 

لا تكن مشتت: بغيت محلل إحصائي شاطر؟ إليك خارطة الطريق لنجاح بحثك العلمي

 

يعتمد اختيار طريقة المعالجة على نسبة القيم المفقودة لذلك يتطلب التعامل مع القيم المفقودة والمتطرفة في البيانات فحصًا منهجيًا قبل اتخاذ قرار الحذف أو التعويض، ومن أبرز طرق المعالجة:

♦ الحذف القائم على الحالات الكاملة (Listwise Deletion)

استبعاد الحالة التي تحتوي على قيمة مفقودة من التحليل، ويكون مناسبًا في بعض الحالات عندما يكون الفقد محدودًا وعشوائيًا تمامًا، مع مراعاة أثره في حجم العينة.

 

♦ التعويض بالمتوسط الحسابي

استخدام متوسط القيم المتاحة لتعويض القيم المفقودة في المتغيرات الكمية، لكنه قد يقلل التباين ويؤثر في العلاقات بين المتغيرات.

 

♦ التعويض بالوسيط

استخدام القيمة الوسطى للبيانات، وقد يكون أنسب من المتوسط عند وجود توزيع ملتوي أو قيم متطرفة.

 

♦ التعويض المتعدد (Multiple Imputation)

إنشاء مجموعات متعددة من البيانات المكتملة اعتمادًا على نموذج إحصائي، ثم دمج نتائج التحليل لمراعاة عدم اليقين الناتج عن القيم المفقودة.

 

استكشف: شرح قوائم برنامج SPSS| فهم شامل

 

يتطلب اكتشاف القيم المتطرفة فحص البيانات قبل إجراء الاختبارات الإحصائية؛ للتأكد من عدم وجود مشاهدات غير معتادة قد تؤثر في المتوسطات أو العلاقات بين المتغيرات، ويساعد فحص القيم المفقودة والمتطرفة في البيانات على تحديد المشاهدات التي تحتاج إلى مراجعة قبل بدء التحليل، ومن أبرز الطرق المستخدمة لاكتشاف القيم المتطرفة:

♦ الفحص الوصفي للبيانات

مراجعة الحد الأدنى والحد الأقصى والمتوسط والانحراف المعياري؛ لاكتشاف القيم التي تبدو غير منطقية أو بعيدة عن النطاق المتوقع.

 

♦ الرسوم البيانية (Boxplot)

استخدام مخطط الصندوق لتحديد المشاهدات التي تقع خارج حدود القيم المعتادة، وفقًا للمدى الربيعي.

 

♦ الدرجات المعيارية (Z-Scores)

حساب بُعد كل قيمة عن المتوسط بوحدات الانحراف المعياري، وقد تُعد القيم التي تتجاوز ±3 مؤشرات تستدعي الفحص، دون اعتبارها دليلًا قاطعًا على وجود قيمة متطرفة.

 

♦ مخططات الانتشار (Scatterplots)

فحص العلاقة بين متغيرين لتحديد المشاهدات المنفصلة بوضوح عن النمط العام للبيانات.

 

اكتشف: شرح برامج التحليل الإحصائي وأهم أدواتها للباحثين

 

تختلف القيم المتطرفة وفقًا لطبيعة المتغيرات وعدد الأبعاد التي يظهر فيها الاختلاف، ويساعد تحديد نوع القيم المفقودة والمتطرفة في البيانات على اختيار أسلوب الفحص والمعالجة المناسب، ومن أبرز أنواع القيم المتطرفة:

♦ القيم المتطرفة أحادية المتغير (Univariate Outliers)

تظهر عندما تكون قيمة أحد المتغيرات بعيدة عن بقية القيم، مثل تسجيل عمر أحد المشاركين بقيمة مرتفعة بصورة غير معتادة مقارنة ببقية أفراد العينة.

 

♦ القيم المتطرفة متعددة المتغيرات (Multivariate Outliers)

تظهر عندما تكون مجموعة من القيم غير معتادة عند النظر إليها مجتمعة، حتى لو لم تكن أي قيمة منفردة متطرفة بوضوح.

 

♦ القيم المتطرفة الناتجة عن أخطاء الإدخال

تنتج عن إدخال قيمة غير صحيحة، مثل تسجيل العمر (250) بدلًا من (25)، وتحتاج إلى مراجعة البيانات الأصلية وتصحيح الخطأ إن أمكن.

 

♦ القيم المتطرفة الحقيقية

تمثل مشاهدات فعلية صحيحة، لكنها تختلف بدرجة كبيرة عن النمط العام للعينة، ولا يعني ظهورها بالضرورة ضرورة حذفها.

 

تعلم: التحليل الإحصائي في البحث العلمي| 8 معلومات جديدة

 

لا يعني اكتشاف القيم المتطرفة ضرورة حذفها مباشرة، فقد تكون مشاهدات صحيحة تعكس اختلافات حقيقية بين أفراد العينة؛ لذلك ينبغي فحص القيم المفقودة والمتطرفة في البيانات وتحديد أسباب ظهورها قبل اختيار طريقة المعالجة المناسبة، ومن أبرز الطرق العلمية للتعامل مع القيم المتطرفة:

♦ التحقق من صحة القيمة

مراجعة السجلات أو الاستبيانات الأصلية للتأكد من عدم وجود خطأ في إدخال البيانات، وتصحيح القيمة إذا ثبت وجود خطأ.

 

♦ حذف القيم غير الصحيحة

استبعاد المشاهدات التي ثبت أنها ناتجة عن أخطاء واضحة، مع توثيق أسباب الحذف وتأثيره في حجم العينة.

 

♦ استخدام التحليلات الإحصائية المتينة (Robust Statistics)

تطبيق أساليب تقل حساسيتها للقيم المتطرفة، مثل استخدام الوسيط أو مقدرات الانحدار المتينة بدلًا من الأساليب شديدة التأثر بالقيم البعيدة.

 

♦ التحويلات الرياضية للبيانات

استخدام تحويلات مثل اللوغاريتم أو الجذر التربيعي عندما يكون توزيع البيانات ملتويًا، مع مراعاة طبيعة المتغير وإمكانية تطبيق التحويل.

 

♦ تقليص القيم (Winsorization)

استبدال القيم التي تتجاوز حدودًا محددة بقيم تقع عند تلك الحدود، بشرط وجود مبرر إحصائي واضح وتوثيق الإجراء.

 

دليل متكامل لبرنامج التحليل الإحصائي SPSS| مفتاح الدقة التحليلية

 

يوفر برنامج SPSS أدوات تساعد على اكتشاف القيم المفقودة والمتطرفة في البيانات ومعالجتها وفقًا لطبيعة البيانات وخصائصها الإحصائية، وذلك من خلال الخطوات التالية:

♦ فحص القيم المفقودة

استخدام Frequencies أو Descriptives لمعرفة عدد القيم المفقودة ونسبتها.

 

♦ تحديد نمط الفقد

مراجعة توزيع القيم المفقودة بين المتغيرات والحالات، واختبار Little's MCAR عند الحاجة.

 

♦ اكتشاف القيم المتطرفة

استخدام Explore وتفعيل Boxplot لتحديد المشاهدات غير المعتادة.

 

♦ حساب الدرجات المعيارية

استخدام Descriptives لحساب درجات Z وتحديد القيم التي تستدعي المراجعة.

 

♦ معالجة القيم المفقودة

استخدام طريقة مناسبة، مثل التعويض المتعدد (Multiple Imputation)، وفقًا لنمط الفقد.

 

♦ معالجة القيم المتطرفة

مراجعة القيم وتحديد ما إذا كانت أخطاء إدخال أو مشاهدات حقيقية، ثم اختيار الإجراء المناسب.

 

♦ مراجعة النتائج

إعادة التحليل بعد المعالجة ومقارنة النتائج لتقييم مدى تأثرها بالإجراءات المتخذة.

 

لا تضيع الوقت| إليك عناوين رسائل ماجستير ودكتوراه في تحليل البيانات باستخدام SPSS لـ 2027

 

قد تؤدي المعالجة غير المناسبة للبيانات إلى تحيز النتائج أو فقدان معلومات مهمة؛ لذلك ينبغي الانتباه إلى الأخطاء الشائعة عند التعامل مع القيم المفقودة والمتطرفة في البيانات، ومن أبرزها:

♦ حذف القيم دون مبرر

استبعاد المشاهدات لمجرد اختلافها عن بقية البيانات دون التحقق من صحتها.

 

♦ التعويض بالمتوسط في جميع الحالات

استخدام المتوسط بصورة تلقائية، رغم أنه قد لا يكون مناسبًا لطبيعة البيانات أو نمط الفقد.

 

♦ تجاهل نمط القيم المفقودة

اختيار طريقة المعالجة دون تحديد ما إذا كان الفقد عشوائيًا تمامًا أو مرتبطًا بمتغيرات أخرى.

 

♦ الخلط بين القيم المتطرفة والأخطاء

اعتبار كل قيمة بعيدة عن بقية المشاهدات خطأً يستوجب الحذف.

 

♦ عدم توثيق الإجراءات

إغفال توضيح أسباب الحذف أو التعويض أو استخدام التحويلات الإحصائية.

 

احصل على: دورة تعلم التحليل الاحصائي| أتمت مهاراتك

 

لنفترض أن باحثًا يجري دراسة على عينة تضم 150 موظفًا لقياس مستوى الرضا الوظيفي، ولاحظ وجود 12 استجابة مفقودة، إلى جانب قيمة مرتفعة بصورة غير معتادة في أحد المتغيرات، ويمكن توضيح أثر المعالجة من خلال الخطوات التالية:

♦ فحص البيانات

اكتشف الباحث أن نسبة القيم المفقودة والمتطرفة في البيانات تستدعي المراجعة؛ إذ بلغت نسبة القيم المفقودة 8% من إجمالي العينة، كما ظهرت قيمة مرتفعة تحتاج إلى التحقق من صحتها قبل إجراء التحليل الإحصائي.

 

♦ تحديد سبب الفقد

راجع نمط البيانات المفقودة لتحديد مدى ارتباطها بخصائص المشاركين والمتغيرات الأخرى.

 

♦ فحص القيمة المتطرفة

رجع إلى الاستبيان الأصلي، وتأكد من أن القيمة مسجلة بصورة صحيحة وليست خطأ إدخال.

 

♦ اختيار المعالجة المناسبة

استخدم طريقة ملائمة للتعامل مع القيم المفقودة، واحتفظ بالقيمة المتطرفة الصحيحة مع فحص تأثيرها في التحليل.

 

♦ مقارنة النتائج

أعاد التحليل الإحصائي وقارن النتائج قبل المعالجة وبعدها؛ لتحديد ما إذا كانت التقديرات أو الدلالة الإحصائية قد تغيرت.

 

الآن| لا تدع التحليل يعيق بحثك دليل مصور كيف أتعلم البرنامج الإحصائي spss؟

 

تساعدك سندك في فحص القيم المفقودة والمتطرفة في البيانات وتحديد طرق المعالجة المناسبة وفقًا لطبيعة دراستك، مع مراجعة التحليلات الإحصائية والتأكد من سلامة الإجراءات المستخدمة وتفسير النتائج بدقة.

1. تواصل مع سندك عبر واتساب للحصول على الدعم المتخصص في فحص بياناتك ومعالجتها.

2. اطلب الخدمة الآن من شركة سندك للاستشارات الأكاديمية والترجمة.

 

دليل اختبار ANOVA	حمل الآن
دليل برنامج smart pls	حمل الآن
دليل برنامج eviews	حمل الآن
دليل برنامج spss	حمل الآن
دليل اختبار T-Test	حمل الآن
دليل اختبار Stata	حمل الآن
دليل برنامج AMOS	حمل الآن
دليل لغة r	حمل الآن
دليل برنامج Power BI	حمل الآن
دليل برنامج MAXQDA	حمل الآن
دليل برنامج MINITAB	حمل الآن

 

♦ هل تؤثر القيم المفقودة في حجم العينة المستخدمة في البحث؟

نعم، قد تؤدي القيم المفقودة إلى تقليل عدد الحالات المتاحة للتحليل، خاصة عند حذف السجلات التي تحتوي عليها، وقد يؤثر ذلك في القوة الإحصائية للدراسة ومدى إمكانية تعميم نتائجها.

 

♦ هل يمكن أن تظهر القيم المتطرفة نتيجة اختلاف خصائص أفراد العينة؟

نعم، فقد تعكس بعض القيم المتطرفة اختلافات حقيقية بين المشاركين، مثل ارتفاع مستوى الدخل أو العمر مقارنة ببقية العينة.

 

♦ هل تختلف معالجة البيانات المفقودة في الدراسات الطولية عن الدراسات المقطعية؟

نعم، ففي الدراسات الطولية قد ترتبط القيم المفقودة والمتطرفة في البيانات بانسحاب المشاركين أو عدم استكمال القياسات عبر الزمن، مما يتطلب مراعاة نمط الفقد وتأثيره في تتبع التغيرات، أما الدراسات المقطعية فغالبًا ما تركز على معالجة القيم المفقودة داخل مجموعة البيانات في وقت محدد.

 

♦ ما العلاقة بين جودة أداة جمع البيانات وظهور القيم المفقودة والمتطرفة؟

قد تؤدي صياغة الأسئلة غير الواضحة أو خيارات الإجابة غير المناسبة إلى ترك بعض الأسئلة دون إجابة، كما قد ينتج عن سوء فهم البنود تسجيل قيم غير دقيقة أو غير معتادة؛ لذلك تسهم مراجعة أداة جمع البيانات واختبارها مسبقًا في الحد من هذه المشكلات.

 

♦ هل يمكن أن تختلف نتائج التحليل عند استخدام برامج إحصائية مختلفة؟

قد تختلف بعض النتائج تبعًا للخيارات والإعدادات والخوارزميات المستخدمة في معالجة البيانات، خاصة عند التعامل مع القيم المفقودة أو تطبيق أساليب إحصائية مختلفة؛ لذلك ينبغي توثيق خطوات المعالجة والإعدادات المستخدمة لضمان إمكانية مراجعة النتائج والتحقق منها.

 

♦ ما الفرق بين Missing Values وOutliers؟

تُعد القيم المفقودة والمتطرفة في البيانات من الحالات التي يجب التمييز بينها قبل إجراء التحليل الإحصائي؛ إذ تختلف كل منهما من حيث طبيعتها وأسباب ظهورها وطرق اكتشافها ومعالجتها، كما يوضح الجدول التالي:

وجه المقارنة	القيم المفقودة	القيم المتطرفة
المفهوم	بيانات غير مسجلة أو غير متاحة لبعض المتغيرات.	قيم موجودة لكنها تختلف بصورة ملحوظة عن بقية القيم.
طبيعتها	تمثل نقصًا في البيانات.	تمثل مشاهدات غير معتادة داخل البيانات.
أسباب ظهورها	عدم الإجابة عن بعض الأسئلة أو أخطاء إدخال البيانات أو فقدان بعض السجلات.	أخطاء القياس أو الإدخال، أو وجود اختلافات حقيقية بين أفراد العينة.
طريقة اكتشافها	مراجعة عدد الحالات الصالحة والمفقودة لكل متغير.	استخدام المخططات الصندوقية والدرجات المعيارية والأساليب الإحصائية للكشف عنها.
طريقة التعامل معها	الحذف أو التعويض بأساليب مناسبة وفق نمط الفقد وطبيعة البيانات.	التحقق من صحتها، ثم الإبقاء عليها أو معالجتها وفق مبررات علمية.

 

♦ كيف أعرف نسبة القيم المفقودة في SPSS؟

يمكن تحديد نسبة القيم المفقودة والمتطرفة في البيانات في SPSS من خلال الخطوات التالية:

1. فتح ملف البيانات واختيار Analyze.

2. الانتقال إلى Descriptive Statistics ثم Frequencies.

3. تحديد المتغيرات المطلوب فحصها ونقلها إلى مربع التحليل.

4. مراجعة جدول الإحصاءات لمعرفة عدد القيم الصحيحة والمفقودة لكل متغير.

5. حساب النسبة بقسمة عدد القيم المفقودة على إجمالي عدد الحالات، ثم ضرب الناتج في 100.

 

♦ هل يؤثر وجود القيم المتطرفة في اختبار T-Test؟

نعم، قد يؤثر وجود القيم المتطرفة في نتائج اختبار T-Test؛ لأنها قد تؤدي إلى تغيير المتوسط الحسابي والانحراف المعياري، مما ينعكس على قيمة الاختبار ومستوى الدلالة الإحصائية، وقد ينتج عن ذلك استنتاجات غير دقيقة بشأن الفروق بين المجموعات، ويظهر هذا التأثير بصورة أوضح عندما تكون العينة صغيرة أو عندما توجد قيم متطرفة بعيدة بدرجة كبيرة عن بقية المشاهدات.

 

♦ متى أستخدم المتوسط ومتى أستخدم التعويض المتعدد؟

يعتمد الاختيار بين المتوسط الحسابي والتعويض المتعدد على نسبة القيم المفقودة والمتطرفة في البيانات وطبيعة البيانات وآلية فقدانها، ولا يُنصح باستخدام طريقة واحدة في جميع الحالات.

1. استخدام المتوسط الحسابي

يمكن اللجوء إليه في بعض الحالات البسيطة عندما تكون نسبة القيم المفقودة محدودة، والبيانات متجانسة نسبيًا، مع الانتباه إلى أنه قد يقلل التباين ويؤثر في العلاقات بين المتغيرات.

2. استخدام التعويض المتعدد Multiple Imputation

يُفضل عندما تكون البيانات المفقودة أكثر تأثيرًا، أو عند وجود متغيرات متعددة يمكن الاستفادة منها في تقدير القيم المفقودة، خاصة عندما يكون الفقد من النوع MAR

3. مراعاة طبيعة البيانات

يجب فحص نمط القيم المفقودة وتوزيع المتغيرات قبل اختيار أسلوب التعويض، مع توثيق مبررات الطريقة المستخدمة.

 

♦ هل يمكن أن تؤدي معالجة القيم المتطرفة إلى تغير دلالة النتائج؟

نعم، يمكن أن تؤدي معالجة القيم المفقودة والمتطرفة في البيانات إلى تغير مستوى الدلالة الإحصائية، خاصة إذا كانت هذه القيم تؤثر في المتوسطات أو الانحرافات المعيارية أو معاملات الارتباط والانحدار، ويظهر هذا التأثير من خلال عدة صور:

1. تغير قيمة الاختبار الإحصائي

قد يؤدي حذف القيم المتطرفة أو تعديلها إلى تغير قيمة T أو F أو معامل الارتباط.

2. تغير مستوى الدلالة

قد تصبح النتيجة دالة إحصائيًا بعد المعالجة، أو تفقد دلالتها التي ظهرت قبلها.

3. تغير اتجاه العلاقة

في بعض الحالات قد تؤثر القيم المتطرفة بدرجة كبيرة في اتجاه العلاقة بين المتغيرات وقوتها.

 

 

لا تبحث كثيرًا وتهدر وقتك| شركة سندك أفضل شركة استشارات وخدمات أكاديمية شاهد انجازاتنا

 

 

► المراجع

1. المهدي، إبراهيم محمد. (2015). التعامل مع مشاكل القيم المفقودة في البيانات الطولية. المجلة المصرية للدراسات التجارية. 39 (3)، 75-99.

2. الوردي، هيثم عبد الأمير. (2015). التعويض الجزئي للقيم المفقودة. مجلة الباحث، (9)، 178-195.

 

تمثل القيم المفقودة والمتطرفة في البيانات أحد التحديات التي تتطلب عناية منهجية قبل البدء في التحليل الإحصائي؛ إذ تؤثر طريقة اكتشافها ومعالجتها في دقة النتائج وموثوقية الاستنتاجات، ومن هنا تقدم شركة سندك للاستشارات الأكاديمية والترجمة خدمات البحث العلمي، بما يشمل فحص البيانات وتنقيحها، واختيار أساليب المعالجة المناسبة، وتنفيذ التحليلات الإحصائية وفق متطلبات الدراسة، وللاستفادة من خدمات سندك، يمكنك التواصل معنا عبر واتساب وطلب الخدمة المناسبة لبحثك.