اول صبح وقتی به آینه نگاه می کنید، بدون هیچ سوالی آبی به صورت می زنید و موهای خود را مرتب می کنید. در اینجا یک اعتماد همیشگی وجود دارد، اعتماد به آینه!!!
حالا بیائید فکر کنید که آینه آنطور که باید مطمئن نیست و تصویر دیگری از شما نشان می داد! وااای خیلی ترسناک و توهم زا می شد. بگذارید کمی از ژانر وحشت بیرون بیائیم. اصلاً اگر آینه موجدار و شکسته بود، شما چه تصویری از خود می دیدید؟
آینه هم مثل هر ابزار ساخته دست بشر اگر دقیق نباشد، نمی شود به آن اعتماد کرد. پرسشنامه هم ابزار ساخته دست بشر است و باید قابل اعتماد باشد. پرسشنامه قابل اعتماد مانند آینه شفاف و واضحی است که تصویر درستی از واقعیت نمونه مورد مطالعه به ما می دهد. در این مقاله قصد داریم وضوح و شفافیت پرسشنامه را با دو فاکتور مهم با نام روایی و پایایی مورد بررسی قرار دهیم و کلی راجع به این دو صحبت کنیم.
وقتی شما بخواهید قد دختر ۵ ساله خود را اندازه گیری کنید، سراغ چی می گردید؟ خوب مشخصه دیگه، متر. چرا؟
چون متر با نشانه های درستی که رویش حک شده است، می تواند قد را اندازه گیری کند. به نظر شما، یک تکه طناب پوسیده گوشه انبار می تواند قد دخترتان را اندازه بگیرد؟ خیر، چون خود آن طناب مشخص نیست که طولش چقدر است. در اینجا شما بدون اینکه متوجه شوید، در حال سنجش روایی ابزار اندازه گیری هستید.
تعریف ساده روایی: روایی یعنی اینکه آن ابزار درست و دقیق همان چیزی را اندازه گیری و سنجش کند که شما می خواهید. در اینجا متر روایی دارد، اما طناب پوسیده که نمی دانید چقدر طولش است، فاقد روایی است.
شما برای خرید سیب به میدان میوه و تره بار می روید، تعدادی سیب درشت داخل کیسه می ریزید و به فروشنده می دهید تا آن را وزن کند، فروشنده کیسه را روی ترازو قرار می دهد و می گوید ۳ کیلوگرم شد. شما شک می کنید و احساس می کنید که کمتر از اینهاست، مجدد کیسه را روی ترازو می گذارید و اینبار ترازو عدد ۲/۵ را نشان می دهد. به فروشنده می گوئید این که ۲/۵ کیلوگرم است، فروشنده مجدد کیسه را وزن می کند و می بیند که ۲ کیلوگرم شد. در اینجا چه حسی پیدا می کنید؟
حس می کنید که ترازو نابود است و هربار عدد مختلفی را نشان می دهد. پس بیخیال خرید سیب از آن مغازه می شوید، چون به ترازو اعتمادی نیست. شما بدون اینکه بدانید، چون وزن های کیسه سیب یکسان و پایا نبودند، دست به بررسی پایایی ابزار اندازه گیری، یعنی ترازو زدید.
تعریف ساده پایایی: پایایی یعنی اینکه ابزار اندازه گیری قابلیت اعتماد داشته باشد و نتایج آن همواره ثابت و یکسان باشد. اما اگر هربار کیسه سیب را روی ترازو می گذاشتید و عدد یکسانی را نشان می داد، یعنی اینکه ترازو پایایی لازم را دارد.
روایی (Validity) فاکتور مهم و حیاتی ابزار اندازه گیری در پژوهش های علمی است و به این مهم اشاره می کند که یک ابزار چقدر روا و درست است و می تواند دقیقاً آن متغیر را سنجش کند. به عبارتی، روایی یعنی اینکه ابزار اندازه گیری مفهوم، سازه یا متغیر را به درستی اندازه گیری کند. مثلاً پرسشنامه هوش عاطفی واقعاً هوش عاطفی را بسنجد و به طور مثال اشتباهاً هوش ارتباطی را اندازه گیری نکند. یعنی وقتی آزمودنی پرسشنامه هوش عاطفی را جواب می دهد، درک کند که این سوالات در راستای هوش عاطفی او هستند.
پایایی (Reliability) هم مانند روایی، فاکتور مهم و سرنوشت ساز ابزار اندازه گیری در تحقیقات علمی به حساب می آید و گویای این مطلب است که ابزار اندازه گیری دقت، ثبات و قابلیت اعتماد بالایی در نتایج خود داشته باشد. به عبارتی، نتایج حاصل از آن ابزار تقریباً یکسان و نزدیک به هم در شرایط مشابه باشد. مثلاً پرسشنامه وفاداری به برند دیجی کالا، زمانی می تواند پایایی داشته باشد که وقتی آن را در طول سال چندبار به مشتریان می دهید، نتایج تقریباً یکسان و مشابهی ارائه دهد. اما اگر هربار مشتری این پرسشنامه را پر کند و نتایج مختلفی به بار بیاورد، این نشان می دهد که پرسشنامه پایا نیست.
اگر یک پرسشنامه روایی داشته، اما فاقد پایایی باشد، یعنی این پرسشنامه درست است، اما کامل نیست و برعکس، اگر پرسشنامه دارای پایایی باشد اما از روایی خبری نباشد، پرسشنامه کامل، اما نادرست می باشد. بر همین اساس بهتر است به ارتباط روایی و پایایی پرسشنامه هم اشاره ای داشته باشیم تا بهتر با این مفاهیم آشنا شویم.
جهت ارتباط روایی و پایایی پرسشنامه باید به تحقیقات بابی و همکارانش که از سال ۱۹۶۰ در همین زمینه آغاز شد، اشاره نمود. آنها در تحقیقات خود برای ارتباط روایی و پایایی نموداری ارائه دادند که محور افقی آن نشان دهنده روایی و محور عمودی گویای پایایی در دو سطح پائین و بالا بود. آنها ارتباط روایی و پایایی را به سیبل هدف تیراندازی (شکل زیر) تشبیه کردند که بر این اساس این ارتباط به چهار حالت تقسیم می شود:
الف) پایایی پائین و روایی پائین: در این حالت تیرها به صورت بسیار پراکنده و نامنظم و با بیشترین خطا به سوی سیبل نشانه گرفته شده اند. پرسشنامه ایی که روایی و پایایی پائینی دارد، به هیچ عنوان استاندارد نیست و نه پرسشنامه درستی از حیث محتوا است و نه کامل است تا نتایج همواره ثابت و پایایی داشته باشد.
ب) پایایی پائین و روایی بالا: در این حالت تیرها به مرکز سیبل برخورد نکرده اند، اما نظم و ترتیب خاصی در پرتاب تیرها وجود دارد. پرسشنامه ای که روایی خوبی داشته باشد، اما فاقد پایایی باشد؛ یعنی اینکه پرسشنامه درست و مرتبط با متغیر است، ولی نمی توان آن را به سایر نمونه ها تعمیم داد و نتایج ثبات بالایی ندارند.
ج): روایی پائین و پایایی بالا: در این حالت تیرها به هم نزدیک هستند، اما به هیچ وجه نزدیک به مرکز سیبل نیستند. پرسشنامه این چنینی اصلاً پرسشنامه دقیق و درستی نیست، اما همواره نتایج یکسان و با ثباتی می دهد.
د) روایی بالا و پایایی بالا: اگر چند تیر همگی به مرکز سیبل اصابت کنند، یعنی ابزار ما هم دقیق و هم از ثبات بالایی برخوردار است و تیرانداز ماهر و با تجربه می باشد. پرسشنامه ایی که هم روایی و هم پایایی بالایی داشته باشد، پرسشنامه قابل اعتمادی است که می توان بر مبنای آن تحقیقات زیادی را پیش برد.
در زیر ۵ فرق بارز در قالب مفاهیمی مجزا بین روایی و پایایی پرسشنامه وجود دارد:
منشأ و مفهوم: روایی به محتوای پرسشنامه مربوط می شود، اما پایایی ثبات و تکرارپذیری پرسشنامه می باشد.
معیار: معیار روایی عمدتاً کیفی و ذهنی است، مانند قضاوت و نظر خبرگان و تحلیل محتوا، ولی معیار پایایی اکثراً کمی و عینی، مانند ضرایب همبستگی و آلفای کرونباخ.
تاثیر خطا: نبود روایی باعث خطای سیستماتیک یا انحراف در اندازه گیری می شود، اما عدم پایایی سبب خطای تصادفی یا پراکندگی در اندازه گیری می گردد.
تقدم و توالی: روایی همواره بر پایایی تقدم دارد، چرا که ابتدا باید مطمئن شد که پرسشنامه همان را که مدنظرمان است می سنجد و سپس می توان ثبات و پایایی را سنجش نمود.
امکان افزایش: روایی را نمی توان صرفاً با اصلاح پرسشنامه ارتقاء داد، زیرا ماهیت آن محتوا است، اما پایایی را می توان با بهبود شرایط اندازه گیری و کنترل عوامل مزاحم افزایش داد.
روایی انواع مختلفی دارد، زیرا هریک از یک جنبه درستی و اعتبار پرسشنامه را می سنجند. 7 نوع روایی وجود دارد که به قرار ذیل هستند:
۱- روایی محتوایی (Content Validity): روایی محتوایی یعنی سوالات و آیتم های پرسشنامه و آزمون دقیقاً محتوای مورد نظر محقق را به صورت جامع و کامل پوشش دهند. جهت تعیین روایی محتوایی از قضاوت متخصصان و خبرگان در آن حوزه استفاده خواهد شد.
مثال: پرسشنامه پیشرفت درس املاء، زمانی دارای روایی محتوایی است که علم دانش آموزان را در خصوص املاء اندازه گیری کند و سوالاتی درباره املاء و پیشرفت آن در طول تحصیل از آنان بپرسد.
۲- روایی صوری (Face Validity): روایی صوری یعنی پرسشنامه و ابزار از نظر ظاهری هدف مورد نظر را بسنجند. در واقع روایی صوری به سه سوال جواب می دهد: ۱- آیا سوالات واضح و قابل درک هستند؟ ۲- آیا دستورالعمل ها روشن و کافی هستند؟ ۳- آیا ظاهر کلی ابزار و پرسشنامه جذاب و حرفه ای است؟ این روایی هم مثل روایی محتوایی با نظر خبرگان و متخصصین مورد سنجش قرار می گیرد.
مثال: پرسشنامه عملکرد کارکنان زمانی دارای روایی صوری است که هم از حیث واضح بودن سوالات، هم دستورالعمل اجرای پرسشنامه و گزینه ها و هم ظاهر کلی و حرفه ای پرسشنامه با متغیر عملکرد کارکنان همسو باشد.
۳- روایی همگرا (Convergent Validity): روایی همگرا یعنی سوالات این ابزار چقدر با یکدیگر دارای ارتباط و همبستگی هستند و هرچقدر این همبستگی درونی، بیشتر باشد، نشان از آن دارد که سوالات به صورت متمرکز یک مفهوم و متغیر را می سنجند؟ و این امر در واقع اعتبار و اطمینان بیشتری به ابزار و پرسشنامه ما خواهد داد. این روایی با فرمول و نرم افزار مورد سنجش قرار می گیرد.
مثال: فرضاً پرسشنامه اضطراب زمانی دارای روایی همگرا است که تمامی سوالات با یکدیگر همبستگی درونی و همسانی درونی زیادی داشته باشند، درواقع این ارتباط نشان می دهد که سوالات اضطراب به صورت همگرا و متمرکز، یک مفهوم یعنی اضطراب را می سنجند.
۴- روایی واگرا (Divergent Validity): روایی واگرا یا تشخیصی یعنی سوالات یک بعد از پرسشنامه با سوالات بعدی دیگری از آن پرسشنامه ارتباط چندانی نداشته باشند و مستقل از هم عمل نمایند و یا به عبارتی با یکدیگر افتراق داشته و قابل تمایز باشند. این روایی درست نقطه مقابل روایی همگرا است. در واقع در روایی همگرا تلاش داریم که سوالات یک بعد با هم ارتباط زیادی داشته باشند، در حالی که در روایی واگرا سعی داریم سوالات هر بعد با سوالات بعد دیگر ارتباط چندانی نداشته باشند. این روایی هم مثل روایی همگرا با فرمول و نرم افزار مورد سنجش قرار می گیرد.
مثال: پرسشنامه تعهد سازمانی دارای سه بعد تعهد عاطفی، تعهد هنجاری و تعهد مستمر است. زمانی پرسشنامه تعهد سازمانی دارای روایی همگرا است که سوالات هر بعد با هم همبستگی بالایی داشته باشند، در حالی که روایی واگرا یعنی اینکه مثلاً سوالات بعد تعهد عاطفی ارتباط چندانی با سوالات بعد تعهد هنجاری یا برعکس نداشته باشند.
۵- روایی سازه (Construct Validity): روایی سازه یعنی نتایج حاصل از ارتباط متغیر و سنجه ها با نظریات و تئوری های مطرح شده در آن حوزه سازگاری و مطابقت زیادی داشته باشند. روایی سازه براساس دو روایی همگرا و واگرا مورد ارزیابی و سنجش قرار می گیرد. در حقیقت زمانی یک سازه (ارتباط چند متغیر با یکدیگر) دارای روایی سازه است که نمرات حاصل از اجرای آن با مفاهیم نظری و سازه های مشابه ارتباط داشته باشد.
مثال: در یک سازه دو متغیر رضایت زناشویی و خشنودی زناشویی وجود دارد. زمانی می توان گفت که این سازه روایی مناسبی دارد که اولاً روایی همگرا که در بالا توضیح دادیم رعایت شود. دوماً روایی واگرا طبق توضیحات پیشین تائید گردد و سوماً تعامل و ارتباط رضایت زناشویی و خشنودی زناشویی همسو و مرتبط با ادبیات نظری باشد و اگر اکثر ادبیات نظری تائید کرده اند که رضایت زناشویی سبب خشنودی زناشویی می شود، در سازه شما هم همین نتیجه بدست آید، این یعنی سازه شما دارای روایی است.
۶- روایی ملاک همزمان: روایی ملاک (Criterion Validity) یا روایی وابسته به ملاک یا معیار، زیرمجموعه روایی سازه است و بدان معناست که نمرات حاصل از پرسشنامه یا ابزار مورد نظر با پرسشنامه ها یا ابزارهای دیگر همخوانی داشته باشد. این روایی دو بخش دارد که یکی روایی ملاک همزمان (Concurrent Validity) و دیگری روایی ملاک پیش بین (Predictive Validity) است. روایی ملاک همزمان بدان معناست که پرسشنامه مورد نظر شما با پرسشنامه دیگری که دارای روایی صوری است و از پیش تائید شده است، همخوان باشد.
مثال: پرسشنامه فرسودگی شغلی کارکنان دولتی، زمانی دارای روایی ملاک همزمان است که با سایر پرسشنامه های فرسودگی شغلی همخوان و متجانس باشد. در واقع وقتی ادبیات نظری در حوزه فرسودگی شغلی در سازمان های دولتی نشان می دهد که فرسودگی شغلی در سطح بالایی است و پرسشنامه فرسودگی شغلی شما هم همین نتیجه را بدست آورد، می توان نتیجه گرفت که پرسشنامه شما دارای روایی ملاک همزمان است. البته اگر روایی همگرا و واگرا پرسشنامه مورد تائید و نتایج یکسان با ادبیات نظری باشد، هم دارای روایی سازه خواهیم بود و هم روایی ملاک همزمان.
۷- روایی ملاک پیش بین: روایی ملاک پیش بین یعنی پرسشنامه یا ابزار ما می تواند واقعیتی از آینده را پیش بینی کند که با ادبیات نظری همخوانی دارد. البته این روایی نمی تواند همه ابزارها و پرسشنامه ها را دربر بگیرد و باید این پرسشنامه خود پیشگویی کننده سایر مفاهیم و متغیرهای دیگر در آینده باشد.
مثال: در سازمانی از کارکنان جدید الورود در بدو استخدام، پرسشنامه توانمندی شغلی گرفته شد و بسته به توانمندی، هر شخصی نمره ای در حد بالا، متوسط یا پائین از آن گرفت. اکنون بعد از گذشت یک سال از همان کارکنان، ارزیابی عملکرد گرفته می شود و اگر نمرات ارزیابی عملکرد آنها با پرسشنامه توانمندی شغلی در بدو استخدام همخوانی داشته باشد، یعنی پرسشنامه توانمندی شغلی از روایی ملاک پیش بین بالایی برخوردار است. مثلاً کارمندی که یکسال قبل نمره مورد قبولی در پرسشنامه توانمندی شغلی کسب کرده است و حالا نیز در ارزیابی عملکرد نمره بالایی به دست آورده است، این امر نشان می دهد که پرسشنامه توانمندی شغلی از روایی ملاک پیش بین بالایی برخوردار است.
پایایی هم درست مانند روایی، انواع و اقسامی دارد که در زیر به بررسی آنها می پردازیم:
۱- پایایی مجدد (بازآزمون): پایایی مجدد (Test-retest Reliability) یعنی پرسشنامه در طول زمان ثبات بالایی دارد و پرسشنامه را در طول زمان دوبار به آزمودنی می دهیم و اگر بین نتایج همبستگی زیادی باشد، پایایی مجدد پرسشنامه بالا است. عملاً این پایایی اثر محیط، حالات جسمی و روانی و گذر زمان آزمودنی را لحاظ می کند و نشان می دهد که آزمودنی حتی با گذر زمان هم تغییری در حوزه مورد نظر نکرده است.
مثال: ابتدای تیرماه پرسشنامه اعتماد مشتری را به مشتریان برند پوما می دهید و اکنون در ابتدای مهرماه مجدد همان پرسشنامه به همان آزمودنی ها داده می شود و اگر بین نتایج دو پرسشنامه همبستگی معناداری مشاهده شود، نشان از پایایی مجدد بالایی در پرسشنامه اعتماد مشتری است.
۲- پایایی موازی (همگن): پایایی موازی یا همگن (Parallel/Eguivalent forms Reliability) یعنی دو فرم متفاوت از یک پرسشنامه با هم همبستگی بالایی داشته باشند و این پایایی فقط مختص پرسشنامه ها یا ابزارهایی است که فرم های مختلفی دارند. هرچه همبستگی بین دو فرم بیشتر باشد، پرسشنامه از پایایی موازی یا همگن بودن بالایی برخوردار است. شرط لازم این است که هر دو فرم از نظر محتوایی یکسان باشند و محتوای یکسانی را بسنجند.
مثال: می خواهید سطح سواد تربیتی والدین را مورد سنجش قرار دهید. یک فرم سواد تربیتی والدین را به خود آنان و فرم دیگر را به فرزندانشان می دهید. اگر بین نتایج هر دو فرم همبستگی بالایی باشد، یعنی پرسشنامه سواد تربیتی والدین از پایایی موازی بالایی برخوردار است.
۳- پایایی درونی آلفای کرونباخ: (Cronbach’s alpha internal reliability) این نوع پایایی به همبستگی درونی بین آیتم ها و سوالات یک پرسشنامه می پردازد و بررسی می کند که آیا همه سوالات پرسشنامه یک مفهوم را می سنجند؟ اگر پرسشنامه بیشتر از دو گزینه داشته باشد، برای محاسبه پایایی درونی می توان از ضریب آلفای کرونباخ استفاده کرد. هرچقدر این مقدار بیشتر از ۷۰ درصد باشد، یعنی پایایی درونی بالا است.
مثال: ضریب آلفای کرونباخ پرسشنامه سواد عاطفی بیشتر از ۰/۷ یا ۷۰ % شده است که نشان می دهد نوعی همسانی درونی و یا پایایی درونی در پرسشنامه سواد عاطفی وجود دارد و این پرسشنامه دارای پایایی است.
۴- پایایی درونی کودر ریچاردسون: (Coder Richardson’s internal reliability) این پایایی هم به همبستگی بین سوالات یک ابزار می پردازد و متخص پرسشنامه های دو گزینه ای است و معروف به پایایی کودر-ریچاردسون (KR-20 یا KR-21) است. اگر همه سوالات پرسشنامه از لحاظ دشواری شبیه به هم باشند، از فرمول KR-21 و در غیر اینصورت از فرمول KR-20 استفاده خواهد شد.
مثال: اگر پایایی پرسشنامه دوگزینه ای افسردگی بک با شیوه کودر-ریچاردسون بیشتر از ۰/۷ یا ۷۰ درصد باشد، یعنی این پرسشنامه دارای پایایی مناسبی است.
۵- پایایی درونی دو نیمه کردن: پایایی دو نیمه کردن (Split-half reliability) نوعی از پایایی درونی است که با استفاده از این شیوه، پرسشنامه را به دو بخش یا نیمه تقسیم می کنیم و سپس نمرات هر بخش را با هم ارتباط می دهیم و اگر همبستگی بین دو نیمه بالا باشد، از پایایی مناسبی برخوردار خواهد بود. به طور مثال، سوالات فرد پرسشنامه در یک نیمه و سوالات زوج در نیمه دیگر یا بخش اول سوالات پرسشنامه در نیمه اول و بخش دوم سوالات در نیمه دوم جای می گیرند و دو بخش یا دو نیمه ارتباط داده می شوند. ارتباط این دو نیمه با آزمون های اسپیرمن یا گاتمن صورت می پذیرد.
مثال: پرسشنامه درگیری شغلی که دارای ۴۰ سوال است را به دو بخش تقسیم می کنیم، نیمه اول (سوالات ۱ تا ۲۰) و نیمه دوم (سوالات ۲۱ تا ۴۰) و طبق آزمون های فوق اگر همبستگی بالایی بین دو نیمه باشد، نشان می دهد که پرسشنامه درگیری شغلی از پایایی درونی بالایی برخوردار است.
۶- پایایی بین ارزیاب ها: پایایی بین ارزیاب ها (Inter-rater/observer reliability) یعنی بین ارزیاب ها یا مشاهده گرها در نمره دهی پرسشنامه توافق و همبستگی وجود دارد. اگر چند ارزیاب به یک پرسشنامه نمره بدهند و توافق بین نمرات بالا باشد، یعنی پایایی مناسبی وجود دارد.
مثال: در مسابقات شیرجه هر داور نمره ای به ورزشکار می دهد که اگر نمرات نزدیک بهم باشند، فرم نظرسنجی شیرجه از پایایی بالایی برخوردار است.
7- پایایی امگا مک دونالد: پایایی امگا مک دونالد (McDonalds Omega reliability) نوعی از پایایی درونی محسوب می شود که توسط مک دونالد در سال ۱۹۹۹ ارائه گردید. این شیوه نسبت به آلفای کرونباخ دقیق تر اما پیچیده تر است. لازمه این روش آن است که ماتریس واریانس-کوواریانس آیتم های پرسشنامه وجود داشته و سپس براساس روابط پیچیده ریاضی، پایایی محاسبه می شود.
مثال: پرسشنامه رضایت ارباب رجوع ۱۵ سوال دارد و اگر ماتریس واریانس-کوواریانس هر سوال در اختیار شما باشد، می توانید با این فرمول و براساس نرم افزارهای آماری پایایی را محاسبه کنید.
روایی و پایایی در رویکرد کمی دقیقاً همه مواردی است که در بخش های پیشین (انواع روایی و انواع پایایی) اشاره شد و همانطور که گفته شد روایی در بخش کمی یعنی اینکه ابزار یا پرسشنامه واقعاً آن چیزی را می سنجد که قصد سنجش آن را دارید و پایایی به ثبات و قابلیت اعتماد و تکرارپذیری نتایج ابزار یا پرسشنامه مرتبط می شود.
در رویکرد کیفی، روایی و پایایی پرسشنامه به گونه ای متفاوت از رویکرد کمی هم تعریف و هم مورد سنجش قرار می گیرد:
تعریف روایی کیفی: روایی کیفی یعنی اینکه یافته ها و تفسیرهای پژوهشگر دارای اعتبار و دقت کافی باشد.
انواع روایی کیفی:
۱- مثلث سازی (Triangulation): مثلث سازی یک روش کلیدی برای سنجش روایی در پژوهش کیفی است و به چهار حالت مثلث سازی داده (استفاده از منابع داده متعهد مانند مصاحبه، مشاهده و سند و مدرک برای بررسی یک پدیده)، مثلث سازی پژوهشگر (درگیر نمودن چند پژوهشگر در فرایند جمع آوری و تحلیل جهت کاهش سوگیری های فردی و شخصی)، مثلث سازی نظری (استفاده از چارچوب های نظری گوناگون در حوزه مورد نظر) و مثلث سازی روشی (بهره گیری از روش های متعدد برای جمع آوری اطلاعات از قبیل، پرسشنامه، مصاحبه، مشاهده و غیره) تقسیم می شود.
۲- بازبینی توسط همتایان (Peer Review): انتقال و ارائه داده ها و نتایج به خبرگان، پژوهشگران و متخصصین امر جهت دریافت بازخورد در زمینه کدهای مستخرج شده
۳- توصیف غنی (Rich Description): ارائه توضیحات و توصیفات غنی علمی و عمیق از پدیده مورد مطالعه براساس چارچوب های نظری معتبر
۴- اخد تائید از مشارکت کنندگان (Member Checking): ارائه تفسیرها و خروجی نتایج به مشارکت کنندگان و مصاحبه شوندگان از حیث درست بودن و مطابقت با دیدگاه های آنان
تعریف پایایی کیفی: پایایی در رویکرد کیفی یعنی یافته ها قابلیت تکرار و اعتماد را داشته باشند و اگر مطالعه توسط محقق در زمان و یا مکان دیگری صورت گیرد، نتایج مشابه ای را بدهد.
انواع پایایی کیفی:
۱- ردیابی مسیر تحقیق (Audit Trail): در این روش فرایندهای پژوهش از ابتدا تا انتها به صورت دقیق و کامل و البته قابل ردیابی، ثبت می شوند. اجزای این ردیابی باید شامل ثبت مستندات در حوزه های ۱: روش شناسی پژوهش مانند روش پژوهش و جامعه و نمونه بخش کیفی و از همه مهمتر طریقه سنجش روایی ۲: جمع آوری داده ها و به طور مثال فایل های صوتی مصاحبه ۳: کدگذاری، تفسیر و نتایج پژوهش باشد.
۲- بررسی همتا (Peer Debriefing): بحث و مشورت گرفتن از همکاران و متخصصین در مورد روش پژوهش، جمع آوری داده ها و شیوه استخراج یافته ها جهت دریافت بازخورد و کاهش سوگیری های شخصی محقق است.
۳- ثبات داده ها (Data Stability): جمع آوری داده ها در طول زمان و بررسی ثبات نتایج و یافته ها در این دوره زمانی
۴- توصیف واضح روش ها (Clear Method Description): توصیف واضح و دقیق روش جمع آوری و تحلیل داده ها برای امکان تکرار پذیری توسط محقق و سنجش صحت خروجی ها
در کل روایی و پایایی در رویکرد کیفی سخت تر و زمانبر تر از رویکرد کمی است، زیرا بیشتر شیوه های اندازه گیری روایی و پایایی در رویکرد کمی با استفاده از روش های روشن و فرمول های از پیش تعیین شده می باشند.
شاید کمی عجیب به نظر برسد که قرار است راجع به پایایی کیفی آن هم با استفاده از ضرایب کمی صحبت کنیم.
بسیاری از محققان صاحب نظر کیفی، استفاده از ضرایب کمی را برای سنجش پایایی کیفی، درست نمی دانند و مخالف آن هستند. اما از آنجا که ضرایب کمی در نهایت به مقداری واضح و روشن دست پیدا می کنند که می توانند مفهوم پایایی را در رویکرد کیفی روشن تر نمایند، بنابراین همین ضرایب کمی در پایایی کیفی، طرفداران خاص خودشان را دارد و به همین دلیل قصد داریم چهار ضریب کمی را برای سنجش پایایی کیفی کامل توضیح دهیم:
۱- ضریب هولستی (Holstis Coefficient): این ضریب جهت محاسبه توافق میان دو یا چند ارزیاب یا کدگذار در رویکرد کیفی صورت می گیرد. محاسبه آن از طریق فرمول M/N انجام می شود که N تعداد کل موارد مورد بررسی است و M تعداد مواردی است که ارزیابان روی آن توافق دارند. دامنه این ضریب بین صفر (عدم توافق) تا یک (توافق کامل) است که معمولاً اگر این ضریب بالاتر از ۰/۸ باشد، پایایی مورد قبول است.
مثال: در یک مطالعه کیفی با عنوان (آسیب شناسی کودکان خیابانی) دو ارزیاب مستقل، از طریق مشاهده کودکان خیابانی ۱۰۰ کد را مجموعاً استخراج کردند که روی ۸۲ مورد آن هر دو توافق دارند (به عبارتی، هر دو ۸۲ کد مشابه را استخراج کردند). ضریب هولستی می شود ۸۲ تقسیم بر ۱۰۰ که جواب ۰/۸۲ خواهد بود و این امر نشان می دهد که این پژوهش کیفی از پایایی مطلوبی برخوردار است.
۲- ضریب پی اسکات (Pi Scott): ضریب پی اسکات یا کاپای اسکات جهت سنجش توافق و هماهنگی نظر چند ارزیاب کیفی استفاده می شود. این معیار توافق تصادفی را در نظر می گیرد و محدوده آن بین ۰ تا ۱ است که مقادیر بیشتر از ۰/۸ نشان دهنده توافق قوی بین ارزیابان است.
فرمول محاسبه: Pi=(Po-Pe)/(1-Pe)
میزان توافق مشاهده شده بین ارزیابان:Po
میزان توافق تصادفی مورد انتظار :Pe
مثال: فرض بر این است که دو ارزیاب ۲۰ محصول را در سه رده کیفی خوب، متوسط و بد مورد بررسی قرار داده اند:
ارزیاب ۱: خوب=۸، متوسط=۷، ضعیف=۵
ارزیاب ۲: خوب=۶، متوسط=۹، ضعیف=۵
۶ توافق در سطح خوب، ۷ توافق در سطح متوسط، ۵ توافق در سطح ضعیف بین دو ارزیاب وجود دارد.
مجموع توافق مشاهده شده: ۶+۷+۵=۱۸
Po: 18/20= 0.9
توافق تصادفی مورد انتظار: (۶/۲۰*۸/۲۰)+(۷/۲۰*۹/۲۰)+(۵/۲۰*۵/۲۰)=(۰٫۱۲)+(۰٫۱۶)+(۰٫۰۶)=۰٫۳۴
۰٫۸۴=(۰٫۶۶)/(۰٫۵۶)=(۰٫۳۴ – ۱)/(۰٫۳۴ – ۰٫۹)=Pi=(Po-Pe)/(1-Pe)
۳- ضریب کاپای کوهن (Cohen’s Kappa): این ضریب جهت توافق بین تنها دو ارزیاب برای داده های کیفی است و فرمول آن شبیه فرمول ضریب پی اسکات است با این تفاوت که در فرمول توافق تصادفی هر توافقی به توان دو می رسد. دامنه این ضریب بین ۰ تا ۱ است که اگر ضریب بیشتر از ۰٫۸ باشد، یعنی توافق در سطح بالا و مطلوبی است و در بازه ۰٫۶۱ تا ۰٫۸ یعنی توافق در سطح خوب و در بازه ۰٫۴۱ تا ۰٫۶ یعنی در سطح متوسط و کمتر از ۰٫۴۱ یعنی توافق ضعیف و غیرقابل قبول است.
مثال: از مثال ضریب پی اسکات برای ضریب کاپای کوهن استفاده می کنیم:
مجموع توافق مشاهده شده: ۶+۷+۵=۱۸
Po: 18/20= 0.9
توافق تصادفی مورد انتظار: (۲^۶/۲۰*۲^۸/۲۰)+(۲^۷/۲۰*۲^۹/۲۰)+(۲^۵/۲۰*۲^۵/۲۰)=(۰٫۰۱۴)+(۰٫۰۲۵)+(۰٫۰۰۳)=۰٫۰۴۲
۰٫۸۹=(۰٫۹۵)/(۰٫۸۵)=(۰٫۰۴۲ – ۱)/(۰٫۰۴۲ – ۰٫۹)=Pi=(Po-Pe)/(1-Pe)
σ^۲ X : واریانس نمرات ارزیاب اول
σ^۲ Y : واریانس نمرات ارزیاب دوم
σ^۲ D : واریانس تفاوت های بین نمرات دو ارزیاب
N : تعداد موراد (افراد) مورد ارزیابی
مثال: فرض کنید دو ارزیاب میزان عملکرد ۶ کارمند را از یک تا ۵ نمره گذاری کرده اند و می خواهیم بدانیم آیا بین نتایج این دو ارزیاب پایایی مناسبی وجود دارد:
نمرات ارزیاب ۱ (X): 4-3-5-2-4-3
نمرات ارزیاب ۲ (Y): 3-4-4-3-5-1
σ^۲ X : واریانس نمرات ارزیاب اول: ۰٫۹۱۶۷
σ^۲ Y : واریانس نمرات ارزیاب دوم: ۱٫۵۵۵۶
σ^۲ D : واریانس تفاوت های بین نمرات دو ارزیاب: ۰٫۱۳۸۹
N : تعداد موراد (افراد) مورد ارزیابی: ۶ نفر
α : آلفای کریپندورف: ۰٫۶۷۷۴
همانطور که ملاحظه می کنید مقدار این ضریب بین ۰٫۶۱ الی ۰٫۸ است که نشان دهنده پایایی خوبی بین دو ارزیاب است.
روایی و پایایی در پایان نامه شامل سه بخش است:
۱- تعریف: در حد یک پاراگراف کوتاه و مختصر ابتدا تعریف روایی و سپس تعریف پایایی براساس منابع معتبر و به روز آورده شود:
۲- شیوه اندازه گیری: می بایست در این بخش توضیح داده شود که در پژوهش شما، ابتدا روایی با چه شیوه ایی و سپس پایایی از چه طریقی سنجش می شود.
۳- نتایج: آنگاه به تفکیک، خروجی روایی و پایایی را به صورت واضح با ذکر اینکه روایی و پایایی در پژوهش شما در چه سطحی هستند، توضیح دهید. به طوری که مقادیر آن به توسط فرمول یا محاسبات نرم افزاری بیان گردد.
روایی و پایایی معمولاً در پایان نامه در بخش روش تحقیق یا روش شناسی پژوهش که اکثراً در فصل سه است، آورده می شود. اصولاً بعد از توضیح ابزار اندازه گیری یا ابزار گردآوری داده ها، تیتر و بخش روایی و پایایی در پایان نامه آورده می شود. همچنین روایی و پایایی در مقاله هم در همین بخش آورده می شود، با این تفاوت که می بایست آن را خلاصه تر نوشت و از آوردن توضیحات اضافی مثل تعریف روایی و پایایی (بخش اول) چشم پوشی کرد.
روایی پرسشنامه تحت تاثیر عوامل زیادی است که در زیر به طور کامل آنها را توضیح داده ایم:
۱- محتوای سوالات: سوالات پرسشنامه باید با موضوع مورد مطالعه و همچنین گزاره های پژوهش همخوان باشد. هرچه محتوای سوالات مناسب تر و کامل تر باشد، روایی بیشتر خواهد شد.
۲- شفافیت سوالات: سوالات پرسشنامه باید برای آزمودنی واضح و قابل درک باشد. هرچه این شفافیت بیشتر باشد، سوءگیری کمتر و روایی بیشتر خواهد شد.
۳- طراحی پرسشنامه: طراحی پرسشنامه از حیث ساختار و ترتیب سوالات و همچنین شکل ظاهری باید به گونه ای باشد که پاسخگو راحت بتواند به سوالات پاسخ دهد. این طراحی هرچقدر حرفه ای تر باشد، روایی افزایش پیدا می کند.
۴- نمونه مورد مطالعه: پرسشنامه باید با نیازها و ادراک نمونه مورد مطالعه همخوان باشد. زمانی که پرسشنامه با نیازها و فهم نمونه مورد مطالعه همسو نباشد، درک انها کمتر و به تبع روایی کاهش پیدا می کند.
۵- روش اجرا: نحوه اجرای پرسشنامه از حیث حضوری، آنلاین، تلفنی و پستی باید با ماهیت پرسشنامه و اهداف پژوهش یکی باشد. روش نامناسب به شدت می تواند روایی را کاهش دهد. بارها دیده شده است پرسشنامه ای که باید حضوری پخش می شده است، به صورت آنلاین توزیع شده و همین امر روایی را کاهش داده است.
عوامل متعددی بر پایایی پرسشنامه تاثیر دارند که در اینجا برخی از مهمترین آنها را توضیح خواهیم داد:
۱- طول پرسشنامه: هرچه طول پرسشنامه بیشتر باشد، پایایی هم بیشتر است، زیرا خطاهای اندازه گیری و تصادفی خنثی تر می شوند. اما باید در نظر گرفت که تعداد سوالات زیاد پرسشنامه تاثیر زیادی بر خستگی و کاهش حوصله آزمودنی می گذارد.
۲- وضوح پرسشنامه: وضوح پرسشنامه سبب درک بهتر آزمودنی و باعث افزایش همگرایی پاسخ ها می گردد، زیرا سوالات گنگ و مبهم باعث سردرگمی و تفسیرهای متفاوت پاسخ دهنده و به تبع پراکندگی پاسخ ها و کاهش پایایی خواهد شد.
۳- یکنواختی مقیاس: استفاده از مقیاس یکنواخت برای تمامی سوالات سبب می شود که پاسخ های مختلف قابل مقایسه و ترکیب پذیر شده و این امر همگرایی سوالات را به شدت بیشتر و پایایی را ارتقاء خواهد داد.
۴- محیط پاسخ دهی: هرچقدر محیط پاسخ دهنده آرام و عاری از عوامل حواس پرتی باشد، تمرکز وی بیشتر و پاسخ ها دقیق تر خواهند شد و همین دقت در پاسخ ها همگرایی را بیشتر و باعث افزایش پایایی می شود.
۵- ویژگی های جمعیت شناختی پاسخ دهنده: هرچقدر پاسخ دهندگان از نظر ویژگی های جمعیت شناختی مثل جنسیت، سن، تحصیلات، فرهنگ، شغل و … با هم نزدیکتر باشند، درک و تفسیر آنها از پرسشنامه ها نزدیکتر و این امر همگرایی و به تبع پایایی را بیشتر خواهد کرد.
۶- راهنمایی پاسخ دهنده: هرچقدر پرسشگر بتواند راهنمایی و آموزش بهتری به پاسخ دهنده بدهد، درک او بیشتر و به تبع پاسخ های بهتری می دهد و این امر پایایی را به دنبال خواهد داشت. عدم آموزش باعث سوء برداشت و کاهش ادراک پاسخ دهنده خواهد شد.
زمانی که شما وارد فروشگاه آدیداس می شوید، اولین چیزی که در ذهن شما درباره این برند تداعی می شود، اعتبارش است، اما وقتی کفشی را انتخاب می کنید و به صندوق می برید، می بینید که فروشنده دوبرابر قیمت با شما حساب کرد، آن لحظه احساس نبود اعتماد در شما ایجاد می شود. با اینکه برند آدیداس اعتبار دارد، اما به فروشنده اعتماد ندارید. اعتبار و اعتماد در هر موردی باید با یکدیگر باشند و نبود یکی باعث می شود که دیگری هیچ ارزشی نداشته باشد.
همانطور که قبلاً در تعریف روایی و پایایی پرسشنامه اشاره کردیم، روایی یعنی اعتبار و پایایی یعنی اعتماد و نبود یکی باعث بی ارزش بودن آن ابزار اندازه گیری خواهد شد. پس هیچ فرضی نیست که بگوید این بهتر از آن دیگری است. باید در پژوهش خود حتماً به ترتیب اول روایی و بعد پایایی را انجام دهید و انجام یکی به تنهایی کیفیت پژوهش شما را به شدت کاهش می دهد.
بعد از توضیحات مفصل درباره روایی و پایایی پرسشنامه می توان در کل به این نتیجه گیری رسید که روایی و پایایی دو رکن اساسی برای یک پرسشنامه محسوب می شوند تا باعث سه مهم زیر شوند:
۱- سوالات پرسشنامه به درستی منظور پژوهش را به پاسخ دهنده برسانند.
۲- پاسخ ها دقیقاً منعکس کننده دیدگاه آزمودنی باشند.
۳- نتایج حاصل از پرسشنامه، قابل اعتماد و اطمینان باشد.
پس روایی یعنی دقت و پایایی یعنی ثبات.
ابزاری که دارای روایی و پایایی مناسبی است، دقیقاً مفهوم مورد نظر شما را می سنجد و در زمان و شرایط مختلف دارای ثبات است.
روایی و پایایی قلب تپنده هر پرسشنامه ای است.
ما به شما کمک می کنیم که پژوهش تان راحت تر و با علم بیشتری پیش برود. مجموعه آرمان پژوهان با ۱۳ سال سابقه فعالیت آماری و پژوهشی به هزاران پژوهشگر کمک کرده تا این مسیر ارزشمند را به درستی طی نمایند.
تمامی حقوق برای سایت آرمان پژوهان محفوظ است.
