تلاش برای تکرار نتایج ۲۱ مطالعه علوم اجتماعی که در دو ژورنال علمی معتبر منتشر شدند، هشداری در زمینه قابل اعتماد بودن تحقیقات علمی است. این پرسش که تا چه حد می‌توان به مطالعاتی که تنها یک بار انجام شده اند اطمینان کرد، چندان جدید نیست. اما این خطر که بحران تکرارپذیری نامیده می‌شود، مزایایی دارد که بهتر است آن‌ها را از دست ندهیم.
مقاله مرتبط: تکرار تحقیقات، باید به کاری ضروری و عادی در علم تبدیل شود
چندین سال پیش، تمرکز دانشمندان بر روی روانشناسی و این پدیده ناخوشایند بود که تکرار اغلب مطالعات تاثیرگذار منجر به تولید نتایج یکسان با مطالعه اولیه نمی‌شد. شرایط در سایر زمینه‌ها نیز این‌گونه بوده است. در پروژه Experimental Economics Replication، محققان ۱۸ پژوهش را که در دو ژورنال کلیدی اقتصاد بین سال‌های ۲۰۱۱ تا ۲۰۱۴ چاپ شده بودند، تکرار کردند. تنها در ۱۱ مورد تطابق فراوانی میان نتایج حاصله وجود داشت.
پروژه‌ای توسط US Centre for Open Science and Science Exchange در حال انجام است که موضوع آن تکرار پژوهش‌های مهم در زمینه سرطان است. در این مورد نیز چالش‌های پیش رو مشابه هستند: میزان موفقیت تکرار نتایج گذشته تنها در حدود ۴۰ درصد است.
این بار، گروهی از محققان به سرپرستی California Institute of Technology توجه خود را به سمت علوم اجتماعی منعطف کرده‌اند. این تیم به صورت سیستماتیک مقالاتی را که بین سال‌های ۲۰۱۰ تا ۲۰۱۵ در مجلات Nature و Science منتشر شده‌اند را انتخاب و متدهای آن‌ها را تکرار می‌کنند. آنان تنها یک تغییر در پروتکل‌ها ایجاد کردند: در هر کدام از موارد اندازه نمونه تست شده ۵ برابر بزرگتر انتخاب شد تا توانایی آن‌ها را افزایش دهد.
Science و Natureدر زمینه داروری همتایان (peer-review) بسیار قدرتمند هستند. محققانی که مقالاتشان در این ژورنال‌ها منتشر می‌شود، به خوبی می‌دانند که علاوه بر دیده شدن مقاله، اعتماد به آن نیز بیشتر خواهد بود. اما سوال این است که آیا این اعتماد همیشه تضمین شده است؟
مقاله مرتبط: چگونه یک مقاله علمی را در پنج مرحله بخوانیم؟
محققان در ۱۳ آزمایش به نتایجی دست یافتند که کم وبیش در امتداد مطالعات اصلی بود. آن‌ها درصد موافقتی بین ۵۷ تا ۶۷ برای این موضوع تعیین کردند. با در نظر گرفتن اندازه تاثیرات، نتایج به طور میانگین ۵۰ درصد ضعیف تر بودند. پس با اینکه بسیاری از مطالعات تکرارشده، نتایجی هم سو با مطالعات اصلی داشتند، مطالعات اصلی غالبا دارای اغراق در نتایج خود بودند. تنها چهار مقاله از ژورنال Nature انتخاب شدند، اما تیم تنها قادر به تکرار نتایج سه مورد از آن‌ها شد. همچنین محققان نتوانستند نتایج ۷ مقاله از بین ۱۷ مقاله انتخاب شده از Science را بازتولید کنند.
البته باید این موضوع را در نظر گرفت که عدم تکرارپذیری نتایج، باعث اشتباه تلقی شدن نتایج مطالعه اصلی نمی‌شود. در واقع این موضوع ما را شرایطی مشکوک به نتایج قرار می‌دهد و باعث می‌شود که آن‌ها را مورد سوال قرار داده و اعتمادمان را نسب به آن‌ها کاهش دهیم. همچین ناتوانی در رسیدن به نتیجه‌گیری‌های یکسان کل داده‌ها را نامعتبر نمی‌کند. مفهوم یکسان است و این نتیجه‌گیری‌های متفاوت هستند که ممکن است اطلاعات و حتی برخی از یافته‌ها را نادرست جلوه دهند.
خوشبختانه این موارد در علوم اجتماعی مطرح نیستند. نتایج یک بررسی نشان داده است که پیش‌بینی تکرارپذیری و عدم تکرارپذیری نتایج امکان پذیر است. این موضوع بیانگر آن است که جامعه علمی دارای مهارت‌های تفکر خلاقانه‌ای است که به آن‌ها کمک می‌کند هر جا که لازم است، در مورد نتایج اغراق کنند.
این یافته‌ها می توانند به ما در توسعه متدهای مورداستفاده در طراحی و اجرای آزمایشات کمک کنند و به کشف روش‌های بهتری در گزارش نتایج قابل توجه از لحاظ آماری منجر شوند. مواقعی که نتایج دو مطالعه کاملا بر خلاف یکدیگر است، احتمال این که متغیر مستقل دیگری عامل این تناقض باشد وجود دارد. این تاثیر که از دید محققان پنهان مانده است، می‌تواند کلید درک این پدیده باشد. پس بحران تکرارپذیری نتایج، نه تنها موجب ضعف علم نیست، بلکه راه را به سمت تولید علم باز می‌کند.
به منظور بهره جستن از این مورد باید یک بازنگری جدی در نحوه انجام تحقیقات علمی داشته باشیم. تکرار همه تحقیقات ممکن است عملی نباشد. اما باید بدانیم که چگونه می‌توان تکرار آن‌هایی را که بیشترین سود را برایمان خواهند داشت، در اولویت قرار دهیم.
پیشنهاد برخی از محققان، تجدید نظر در نحوه گزارش داده‌های قابل توجه از لحاظ آماری بوده است؛ به این معنا که باید پیش از انتشار، نتایج غیرمتقاعدکننده را حذف نماییم. نظر برخی دیگر نیز ثبت هدف از انتشار مقاله پیش از اتمام آن است. این موضوع باعث می‌شود که از حذف آزمایشاتی که مطابق انتظار پیش نرفته‌اند، جلوگیری به عمل آید. درنتیجه، دید دقیق‌تری نسبت به آن پژوهش خواهیم داشت.
پس بحران تکرارپذیری در علم در واقع یک بحران نیست. بهتر است آن را فرصت تکرارپذیری بدانیم و امید به کسب مزایای آن داشته باشیم.
