آن سوی تاریک علم را روشن کنید

اغلب دانشمندان به دلایل مختلف تمایل دارند که تنها نتایج مثبت مطالعات خود را گزارش و منتشر کنند. پژوهشگران به دنبال روش هایی هستند که آن ها را به انتشار نتایج منفی نیز تشویق کنند.

به گزارش ویکی سلامت، به نقل از ویکی سلامت، هدف از انتشار مقالات علمی این است که پژوهشگران همکاران خود را از یافته های مطالعات خود آگاه کنند. موضوعی که در دهه اخیر باعث بروز چالش هایی جهانی در حوزه پژوهش شده، این است که تمامی مطالعات و پژوهش های انجام شده توسط پژوهشگران به نتایج مثبت منتج نمی شوند؛ بلکه بخش قابل توجهی از مطالعات نتیجه منفی دارند و به نتیجه ای پوچ و بی معنی می رسند. با این حال بیشتر پژوهشگران به دلایل مختلف تمایل دارند که تنها نتایج مثبت مطالعات خود را گزارش و منتشر کنند. همین موضوع چالش های مختلفی را به همراه داشته است و سبب شده که برخی پژوهشگران به دنبال راه های جدیدی برای تشویق همکارانشان به انتشار نتایج منفی باشند.

مجله نیچر در گزارشی به بررسی موانع انتشار نتایج منفی و مشوق های جدید برای انتشار بیشتر این نتایج پرداخته است.

درخواست از پژوهشگران برای این که مطالعات شکست خورده خود را منتشر کنند، موضوع جدیدی نیست و سال 1979 توسط «رابرت روزنتال»؛ روانشناس توصیف شد. این مشکل که از آن با نام مشکل «کشوی پرونده» یاد می شود، به انبوهی از نتایج منتشرنشده و منفی اشاره دارد که پژوهشگران آن ها را جمع آوری می کنند. به گفته روزنتال؛ منتشر نکردن نتایج منفی منجر به سوگیری در سابقه علمی می شود. این شکاف ناشی از حذف نتایج ناموفق، سبب می شود بر نتایج مثبتی که منتشر شده اند بیش از حد تاکید شود.

«ساراهان فیلد» سردبیر مجله Journal of Trial & Error (مجله آزمون و خطا) و گروه همکارانش به دنبال برجسته کردن سمت «زشت علم» هستند؛ همان بخشی از فرآیند علم که اشتباه پیش رفته است. این مجله از سال 2020 منتشر می شود و سردبیر و هیات تحریریه این مجله تاکید می کنند که به مقالاتی علاقه مندند که علی رغم روش شناسی درست، نتیجه ای غیرمنتظره داشته اند. فیلد؛ سردبیر این مجله که پژوهشگر علوم با دسترسی باز در دانشگاه گرونیگن هلند است، توضیح می دهد: این نوع نتایج که فرضیه ای را ثابت نمی کنند یا می توانند نتایج غیر قابل توضیحی داشته باشند، اغلب توسط نشریات به سادگی منتشر نمی شوند. او و «استفان گیلارد»، یکی از بنیان گذران مجله، امیدوارند که این وضعیت را تغییر دهند.

در 30 سال گذشته نسبت انتشار نتایج منفی کمتر نیز شده است. یک مطالعه در سال 2012 نشان داد که از سال 1990 تا 2007 نتیجه گیری مثبت در مقالات 22 درصد افزایش یافته است و تا سال 2007، 85 درصد از مقالات منتشرشده، نتایج مثبت داشته اند. فیلد می گوید پژوهشگران در گزارش دادن نتایج منفی موفق نیستند؛ زیرا می دانند که این مقالات منتشر نمی شوند و زمانی که آن ها تلاش می کنند نتایج منفی مطالعات خود را منتشر کنند، این مقالات رد می شوند. یک نظرسنجی از پژوهشگران شیمی، فیزیک، مهندسی و علوم محیطی فرانسوی در سال 2022 نشان داد که اگرچه 81 درصد از این پژوهشگران در طول کار خود به نتایج منفی نیز دست یافته بودند و 75 درصد از آن ها تمایل به انتشار این نتایج داشتند، ولی تنها 12 درصد از آن ها فرصت انجام این کار را به دست آورده بودند.

پژوهشگران در گزارش دادن نتایج منفی موفق نیستند؛ زیرا می دانند که این مقالات منتشر نمی شوند و زمانی که آن ها تلاش می کنند نتایج منفی مطالعات خود را منتشر کنند، این مقالات رد می شوند. منتشر نکردن یافته های منفی فرآیند یادگیری ماشین را مختل می کند

یکی از عواملی که برخی از پژوهشگران را به سمت این مشکل سوق می دهد، این است که در بسیاری از رشته ها و زمینه های علمی استفاده از روش «مدل سازی پیش بینی کننده» با استفاده از ابزارهای یادگیری ماشین به صورت رو به رشد افزایش یافته است. ابزارهای یادگیری ماشین با استفاده از مجموعه داده های بزرگی که اغلب شامل مطالعات منتشرشده هستند، آموزش داده می شوند. به همین دلیل دانشمندان دریافته اند که نبود ِ داده های منفی در ادبیات و پیشینه تحقیق ها فرآیند یادگیری ماشین را مختل می کند. بنابراین نیاز است که برای انتشار نتایج منفی بیشتر یک تلاش هماهنگ انجام شود. در صورتی که انتشار نتایج منفی بیشتر نشود و هوش مصنوعی نتواند از داده های آن برای فرآیند یادگیری ماشین استفاده کند، وعده هایی که در رابطه با این فناوری مطرح می شود، محقق نمی شود.

«کیسوکه تاکاهاشی» شیمیدان دانشگاه هوکایدو ژاپن این موضوع را در مطالعات مربوط به یافتن کاتالیزورها مورد توجه قرار داده است و می گوید: یادگیری ماشین نحوه تفکر ما را در مورد داده ها تغییر می دهد. دانشمندان این زمینه علمی در آزمایش های خود برای یافتن یک کاتالیزور جدید معمولاً به ترکیبی از آزمون و خطا و یافته اتفاقی تکیه دارند؛ اما این امید وجود دارد که هوش مصنوعی بتواند مسیر جدیدی برای کشف کاتالیزور جدید فراهم کند. تاکاهاشی و همکارانش برای پیش بینی بهترین کاتالیزور برای واکنش بین متان و اکسیژن برای تشکیل اتان و اتیلن که هر دو از مواد شیمیایی مهم مورد استفاده در صنعت هستند، از داده های 1866 مطالعه و پتنت قبلی استفاده کردند تا بتوانند یک مدل یادگیری ماشین را آموزش دهند. اما این پژوهشگر می گوید: در طول سال ها پژوهشگران فقط داده های خوب را گردآوری کرده اند و شکست های خود را گزارش نداده اند. این موضوع به ایجاد یک مدل تحریف شده منجر شده است که در برخی موارد به جای این که خواص یک ماده را به طور واقعی ارزیابی کند، عملکرد پیش بینی شده آن ماده را افزایش داده است.

در طول سال ها پژوهشگران فقط داده های خوب را گردآوری کرده اند و شکست های خود را گزارش نداده اند، همین سبب شده پژوهش های مبتنی بر مدل سازی با مشکل مواجه شوند.

سمت «آشفته علم» چگونه هوش مصنوعی را گیج می کند؟

یکی دیگر از دانشمندان شیمی آلی سنتتیک نیز هنگام استفاده از روش های مبتنی بر داده برای بهینه کردن بازده برخی واکنش های شیمیایی دارویی با سوگیری نتایج مثبت مواجه شده است. او به دنبال ایجاد مدل هایی بود که بتواند پیش بینی کند کدام واکنش دهنده ها و چه شرایطی می توانند بازده را به حداکثر برسانند. برای این کار ابتدا او برای آموزش هوش مصنوعی خود از داده هایی که آزمایش های با توان عملیات بالا که در آزمایشگاه تولید کرده بود، استفاده کرد. این داده ها شامل نتایج واکنش های با بازده بالا و هم بازده پایین بودند. در گام بعدی همین کار را با استفاده از داده های تحقیقات قبلی و پیشینه پژوهش انجام داد. اما وقتی او از داده های واقعی موجود در پایگاه داده در فرآیند آموزش هوش مصنوعی استفاده کرد، مشخص شد که این داده ها کار نمی کنند. دلیل این خطاها نبود واکنش های کم بازده بوده است. داده های موجود در پیشینه تحقیقات، به طور میانگین بین 60 تا 80 درصد بازدهی دارند و زمانی که آزمایش های ناموفق و شکست خورده در بین داده های واقعی وجود نداشته باشد، هوش مصنوعی نمی تواند نتایج واکنش های واقعی را مدل سازی کند.

هوش مصنوعی این پتانسیل را دارد که روابط داده های پیچیده که ممکن است پژوهشگر آن ها را نبیند، شناسایی کند ولی پژوهشگران و افرادی که آزمایش ها را انجام می دهند با مواجهه با نتایج منفی یک حس و شهود درونی پیدا می کنند. زمانی که هوش مصنوعی تنها با داده های موفق آموزش می بینند، این شهود انسانی را ندارند. بر همین اساس پژوهشگران به دنبال آن هستند که چیزی شبیه به این شهود انسانی را در یک مدل هوش مصنوعی قرار دهند.

با آموزش دادن هوش مصنوعی بر اساس داده های موفق و شکست خورده تا حدودی می توان این کار را انجام داد. ولی مدل های هوش مصنوعی در حال حاضر دچار محدودیت هستند چرا که داده های موجود، تمام دانش را منعکس نمی کنند. برخی پژوهشگران به دنبال راه حل های آماری برای پر کردن شکاف داده های منفی هستند. برای مثال با استفاده از نمونه برداری بیش از حد و تکمیل داده ها با چندین نسخه از داده های منفی و یا ایجاد داده های ساختگی است. اما این نوع رویکردها نیز می توانند سوگیری های خاص خود را داشته باشند.

به همین دلیل برای برخی پژوهشگران جمع آوری داده های منفی بیشتر اولویت دارد و به زیرساختی برای اشتراک گذاری آزادانه داده نیاز دارند. تاکاهاشی و گروه او وب سایتی برای اشتراک گذاری داده های تجربی برای واکنش های کاتالیزوری ایجاد کرده اند و سازمان های دیگری نیز در تلاش برای جمع آوری و انتشار داده هستند. اما این اقدامات هنوز هماهنگ نیستند و فرمت داده های آن ها نیز یکسان نیست.

استقبال نیچر از مطالعات تکراری و پوچ علمی!

در رشته های دیگر همچنان بر مجلات معتبری که نتایج منفی را منتشر می کنند تاکید می شود. گیلارد دانشجوی دکترای مطالعات علوم در دانشگاه رادبود در نایمگن هلند، پس از شرکت در گفتگوها در مورد این که علم را چگونه می توان در دسترس تر کرد، مجله Journal of Trial & Error (آزمون و خطا) را بنیان کرد. گیلارد می گوید که اگرچه همه کسانی که با آن ها تماس گرفته اند ایده مجله را پسندیده اند؛ اما هیچ کس در ابتدا نمی خواست مقاله ارسال کند. او و گروه تحریریه موسس کمپینی را آغاز کردند و در کنفرانس های علمی آزاد تبلیغات کردند. او می گوید: آهسته آهسته ما شروع به دریافت اولین مقاله ها کردیم. اکنون بدون این که از افراد خواسته شود، کارهای خود را ارسال می کنند. اکثر سال ها مجله یک شماره شامل حدود 8 تا 14 مقاله منتشر می کند و مابقی مقالات را در شماره های ویژه منتشر می کند. این مجله عمدتاً بر روی علوم زیستی و علوم اجتماعی مبتنی بر داده تمرکز دارد.

برخی نشریات ترجیح خود را برای انتشار نتایج منفی تغییر داده اند و به صراحت اشاره کردند که نتایج منفی را نیز منتشر می کنند. نیچر نیز از ارسال مطالعات تکراری و آن هایی که شامل نتایج پوچ هستند، استقبال می کند.

در سال 2008 دیوید آلکانترا دانشجوی دکترای شیمی در دانشگاه سویل اسپانیا که در آن زمان از نبود بستری برای اشتراک گذاری نتایج منفی ناامید شده بود، مجلات The All Results را راه اندازی کرد که هدف آن انتشار نتایج بدون توجه به نتیجه بود. از چهار رشته ای که در زمان راه اندازی گنجانده شده بود، فقط مجله زیست شناسی در حال انتشار است. آلکانترا که اکنون رییس سازمان مشاوره و آموزش انجمن بهبود علم در سویل است، می گوید: جذب آثار ارسالی همیشه یک چالش بوده است. اما آلکانترا فکر می کند که تغییری در نگرش ها صورت گرفته است: مجله های معتبرتر به طور فزاینده ای برای انتشار نتایج منفی در دسترس قرار می گیرند. گیلارد موافق است و می گوید: من مجلات بیشتری مانند PLoS ONE را دیده ام که به صراحت اشاره کردند که نتایج منفی را نیز منتشر می کنند. نیچر نیز از ارسال مطالعات تکراری و آن هایی که شامل نتایج پوچ هستند، استقبال می کند.

ممکن است مجلات ترجیحات انتشار خود را تغییر دهند اما بازهم بازدارنده های قابل توجهی وجود دارد و پژوهشگران را از انتشار نتایج منفی و پوچ باز می دارد. سیستم دانشگاهی کنونی برای پیشرفت شغلی، اختصاص کمک هزینه ها و جذب، اغلب نشریات پرتاثیر و اکتشافات پیشگامانه را در اولویت قرار می دهند و نتایج منفی کمک چندانی به این تلاش ها تلقی نمی شود. به علاوه هنوز هر گونه شکست ممکن است برای پژوهشگر یک ننگ باشد. همچنین مردم می ترسند که این موضوع در رزومه آن ها منفی به نظر برسد. به علاوه گزارش آزمایش های ناموفق می تواند یک موقعیت بدون بُرد برای دانشگاهیان باشد. انتشار نتایج منفی منجر به کار بیشتر برای پژوهشگران می شود؛ در حالی که در کوتاه مدت چیزی در ازای این اقدامات دریافت نمی کنند.

در نهایت بیشتر پژوهشگران به این نتیجه می رسند که انتشار مطالعات ناموفق و داده های منفی ارزش صرف وقت و تلاش را ندارد و شواهدی وجود دارد که نشان می دهد آن ها پژوهش های منفی دیگران را سخت تر از نتایج مثبت قضاوت می کنند. در مطالعه ای که در ماه آگوست منتشر شده است، 500 پژوهشگر از بخش های برتر اقتصاد در سراسر جهان به طور تصادفی در دو گروه قرار گرفتند و از آن ها خواسته شد تا یک مقاله پژوهشی فرضی را داوری کنند. به نیمی از شرکت کنندگان گفته شد که این مطالعه نتیجه باطل دارد و به نیمی دیگر گفته شد که نتایج به طور قابل توجهی مهم و معنی دار است. احتمال انتشار مقالاتی که به داوران گفته شده بود، نتایج باطل دارند 25 درصد کم تر از مطالعاتی بود که گفته شده بود دارای یافته های آماری قابل توجهی هستند.

برخی از پژوهشگران در مورد به اشتراک گذاشتن یافته های ناموفق خود، تجربیات مثبتی داشتند. برای مثال در سال 2021 روان شناسی به نام «وندی راس» در دانشگاه متروپلیتن لندن نتایج منفی خود را در مورد آزمایش فرضیهای در مورد حل مسیله انسانی در مجله آزمون و خطا منتشر کرد و می گوید که این مقاله بهترین مقاله ای بود که من تا به امروز منتشر کرده ام. درک دلایل نتایج باطل واقعاً می تواند درک نظری ما را محک بزند و آن را گسترش دهد.

راه حل هایی برای افزایش انتشار داده های منفی

رشته روان شناسی یک نوآوری را معرفی کرده است که می تواند سوگیری نشر را تغییر دهد. این نوآوری انتشار گزارش های ثبت شده (registered reports یا RRs) است که برای اولین بار در سال 2014 و عمدتاً در پاسخ به بحران تکرارپذیری در مطالعات روان شناسی به وجود آمد.

گزارش های ثبت شده روش شناسی یک مطالعه را قبل از مشخص شدن نتایج تعیین می کنند تا از گزارش دادن انتخابی نتایج مثبت جلوگیری کنند. در این گزارش ها ابتدا، روش ها و تحلیل های پیشنهادی قبل از جمع آوری و تجزیه و تحلیل داده ها توسط داوران بررسی می شوند و به طور موقت منتشر می شوند. پس از جمع آوری نتایج سپس نویسندگان مقاله را نهایی می کنند تا نتایج و بحث را در بر گیرد و نسخه کامل نیز مجدداً مورد بازبینی قرار می گیرد. این گزارش ها برای کاهش سوگیری انتشار و اشکال مختلف سوگیری گزارش دهی طراحی شده اند. دنیل لِیکنز که در دانشگاه فناوری آیندهوون هلند، ساختار پاداش علم را مطالعه می کند، می گوید شواهدی وجود دارد که «گزارش های ثبت شده»، نسبت نتایج منفی را در پیشنیه مطالعات روان شناسی افزایش می دهد.

در مطالعات سال 2021 لِیکنز نسبت گزارش های ثبت شده منتشر شده ای که در آن ها نتایج در نهایت از فرضیه اولیه پشتیبانی می کردند را تحلیل کرد. در یک نمونه تصادفی از مطالعات آزمون-فرضیه از پیشینه روان شناسی استاندارد، 96 درصد از نتایج مثبت بود ولی در گزارش های ثبت شده این میزان به 44 درصد کاهش یافت. لِیکنز می گوید این مطالعه نشان می دهد که اگر این را به عنوان یک گزینه پیشنهاد دهید، نتایج باطل بیشتری وارد ادبیات علمی می شود و این موضوع امری مطلوب است». حداقل 300 مجله شامل نیچر، گزارش های ثبت شده را می پذیرند و این قالب به مجلات زیست شناسی، پزشکی و برخی زمینه های علوم اجتماعی در حال گسترش است.

با این حال رویکرد دیگری از رشته «رایانش فراگیر»؛ مطالعه نحوه ادغام سیستم های کامپیوتری با محیط فیزیکی و زندگی روزمره در حال ظهور است. الا پلتونن از دانشگاه اولو فنلاند می گوید: حدود چهار سال پیش، اعضای این جامعه شروع به بحث در مورد تکرارپذیری کردند. پلوتنن می گوید: پژوهشگران دریافتند که برای جلوگیری از تکرار اشتباهات، در مورد مشکلات عملی با مطالعات و نتایج ناموفق که منتشر نمی شود، بحث وجود دارد. بنابراین پلتونن و همکارانش اولین کارگاه بین المللی در مورد نتایج منفی در رایانش فراگیر را با نام PerFail به همراه کنفرانس سالانه این رشته با عنوان کنفرانس بین المللی رایانش و ارتباطات فراگیر برگزار کردند.

تلاش مداوم برای متقاعد کردن دانشمندان برای به اشتراک گذاشتن تمام نتایج خود باید در درازمدت با سیاست های آژانس های تامین مالی و نشریاتی که به شفافیت کامل پاداش می دهند، همراه باشد. پلتونن توضیح می دهد که سخنرانان PerFail نتایج منفی خود را ارایه می کنند و سپس در مورد آن گفتگو می شود. در طی آن شرکت کنندگان می گویند که چگونه مطالعات ناموفق می تواند به کارهای آینده کمک کند. او می افزاید: این گفتگوها جامعه را تشویق می کند تا نشان دهد که کارها نیازمند آزمون و خطا هستند و این ارزشمند است. این کارگاه اکنون یک رویداد سالانه است و برگزارکنندگان آن از دانشجویان دعوت می کنند تا در آن شرکت کنند تا ببینند شکست بخشی از فرآیند پژوهش است.

انتشار داده های منفی علم رو به افزایش است

با این وجود باید توجه داشت که تلاش مداوم برای متقاعد کردن دانشمندان برای به اشتراک گذاشتن تمام نتایج خود باید در درازمدت با سیاست های آژانس های تامین مالی و نشریاتی که به شفافیت کامل پاداش می دهند، همراه باشد. شاخص ها برای تخصیص کمک هزینه ها، ترفیع و جذب، باید ارزش انتشار پژوهش های جامع شامل شکست ها و پیامدهای منفی را بشناسد. سرمایه گذاران نیز می توانند کلیدی برای تقویت «گزارش های ثبت شده» باشند. سرمایه گذاران باید بگویند: ما می خواهیم پژوهش هایی که بودجه شان را تامین می کنیم، بدون توجه به اهمیت یافته ها در پیشینه تحقیقات ظاهر شوند.

در حال حاضر نشانه هایی مثبت در تغییر اشتراک گذاری داده های منفی نیز وجود دارد. پژوهشگران تازه کار و به ویژه نسل بعدی دانشمندان پذیرای این ایده هستند. علاقه پژوهشگران به انتشار مقالاتشان در مجله Journal of Trial & Error (مجله آزمون و خطا) به ویژه در رشته پزشکی در حال افزایش است. البته که این فرآیند کند است اما باید توجه داشت که علم به طور کل کمی کند است.

پایان خبر ویکی سلامت