داخلی
»سخن هفته
بررسی همتا (Peer Review ) و هوش مصنوعی
لیزنا، سید ابراهیم عمرانی، سردبیر: هفته گذشته، هفته «بررسی‌همتایان» یا Peer Review بود (23 تا 29 سپتامبر = 2-8 مهر) و این یادداشت برای آن هفته تنظیم شده بود، لیکن با توجه با شروع مذاکرات دانشگاهها برای تامین منابع علمی، یادداشتی مرتبط با آن منتشر شد و این نوشته، به این هفته موکول گردید.
دیروز دوشنبه 8 مهرماه روز آخر از هفته "بررسی همتایان" بود و باتوجه به موضوع هشتمین "کنگره متخصصان علوم اطلاعات" سال جاری برآن شدم برای شروع کار جستجویی در شبکه و با کلیدواژ‌های "بررسی همتایان" و "هوش مصنوعی" انجام دهم و ببینم اوضاع از چه قراری است. در اولین قدم به مقاله "استفاده از هوش مصنوعی و آینده بررسی همتایان"[1] تالیف بوشنر و ریوارا در Health Affairs Scholar از مجموعه مجلات دانشگاه آکسفورد برخورد کردم که در مراجع آن مقاله های بسیارخوبی یافتم که جای باز کردن همه آنها در این وجیزه نیست و با اینهمه تلاش می‌کنم اشاره‌هایی به موضوعهای طرح شده در این مقاله و چند مقاله دیگر آن داشته باشم.
***
بررسی همتایان، فرآیندی که در طول گسترش انتشار مجلات دانشگاهی پس از جنگ دوم جهانی 1939-1945 رایج شد، در تلاش است تا با حجم عظیمی از تحقیقاتی که امروز منتشر می‌شود، همگام شود. روندی که برای داوری، دو یا سه همتای واجد شرایط را می‌طلبید، با حدود 100.000 مقاله در اواخر دهه 1950 شروع شد و اکنون بنا به آمار از مرز پنج میلیون مقاله منتشر شده سالانه فراتر رفته است.
“بررسی همتایان، سنگ بنای تحقیقات آکادمیک، و تلاشی پر زحمت است. در سال 2020، بازبینان 100 میلیون ساعت یا 15.000 سال را صرف کار بر روی این بررسی‌ها کردند که مجموعاً 1.5 میلیارد دلار ارزش زمان کار انجام شده، برای بازبینان مستقر در ایالات متحده به تنهایی می‌شود. [2]
با توجه به اینکه هر مقاله معمولاً توسط حداقل دو داور بررسی می‌شود (و بیشتر مقالاتی که رد می‌شوند برای بارهای دوم و گاهی بیشتر به مجلات دیگر ارسال می‌شوند)، می‌توان انتظار داشت که هر یک از هشت تا نه میلیون محقق فعال در جهان حداقل درگیر داوری یک مورد داوری یا بیشتر در سال هستند. این را هم می‌دانیم که در بخشهای فوق تخصصی، فشار بر روی استادان متخصص خیلی بیشتر است، و چون در آن رشته‌ها افراد کمی در دنیا کار می‌کنند، دعوت به داوری از ایشان، گاهی به یک یا دو مقاله در ماه می‌رسد، که در نیمی از مواقع، از پذیرش داوری به دلیل گرفته شدن وقت و نیز نبود هیچگونه انگیزه مادی در داوری اکراه دارند. "تأخیرهای مربوط به داوری محتوای علمی اغلب باعث شده است که بررسی همتایان تا حدودی به عنوان یک شر ضروری تلقی شود. با این حال، هم فرصت و هم چالش‌های قابل مشاهده‌ای برای استفاده از هوش مصنوعی در بررسی همتا و همچنین کمک به کارکنان تحریریه در انجام بررسی سریع اولیه وجود دارد[3]".
با اینهمه، اکثر ویراستاران مجلات بر این باورند که بررسی همتایان برای اطمینان از کیفیت و درستی بروندادهای پژوهشی برای انتشار بسیار ضروری است. اگرچه داوران همتا، مشاور ویراستاران هستند، ولی در واقع این ویراستاران هستند که معمولاً تصمیم نهایی را بر اساس نظرات دریافت شده از همتایان برای پذیرش یا رد نسخه‌های اولیه "Manuscript " می‌گیرند. ویراستاران در بسیاری از موارد احتمالاً تخصص کافی برای ارزیابی همه نسخه‌های دریافتی را ندارند. از این رو، اهمیت بررسی همتایان و متخصصین بیشتر دیده می‌شود. نکته دیگر این که به خوبی می‌دانیم که همتایان، و نیز ویراستاران و سردبیران به ندرت می‌توانند با اطمینان بگویند که آیا داده ها ساخته شده یا جعلی هستند یا تصاویر دستکاری شده‌اند، که برای ایشان اگر نگوییم غیرممکن، کار دشواری است. بعلاوه، به این نکته نیز به خوبی واقفیم که "داوران همتا" اغلب با یکدیگر اختلاف نظر دارند، و بسیار اتفاق افتاده که یک داور یک مقاله را بسیار خوب ارزیابی کرده و داور دوم به کل آن را رد کرده است. و به همه اینها حجم روز افزون تعداد نسخه‌های اولیه و بی‌کیفیت ارسالی به مجلات نیز روز به روز اضافه می‌شود. و با توجه به وقت داوران که ترجیح می‌دهند مقاله‌های خود را بنویسند، و نیز در داوری انگیزه‌‌های مادی هم وجود ندارد، کار بررسی همتایان، کم‌کم به معضلی برای جهان ارتباطات علمی تبدیل شده است.
چه باید کرد؟ آیا هوش مصنوعی می‌تواند در جایگاه بررسی همتایان بنشیند و دست کم مشکل را به پائینترین سطح آن برساند؟
"انواع مختلفی از بررسی همتایان وجود دارد: بررسی همتای باز، بررسی یک سو کور و بررسی دوسوکور. در بررسی همتای باز ، نویسندگان و داوران همتا با یکدیگر آشنا هستند. داوران همتا باید نظراتی را که به نویسندگان ارائه می‌کنند امضا کنند. البته که این مدل بررسی مشکلاتی هم دارد که مهمترین آن را نقل به مضمون از زبان بوشنر[4] و ثبیت[5] نقل می‌کنم:" مدل غالب بررسی غیر باز در کل به نفع نویسندگان غربی با شهرت تثبیت شده است و نویسندگان کمتر شناخته شده و غیر انگلیسی زبان،از این داوری به شدت متضرر می‌شوند.[6]" در بررسی همتای یک سو‌کور، داوران، نویسندگان (و موسسات) را می‌شناسند، اما نام داوران به نویسندگان ارائه نشده است. در بررسی همتایان دوسوکور، از لحاظ نظری نه نویسندگان و نه داوران همتا از هویت دیگری آگاه نیستند. بسیاری احساس می کنند که دستیابی به بررسی دوسوکور همتا بسیار دشوار است. در علوم مبتنی بر آزمایشگاه، داوران همتا اغلب با آزمایشگاه‌های دیگری که کار مشابهی را انجام می‌دهند (و دلیل انتخاب یک بازبین همتا برای بررسی نیز همین است) آشنا هستند. در تحقیقات بالینی، به‌ویژه کارآزمایی‌های بالینی تصادفی‌سازی‌شده و متاآنالیزها، پروتکل‌هایی اغلب قبل از تکمیل مطالعات منتشر شده، در فهرست‌های مرجع گنجانده شده‌اند تا اطمینان حاصل شود که بازبین‌کنندگان با محققین آشنا هستند. علاوه بر این، در بسیاری از زمینه‌ها - به عنوان مثال، انکولوژی، قلب و عروق، و پزشکی مراقبت‌های ویژه - کارشناسانی که به عنوان بازبین همکار خدمت می‌کنند، با کارآزمایی‌های اصلی در حال انجام آشنا هستند[7]".
هوش مصنوعی و داوری همتا
از آنجایی که ما کم‌کم می‌رویم که در عصر هوش مصنوعی زندگی کنیم، مطمئن هستم راههایی برای استفاده از ابزارهای مختلف در اختیار ما برای سرعت بخشیدن به فرآیند بررسی همتایان وجود دارد. در حالی که طلایه‌های هوش مصنوعی با وجود کاستیهایی، تا اینجا آزمون خوبی و به قولی در باغ سبز نشان داده است، برای رفع برخی از مشکلات حتی مشکلاتی مانند سوگیری داوران و کیفیت پردازش زبان و متن می‌تواند ابزاری باشد که ما نیاز داریم. کاری که به نظر می‌رسد، طیف فعلی مدل‌های زبان بزرگ LLM از پس آن بر‌می‌آیند. و با همین دلایل بسیاری بر این باورند که زمان آن رسیده که از این مدلها در فرآیند بررسی همتایان استفاده کنیم. نظر شما چیست؟ که البته در مورد سوگیری داوران، اشکالاتی کماکان در هوش مصنوعی نیز وجود دارد که به آن اشاره خواهم کرد.
برای پاسخ به این سوال، ابتدا یک تعریف از "بررسی همتا" به دست بدهم. من بررسی همتا را به عنوان یکی از بخشهای نهایی فرآیند کیفیت و اعتبار‌بخشی مقاله‌های علمی و تحقیقاتی دانشگاهی تعریف می‌کنم.
زمینه‌هایی که در آن امکان افزایش کیفیت یک مقاله علمی وجود دارد را با نقل به مضمون از چند مقاله دیگر به شرح زیر تقدیم می‌کنم:
و در مجموع باید گفت LLMها این توانایی را دارند که نکات یا مشکلاتی را که گاهی از دید انسانها پنهان می‌مانند، تشخیص دهند LLMها بسیار سریع هستند. بهترین استفاده از LLM ها در بررسی همتایان امروزه می‌تواند استفاده از آنها توسط ویراستاران برای بررسی چندجانبه گزارش های بررسی همتایان انسانی و اطمینان از اینکه هیچ چیزی از قلم نیفتاده، استفاده شود.
با این حال، هوش مصنوعی همانطور که اشاره نیز شد، چالش‌هایی را برای صداقت پژوهشی با خود دارد، مانند افزایش احتمالی سرقت ادبی، دستکاری تصویر و آسان کردن کار کارخانه‌های مقاله‌سازی. همچنین توانایی آن در ایجاد متنی شبیه انسان و تغییر تصاویر می‌تواند تشخیص تقلب را سخت‌تر کند.
بوشنر و ریوارا می‌نویسند: "نگرانی هایی نیز در مورد استفاده از هوش مصنوعی وجود دارد. اکثر مدل‌های زبان بزرگ داده‌ها را از هزاران یا میلیون‌ها اثر منتشر شده استخراج می‌کنند. برای انجام این کار، هوش مصنوعی نسخه اولیه دریافتی را که برای بازبینی به خورد آن داده‌اند به مجموعه داده‌های خود اضافه می‌کند، و این کار در همان ابتدا محرمانه بودن را نقض می‌کند و آثار نویسندگان را در حوزه عمومی قرار می‌دهد. یک راه حل ممکن این است که مدل های زبان بزرگ فقط از آثار منتشر شده از پایگاه داده مجله ارسال شده استفاده کنند و در نتیجه از محرمانه بودن محافظت کنند. که البته، باید مجله با سامانه هوش مصنوعی به توافق برسند که همه داده‌های آنها در معرض خزنده‌های هوش مصنوعی قرار داده شوند. همچنین می‌تواند از مقالات منتشر شده دسترسی آزاد استفاده کند، که در دسترس هستند و حق استفاده از آنها وجود دارد. علاوه بر این، به داده‌هایی نیاز است تا مشخص شود هوش مصنوعی در بررسی همتا چقدر قدرتمند و درست عمل کرده، به‌ویژه با توجه به سوگیری و تشخیص دستکاری تصویر، که به عنوان یک موضوع مهم در علم معاصر ظاهر شده است، همانطور که نمونه‌هایی از آن را پیشتر و در بحثهای مربوط به کارآگاهان داده برای خوانندگان لیزنا اشاره کرده‌ایم”[8].
چائوهان نیز این مساله را یادآوری و تاکید می‌کند.:" استفاده از هوش مصنوعی جنرال Gen AI در بررسی همتایان می‌تواند محرمانه بودن داده‌های منتشر نشده را به خطر بیندازد و نگرانی‌هایی را در مورد کپی‌رایت، افشای اطلاعات زودهنگام و شکستن تحریم‌ها ایجاد کند[9]."
چائوهان به نکته بسیار ظریفی اشاره کرده،که وجوه غیر اخلاقی ورود به Gen AI را زیر سوال می‌برد:" با توجه به اینکه بسیاری از ابزارهای هوش مصنوعی جنرال بر روی داده‌های دنیای واقعی آموزش دیده‌اند، ممکن است سوگیریهای جنسیتی، نژادی و دیگر سوگیریهای موجود در جوامع و اینترنت را در خود داشته باشند و بکار بگیرند. انواع مختلفی از سوگیری وجود دارد یا حداقل در بررسی همتایان امکان پذیر است، بنابراین اگر از محتوا و الگوهای موجود برای آموزش هوش مصنوعی جنرال در ارزیابی یا مشارکت در بررسی همتا استفاده شود، باید مراقب بود تا از تداوم یا تقویت این سوگیری ها جلوگیری شود. [10]."
ما آینده‌ای را تصور می‌کنیم که در آن از هوش مصنوعی برای اسکن اولیه همه موارد ارسالی و ارائه خلاصه‌ای از کیفیت نسخه اولیه ارسال شده برای مجله استفاده می‌شود، که سپس توسط ویراستاران، قبل از تصمیم‌گیری برای درخواست بررسی همتایان، بررسی می‌شود. این آینده‌ای اجتناب ناپذیر است و احتمالاً ظرف یک سال آینده در برخی از مجلات بکار گرفته خواهد شد. در نتیجه، سردبیران مجلات بهتر است به جای اجتناب از هوش مصنوعی، از آن استقبال کنند و آن را به کمک بگیرند[11]".
چائوهان نیز بر این سوالات تاکید دارد:"اعتماد برای حفظ حرمت بررسی همتایان نقش اساسی دارد. همانند چندین حوزه دیگر، ادغام Gen AI در بررسی همتایان، چند پرچم قرمز را برای ما بالا می‌برد. محرمانگی چگونه حفظ می شود؟ و سوگیری چگونه کنترل می شود، و .... [12]؟"
در پایان باید به عنوان یک نظر از 8 میلیارد نظر بنویسم، اینطور فکر می‌کنم که ما باید فرآیند تصمیم گیری نهایی را که برای یک جامعة علمی، نوآورانه وبدیع و مهم است، در قلمرو انسان حفظ کنیم. با این حال، نیازی به جلوگیری از استفاده از هوش مصنوعی برای بقیه مراحل نیست و به عنوان ابزاری در خدمت بررسی همتایان، می تواند با دقت در بررسیهای اولیه، به داورن کمکهای ارزشمندی بدهد و با سرعت خود، در بررسیهای اولیه، از حجم اتلاف وقت محققان جهان بکاهد. خوب می‌دانیم که گاهی برای پاسخ گرفتن از یک مجله، پژوهشگران ماهها و حتی بیش از یک سال در انتظار می‌مانند و این مساله لطمه زیادی به جریان کاری پژوهشگر و پژوهش می‌زند. با به خدمت گرفتن هوش مصنوعی در بسیاری از مراحل بررسی همتایان، و گرفتن نظر انسانی در پایان فرایند، این زمان به محققان بازگردانده خواهد شد.
عمرانی، سید ابراهیم (1403).« بررسی همتا (Peer Review ) و هوش مصنوعی: به مناسبت هفته «بررسی‌همتا» 2- 8 مهرماه». سخن هفته لیزنا، شماره ۷13، 16 مهر ماه ۱۴۰۳
[1] . Bauchner, Use of artificial intelligence and the future of peer review. / Howard Bauchner, Frederick P Rivara.
Health Affairs Scholar, Volume 2, Issue 5, May 2024, qxae058, https://doi.org/10.1093/haschl/qxae058
[2] .Sabet, Cameron John (et al). Equity in Scientific Publishing: Can Artificial Intelligence Transform the Peer Review Process? Mayo Clin Proc Digital Health . December 2023;1(4):596-600 .
[3] . Chauhan, Chhavi. The Impact of Generative Artificial Intelligence on the External Review of Scientific
Manuscripts and Editorial Peer Review Processes. / Gust editor.chhavi Chauhan. The American Journal of Pathology, Vol. 194, No. 10, October 2024.
[4] . Bauchner, همان
[6] . Thabit, Abrar K. Blinding of Peer Review and the Impact on Geographic Diversity of Authors in the Medical Literature/ Multidiscip Healthc. 2023; 16: 1857–1868.
[7] . Sabet, همان
[8] . . Bauchner همان
[9]. Chauhan همان
[10] همان
[11] . Bauchner همان
[12] . Chauhan همان
در مورد داوری هم نظر جناب آقای دکتر جمالی گرامی بسیار دقیق و مورداعتنا است.
باز هم سپاس.