داخلی
»سخن هفته
بیانیه ارزیابی پژوهش سانفرانسیسکو
لیزنا، سید ابراهیم عمرانی، سردبیر: پیش از این گزارش‌هایی از شکل گرفتن روند ارزیابی پژوهش در ایران که مبتنی بر مجله های پژوهشی و ضریب تاثیر (Impact Faxtor) بود را در طی سالهای گذشته در لیزنا منتشر کرده و تاریخچه این حرکت را نوشته‌ام، و نیز یادآوری کرده و دوباره یادآوری می کنم که این حرکت در سال 1373 و از دانشگاه تهران شروع شد و بنده که خود را در این جریان به نوعی دخیل می‌دانستم، با رشد این کار و دیدن نقائص کار، خود نقایص را در قالب یک مقاله [1]در نشریه مطالعات کتابداری و سازماندهی اطلاعات و برای رهایی از عذاب وجدان منتشر کردم و به نواقص این شاخص پرداختم و شاخصهای جدیدتر که نرمال سازی می‌کرد و یا شاخصهایی که همه آثار یک مولف را در چرخه عمر علمی وی ارزیابی می کرد به عنوان جایگزین معرفی کردم.
پس از آن نیز همواره در جهت معرفی جنبش دسترسی آزاد و دستاوردهای آن در لیزنا مطالبی را آماده و منتشر می کردم تا به جنبش تیموتی گاور در دانشگاه MIT 1915 و بردن لایحه دسترسی آزاد به صحن کنگره امریکا در 2016 در زمان اوباما و به دنبال آن، پلان اس و ائتلاف اس در سه سال اخیر را نیز به خوانندگان معرفی کرده‌ام. در برابر پلان اس همانطور که قبلا نوشته‌ام، ناشران ترفندهای متعدد و راه حلهای گوناگونی ارائه دادند که به گفته خودشان، منظور ناشران چند ملیتی است، از افول "صنعت نشر مجلات علمی" و نیز از " کاهش کیفیت مجلات" جلوگیری کنند، مانند مجلات هیبریدی یا دوگانه[2]، که کلاه گشادی بود بر سر کمیسر علوم وقت اتجادیه اروپا، که کمیسر بعدی جناب آقای اسمیت، تحت هیچ عنوان زیر بار آن نرفت، همینطور معرفی توافقنامه‌های تحول آفرین[3] که موضوع امسال کمیته نشریات و پیایندهای ایفلا نیز هست،و ادامه راه کمیسر اسمیت در نظم دادن به نظر علمی با باور به دسترسی آزاد است.
هر یک از شما که به نشستهای ایفلا و یا نمایشگاه فرانکفورت یا نشستهای سالانه انجمن کتابخانه های تخصصی در شعبه های مختلف آن از جمله در قطر رفته باشید، در بسیاری مواقع در کنار نشستهای تخصصی علمی، گاهی نشستهای فرعی نیز دیده اید که اتفاقا موضوع آنها اغلب به رشته ما مربوط می‌شود . دیکی از این نشستهای فرعی در بسیاری موارد مربوط می‌شود به نشستهای با شرکت ناشران و سرمایه گذاران نشر علمی، مدیران انجمنهای علمی، کتابداران و پژوهشگران. در سال 2012 که بحث دسترسی آزاد به بلوغ رسیده بود در حاشیه نشست علمی انجمن علوم سلولی و ملکولی امریکا، نشستی از همین جنس تشکیل و در آن به بحث در مورد ارزیابیهای پژوهش و شاخصهای ارزیابی پرداخته شد تا زمانیکه در آخرین نشست ایشان در 2022 در شهر سانفرانسیسکو، بیانیه ای با عنوان بیانیه ارزیابی پژوهش (DORA)[4] منتشر شد که در آن به گروههای ذینفع توصیه هایی می‌کند که در ارزیابیهای پژوهشی دست از ضریب تاثیر بردارید و به ارزش علمی خود مقاله بپردازید. در سایت DORA با توضیحات زیر روبرو می‌شوید، و در همین صفحه از همه ذینفعان می خواهد که بیانیه را با امضای خود تایید کنند[5]:
"اعلامیه ارزیابی پژوهش (DORA) " نیاز به بهسازی روش های ارزیابی پژوهشگران و بروندادهای پژوهشی را توصیه می کند.
ایده نوشتن این بیانیه در سال 2012 در نشست سالانه انجمن آمریکایی بیولوژی سلولی در سانفرانسیسکو مطرح شد. این اقدام منجر به یک جریان گسترده خواهد شد، که همه رشته‌های علمی و همه ذینفعان کلیدی از جمله سرمایه‌گذاران، ناشران، انجمنهای حرفه‌ای، مؤسسات و پژوهشگران را پوشش می‌دهد.
ما همه افراد و سازمان‌هایی که علاقه‌مند به توسعه و ترویج بهترین روش در ارزیابی پژوهشگران و تحقیقات علمی هستند را تشویق می‌کنیم تا DORA را امضا کنند.
چشم انداز: چشم انداز DORA این است که رویکردهای عملی و قوی برای ارزیابی تحقیقات در سطح جهانی و در تمام رشته های علمی را پیش ببرد.
اهداف
افزایش آگاهی: توجه به ابزارها و فرآیندهای جدید در ارزیابی پژوهش و استفاده مسئولانه از معیارهایی که با ارزش‌های اصلی دانشگاهی همسو هستند و ثبات و شفافیت در تصمیم‌گیری را ارتقا می‌دهند.
تسهیل در اجرا: برای کمک به توسعه سیاست ها و شیوه های جدید برای سیاستگزاری در استخدام، ارتقاء پژوهشگران و اعضای هیات علمی و اولویتهای سرمایه گذاری
کمک به تغییر: گسترش اصلاحات "ارزیابی تحقیق" به طور گسترده، در رشته های علمی و در سطح جهانی
ارتقاء عدالت و برابری: فراخوان حضور نمایندگانی از پژوهشگران بطور گسترده‌تر در طراحی شیوه‌های ارزیابی پژوهشی، که مستقیماً به نابرابری‌های ساختاری در دانشگاه می‌پردازد.
رویکردها
مشارکت جوامع: ما وبلاگ‌ها را منتشر می‌کنیم، مصاحبه‌های مجامع مختلف را سازماندهی می‌کنیم، و مطالبی در مورد ارزیابی پژوهشی ارائه می‌کنیم.
توسعه منابع: ما مجموعه‌ای از بهترین نمونه‌های شیوه های خوب را گردآوری می‌کنیم و در دسترس می‌گذاریم، ارائه‌هایی برای کمک به افراد برای شروع گفتگوهای محلی درباره تغییر تولید می‌کنیم، و توصیه های خوب را در اختیار می‌گذاریم تا راهنمایی‌های بیشتری برای ذینفعان ارائه کنیم.
مشارکت: ما با سازمان‌های دیگری که مانند ما تمایل به اصلاح ارزیابی پژوهشی دارند، همکاری می کنیم.
مشاوره: ما به مؤسسات دانشگاهی و سرمایه‌گذارانی که به دنبال بازنگری و تجدیدنظر در سیاست‌ها و شیوه‌های ارزیابی تحقیقاتی خود هستند، مشاوره می‌دهیم.
جلسه‌ها: ما ذینفعان پراکنده و متنوع را در جلسات کنفرانس، کارگاه‌ها و جلسات جمع‌آوری می‌کنیم تا در جهت تغییر سیستم‌ها کار کنیم.
بیانیه 2022 ارزیابی پژوهش سانفرانسیکو به همت استاد گرامی جناب آقای محمد حسینی ترجمه و تقدیم خوانندگان لیزنا شده است که در زیر به نظر شما می‌رسد.
سردبیر
بیانیه ارزیابی پژوهش سانفرانسیسکو
لیزنا؛ ترجمه محمد حسینی[6]، پژوهشگر پسادکتری گروه پزشکی پیشگیری،دانشکده پزشکی دانشگاه نورث وسترن فاینبرگ : بهبود شاخصهای ارزیابی بروندادهای علمی که توسط تأمین‌کنندگان منابع مالی پژوهش، مؤسسه‌های دانشگاهی و دیگر بخش‌ها استفاده می‌شود، امری ضروری است .در این راستا گروهی از ناشران و سردبیران نشریات پژوهشی، به منظور بررسی این موضوع و همچنین معرفی شاخصهای مکمل، طی نشست سالیانه انجمن زیست‌شناسی سلولی آمریکا[7] در ۱۶ دسامبر ۲۰۱۲ و در شهر سانفرانسیسکو گردهم آمدند. این گروه با تدوین بیانیه‌ای تحت عنوان «ارزیابی پژوهش سانفرانسیسکو (دورا)»[8] پیشنهادهایی را مطرح کرده و از تمام افراد علاقه‌مند در رشته‌های مختلف علمی دعوت می‌کند که با افزودن نام خود، حمایت‌شان از این بیانیه را اعلام کنند.
بروندادهای علمی، فراوان و متنوع هستند؛ از آن جمله می‌توان به مقاله‌های پژوهشی، داده‌ها و نرم‌افزارهای جدید، مالکیت معنوی و تربیت پژوهشگران جوان اشاره کرد .تأمین‌کنندگان منابع مالی پژوهش، مؤسسه‌های استخدام‌کننده‌ی پژوهشگران و همچنین خود پژوهشگران، همگی مایل به ارزیابی کیفیت و اثربخشی بروندادهای پژوهشی هستند. به همین دلیل، ارزیابی صحیح و آگاهانه این بروندادها از اهمیت بسزایی برخوردار است.
بیشتر اوقات، شاخص ضریب تأثیر نشریات[9] معیار اصلی سنجش و مقایسه بروندادهای علمی افراد و مؤسسه‌هاست. این شاخص- به روش محاسبه مؤسسه تامسون رویترز[10]- در ابتدا با هدف ارزیابی کیفیت مقاله‌های پژوهشی ایجاد نشده بود، بلکه به کتابخانه‌های تحقیقاتی برای شناسایی و انتخاب نشریات مناسب برای مجموعه‌های تخصصی کمک می‌کرد. با در نظر گرفتن این امر، استفاده از شاخص ضریب تأثیر نشریات به عنوان ابزار ارزیابی پژوهش ،کاستی‌های زیادی به‌همراه دارد. برخی از این کاستی‌ها عبارت‌اند از:
الف) داده‌های مربوط به تعداد استنادهای علمی[11] در نشریات پژوهشی، از نظر آماری توزیع نامتوازنی دارند.[۱-۳]
ب) شاخص ضریب تأثیر نشریات در رشته‌های علمی مختلف بسیار متفاوت است. همچنین این شاخص مقیاسی ترکیبی بر اساس آمیخته‌ای از مقاله‌های متعدد و متنوع، از جمله مقاله‌های پژوهشی و مقاله‌های مروری است.[۱و۴]
ج) این احتمال وجود دارد که شاخص ضریب تأثیر نشریات توسط سیاست‌های هیئت تحریریه دستکاری شود {و موجبات سوء استفاده از آن را فراهم سازد} [۵].
د) داده‌هایی که به منظور محاسبه ضریب تأثیر نشریات پژوهشی مورد استفاده قرار می‌گیرند، شفاف و در دسترس عموم نیستند۴].و۶و [۷
در ادامه پیشنهادهایی برای بهبود روش‌های ارزیابی کیفیت بروندادهای علمی ارائه می‌شود. در آینده، بروندادهایی غیر از مقاله‌های پژوهشی، نمود بیشتری در ارزیابی اثر بخشی علم خواهند داشت .با این‌حال آن دسته از مقاله‌های پژوهشی که توسط محقق‌های دیگر بازنگری شده‌اند (داوری همتا)، کماکان به عنوان خروجی اصلی پژوهش در نظر گرفته شده و موثر‌ترین عنصر در ارزیابی پژوهش به شمار می‌روند. بنابراین اگرچه پیشنهادهای ما عمدتاً بر این نوع از مقاله‌های پژوهشی متمرکز است، ولی می‌توان و بایست آنها را به موارد دیگر، مانند مجموعه داده‌ها) به عنوان یکی دیگر از بروندادهای مهم علمی( نیز گسترش داد.
مخاطب اصلی این پیشنهادها تأمین‌کنندگان منابع مالی پژوهش، نهادهای آموزشی، نشریات پژوهشی، سازمان‌های ارائه دهنده شاخصهای سنجش و خود پژوهشگران هستند.
برخی از موضوعات مطرح شده در این پیشنهادها به شرح زیر است:
بسیاری از تأمین‌کنندگان منابع مالی، مؤسسه‌های علمی، ناشران و پژوهشگران، از مشوقین اصلی بهبود ارزیابی نتایج و بروندادهای پژوهش هستند. چنین اقدام‌هایی همواره از سوی ذینفعان در حال گسترش است تا ارزیابی پژوهش در آینده توسط رویکردهایی دقیق و پیشرفته انجام گیرد.
امضاکنندگان بیانیه‌ی دورا، از شیوه‌های زیر در ارزیابی پژوهش حمایت می‌کنند:
پیشنهاد عمومی
۱) در ارزیابی مشارکت یک پژوهشگر، یا در زمان استخدام، ارتقا یا تخصیص منابع مالی، برای سنجش کیفیت مقاله‌های پژوهشی از شاخصهای مبتنی بر نشریه (مثل شاخص ضریب تأثیر نشریه) استفاده نکنید.
پیشنهاد به تأمین‌کنندگان منابع مالی پژوهش
۲) در مورد معیارهای ارزیابی دستاوردهای علمی متقاضیان کمک هزینه تحقیقاتی (Grant)، شفاف و صریح باشید و به روشنی تأکید کنید (به‌ویژه برای پژوهشگران تازه‌کار) که محتوای علمی یک مقاله بسیار مهمتر از شاخصهای کمّی انتشار یا نشریه‌ای است که مقاله در آن منتشر شده است.
۳) در ارزیابی پژوهش، علاوه بر تحقیقات منتشر شده، ارزش و تأثیر تمامی بروندادهای تحقیق (از جمله مجموعه داده‌ها و نرم افزارها (کُدها)) را در نظر گرفته، و طیف وسیعی از شاخص‌ها و معیارهای کیفی تأثیر پژوهش مانند سیاست‌گذاری و کاربرد را نیز مد نظر قرار دهید.
پیشنهاد به نهادهای آموزشی
۴) در مورد معیارهای مورد استفاده در تصمیم‌گیری برای استخدام ، تعیین رتبه علمی، و یا ارتقاء اعضای هیات علمی صراحت داشته‌باشید. به‌روشنی تأکید کنید (به ویژه برای ارزیابان تازه کار) که محتوای علمی یک مقاله بسیار مهمتر از شاخصهای کمّی انتشار یا نشریه‌ای است که مقاله در آن منتشر شده است.
۵) در ارزیابی پژوهش، علاوه بر مقاله‌های منتشر شده، ارزش و تأثیر تمامی بروندادهای تحقیق (از جمله مجموعه داده‌ها و نرم افزارها) را در نظر گرفته، و طیف وسیعی از شاخص‌ها و معیارهای کیفی تأثیر پژوهش مانند سیاست‌گذاری و کاربرد را نیز مد نظر قرار دهید.
پیشنهاد به ناشران
(۶ با کاهش تأکید بر ضریب تأثیر نشریه به عنوان ابزار ارتقاء، و جایگزینی آن با سایر شاخصهای مبتنی بر نشریه (مانند ضریب تأثیر ۵ ساله، فاکتور آیگن[12][۸]، سایمگو[13][۹]، شاخص [14]H، مدت زمان انتظار برای ارزیابی هیئت تحریریه و انتشار و غیره) که دید وسیع‌تری از عملکرد نشریه ارائه می‌دهند.
(۷ طیفی از شاخصهای کیفی مبتنی بر مقاله را در دسترس قرار داده که مشوق تغییر شیوه ارزیابی پژوهش بر پایه محتوای علمی مقاله‌ها باشید نه شاخصهای ارزیابی نشریه‌ای که مقاله در آن منتشر شده است.
(۸ مشوق شیوه‌های نگارش مسئولانه باشید و جزئیات مشارکت هر نویسنده در مقاله‌ها را ارائه دهید.
(۹ خواه دسترسی به یک نشریه رایگان باشد یا نیاز به حق اشتراک داشته باشد، محدودیت‌‌های استفاده مجدد از فهرست منابع مقاله‌ها را حذف کرده، و آنها را با تخصیص مجوز حقوقی دامنه عمومی “Creative Common[15]” در دسترس قرار دهید.
(۱۰ محدودیت تعداد منابع در مقاله‌های پژوهشی را حذف کرده یا کاهش دهید و در صورت لزوم، استناد به متون اولیه به جای مقاله‌های مروری - و منابع دست دوم - را الزامی کنید تا منجر به کسب اعتبار برای گروه‌هایی شود که برای اولین بار یافته‌ای را گزارش کرده‌اند.
پیشنهاد به سازمان‌های ارائه دهنده شاخصهای سنجش
(۱۱در رابطه با داده‌ها و روش‌های مورد استفاده در محاسبه‌ی شاخصهای سنجش شفاف و باز عمل کنید.
(۱۲داده‌ها را با مجوزی ارائه دهید که استفاده‌ی مجددِ بدون محدودیت را ممکن می‌سازد و در صورت امکان، دسترسی به تمام داده‌ها را (برای محاسبات مجدد) فراهم کنید.
(۱۳به صراحت اعلام کنید که با دستکاری نامناسب و سوء استفاده از شاخصهای سنجش مدارا نمی‌شود. همچنین در مورد تعریف «دستکاری نامناسب» و اقداماتی که برای مبارزه با آن اتخاذ خواهد شد، صریح باشید.
(۱۴در استفاده، تجمیع و مقایسه شاخصهای سنجش، گونه‌های مختلف مقاله‌ها) برای نمونه مقاله‌های مروری در مقایسه با مقاله‌های پژوهشی) و تفاوت‌های ساختاری رشته‌های مختلف علمی را مد نظر قرار دهید.
پیشنهاد به پژوهشگران
(۱۵هنگامی که عضوی از گروههای تصمیم‌گیرنده درباره تأمین منابع مالی، استخدام یا ارتقای پژوهشگران هستید، ارزیابی‌ها را به جای شاخصهای کمّی انتشار بر اساس محتوای علمی انجام دهید.
(۱۶هر کجا درپی اعتباربخشی به مطلبی هستید، به جای مقاله‌های مروری به پژوهش‌های دست اول استناد کنید.
(۱۷ در نوشتن اظهارات شخصی یاحمایتی ، از شاخصهای ارزیابی گوناگون یا سنجه‌های مکمل به عنوان شاهدی بر تأثیر مقاله‌های منتشر شده انفرادی و سایر بروندادهای پژوهشی استفاده کنید.[۱۱]
(۱۸ روش‌های ارزیابی پژوهشی را که به شکل نادرستی متکی بر شاخص ضریب تأثیر مجله است به چالش کشیده، و بهترین نمونه‌های مبتنی بر ارزش و تأثیر بروندادهای تحقیقاتی خاص را ترویج و آموزش دهید.
حسینی، محمد. « اقدامی نو و توصیه ای پیشرو در ارزیابیهای پژوهشی :بیانیه ارزیابی پژوهش سانفرانسیسکو». سخن هفته لیزنا، شماره 598، ۲۷تیر ۱۴۰۱
--------------------------------
فهرست منابع
----------------------------
[1] . عمرانی، ابراهیم. مروری بر شاخص های ارزشیابی برون دادهای پژوهشی. نشریه مطالعات کتابداری و سازماندهی اطلاعات، سال هجدهم شماره 3 (پیاپی 71، پاییز 1386)
[2] . مجلاتی که همزمان و در یک تک شماره هم مقالات دسترسی آزاد را منتشر می کنند و هم مقالاتی که برای دریافت آن باید هزینه پرداخت کنید.
[3] . Transformative Agreements
[4] . The Declaration on Research Assessment (DORA)
[5] . https://sfdora.org/about-dora/
[6] با تشکر از سارا حبیبی‌تبار، علی اکبر اکبری تبار، شیوا شریف‌زاد، الهه حسینی و احسان محمدی برای همکاری در ترجمه این بیانیه.
[7] ASCB (American Society for Cell Biology)
[8] DORA (Declaration on Research Assessment): https://sfdora.org/read/
[9] Journal Impact Factor
[10] The Journal Impact Factor is now published by Clarivate Analytics.
[11] Citations
[12] EigenFactor
[13] SCImago
[14] h-index
[15] . Creative Commons Public Domain Dedication
۱. از توهین به افراد، قومیت‌ها و نژاد‌ها خودداری کرده و از تمسخر دیگران بپرهیزید و از اتهام‌زنی به دیگران خودداری نمائید.
۲.از آنجا که پیام‌ها با نام شما منتشر خواهد شد، بهتر است با ارسال نام واقعی و ایمیل خود لیزنا را در شکل دهی بهتر بحث یاری نمایید.
۳. از به کار بردن نام افراد (حقیقی یا حقوقی)، سازمان‌ها، نهادهای عمومی و خصوصی خودداری فرمائید.
۴. از ارسال پیام های تکراری که دیگر مخاطبان آن را ارسال کرده اند خودداری نمائید.
۵. حتی الامکان از ارسال مطالب با زبانی غیر از فارسی خودداری نمائید.