سنجش و ارزیابی پژوهش‌ها

به گزارش لیزنا، دکتر مهدی محمدی، عضو هیات علمی گروه آموزشی علم اطلاعات و دانش‌شناسی دانشگاه قم، با دکتر جعفر مهراد، استاد پیشکسوت دانشگاه شیراز و موسس پایگاه استنادی جهان اسلام ISC ، گفتگو کرده است. 

این گفتگو در ادامه آمده است:

پس از انتشار دو قسمت‌ از مصاحبه با دکتر مهراد که با استقبال گسترده علاقه‌مندان حوزه علم‌سنجی رو به رو شد؛ بسیاری از دوستان و همکاران با بنده تماس داشتند که با توجه به تجربیات ارزنده دکتر مهراد در حوزه‌های علم‌سنجی و سال‌ها فعالیت ایشان در ISC و انتشار آثار متعدد و سردبیری مجله بین‌المللی IJISM  به زبان انگلیسی و ارتباط با شخصیت‌ها و سازمان‌های مطرح علمی در دنیا از علم و مطالعات جناب استاد در سایر بخش‌ها و حوزه‌ها نیز استفاده شود و این مصاحبه‌ها محدود به رتبه‌بندی نشده بلکه سایر مباحث سیاستگذاری علمی نیز مورد بحث و بررسی قرار گیرند. پیشنهاد دوستان با دکتر مهراد مطرح شد و استاد موافقت کردند که در سایر موضوعات علم‌سنجی نیز نظرات استاد را جویا شویم.

این مصاحبه اولین بخش از موضوعات حوزه علم‌سنجی است که به سنجش و ارزیابی پژوهش‌ها پرداخته است. ضمن تشکر مجدد از جناب دکتر مهراد شما را به خواندن مصاحبه دعوت می‌کنم:

محمدی: از وقتی که در اختیار من گذاشتید، تشکر می کنم. استاد اجازه بدهید، اول پیش از پرداختن به نحوه سنجش و ارزیابی پژوهش در سطح نشریات و مقالات علمی، نخستین سوال خود را درباره پژوهش در ایران مطرح کنم. اگر مایل باشید کمی درباره پیشرفت‌های علم و فناوری و نقاط قوتی که جمهوری اسلامی ایران در این زمینه‌ها دارد، بیان بفرمایید.

دکتر مهراد: بسیار خوب. پس موضوع دقیق صحبت ما ارزیابی نشریات و مقالات علمی است. اما، سوالی که مطرح کردید بسیار مهم است. اهمیت آن هم در دانشگاه‌های ما نهفته است. ما در دانشگاه‌های کشور معتقدیم  که ایران در دهه‌های اخیر به پیشرفت‌های چشمگیری در علم و فناوری دست یافته است. شما می‌دانید که این پیشرفت‌ها ابعاد مختلف دارد. مثلاً، از یک جهت، ایران دارای یکی از سریعترین تولیدات علمی در سطح جهان است. در این مورد، به نظرم حوزه‌های متمرکز، یکی شامل پزشکی و سلامت است؛ و پیشرفت‌های قابل توجهی در تحقیقات پزشکی از جمله ایمنی شناسی، ژنتیک و بهداشت عمومی انجام می‌گیرد. این تحقیقات بسیار قوی است. یا، دستاوردهای قابل توجه در مهندسی هوافضا از جمله پرتاب ماهواره درخور اهمیت است. همینطور، پیشرفت‌های ارزشمند در حوزه انرژی هسته‌ای، گرچه در معرض بررسی بین المللی است. از نقاط قوت دیگر، می‌توانم به نانو تکنولوژی اشاره کنم. تحقیق و توسعه رو به رشد در کاربردهای فناوری نانو، به ایران و  صنایع آن، جان تازه‌ای بخشیده است.  ما در ایران یک سیستم آموزش عالی بزرگ و درحال گسترش داریم که به میزان قابل توجهی به خروجی تحقیقات کمک می کند. دانشگاه‌های مختلف در سراسر کشور، پژوهش‌های مهمی انجام می‌دهند که در آن بین، می‌توانم به قدرت تحقیقاتی دانشگاه‌هایی مانند دانشگاه تهران، علوم پزشکی تهران، صنعتی شریف، صنعتی امیرکبیر، یا صنعتی اصفهان، البته تنها به عنوان مثال، اشاره کنم. اگر در تشریح قدرت علمی دانشگاه‌های کشور به توان علمی پژوهشی دانشگاه‌های مادر، چه در وزارت عتف و چه در وزارت بهداشت، اشاره نکنیم دور از انصاف خواهد بود. اما، گفتگوی ما، موضوع دیگری است. هر کدام از این موسسات علمی و پژوهشی کشور خود موضوع گفتگوی جداگانه‌ای است که در این فرصت مجال آن نیست. 

دکتر محمدی: بسیار عالی! استاد مهراد، لطفاً چالش‌های کلیدی  را که در این زمینه وجود دارد، آن‌ها را هم به طور مختصر بیان بفرمایید:

دکتر مهراد: توان علمی اساتید و پژوهشگران در دانشگاه‌ها یا موسسات پژوهشی کشور جای بحث ندارد. آن‌ها کار خود را به خوبی انجام می دهند، منتها توجه داشته باشید که انجام اینهمه کار، آن هم در شرایط تحریم که به اعتقاد من از چالش‌های مهم است، کار دشواری است. منظورم این است که تحریم‌های بین المللی مانع دسترسی به فناوری، تجهیزات و همکاری‌های بین المللی شده و به شدت بر پیشرفت تحقیقات تاثیر گذاشته است.

چالش مهم دیگر، فرار مغزها است. مهاجرت پژوهشگران ماهر به کشورهای دیگر، مسأله‌ای است اساسی که حفظ استعدادها را با چالش‌های جدی مواجه کرده است.  می دانم که بنیاد ملی نخبگان، کمیسیون‌ها و شوراهای مختلف برای مدیریت و کنترل این موضوع، تلاش و کوشش می کنند، کارشناسان و صاحبنظران ایده‌های خود را مطرح می کنند، با اینهمه به اعتقادم این مشکل کماکان وجود دارد و برای پیشرفت علمی کشور از چالش‌های کلیدی است.

 چالش سوم، مربوط به بودجه است، در حالی که بودجه‌های تحقیقاتی هر سال چندان افزایشی از خود نشان نمی‌دهد، هیچوقت نیز به اندازه کافی توزیع نمی شود یا اولویت‌بندی نمی‌شود. موضوع بودجه پژوهشی همیشه از مسایل بنیادین بوده و هنوز هم است. طبق سند چشم انداز، بودجه پژوهشی از تولید ناخالص داخلی ۴ درصد تا سال ١۴٠۴ تعیین شده است (٢٪‏ دولتی و ٢٪‏ خصوصی)، که طبق گفته آقای دکتر پیمان صالحی معاون محترم پژوهشی وزارت عتف اکنون چیزی در حدود نیم درصد است. البته، تا آنجا که من می‌دانم طی سالهای گذشته هم همینجوری بوده و هیچ فرقی نکرده است. حالا در مقابل،  لطفاً به ارقام بودجه‌های تحقیق و توسعه، به عنوان مثال، در عربستان سعودی توجه کنید. هزینه کرد این کشور در تحقق و توسعه در سال ٢٠٢٣، در حدود ۶ میلیارد دلار بود. یا، سهم پژوهش از تولید ناخالص داخلی در امارات متحده عربی ١/۵٪‏ است. بودجه تحقیق و توسعه در سال‌های اخیر در کره جنوبی ١١۵ میلیارد دلار بود. ملاحظه می کنید که ارقام بسیار چشمگیر است. سال‌ها است که دانشگاه‌ها و موسسات پژوهشی ایران از بودجه‌های لازم، حتی از آن رقمی که در اسناد بالا دستی آمده است، بی بهره هستند.

و بالاخره، به عنوان آخرین چالش، می‌توانم از کیفیت در مقابل کمیت، نام ببرم. سیاست گذاران برنامه‌های علمی و پژوهشی در کل آموزش عالی کشور باید به این مهم توجه کنند. به طوری که گفتم، در حالی که خروجی تحقیق در ایران بالا است، نیاز به تمرکز بر بهبود کیفیت و تاثیر پژوهش به شدت احساس می شود.

دکتر محمدی: بسیار قدردانی می کنم استاد. حالا، لطفاً برگردیم به اصل موضوع و آن هم روش‌های سنجش و ارزیابی بهره‌وری پژوهش است. به طوری که جنابعالی اطلاع دارید، مطالب در این زمینه مختلف و متعدد است. سوال روشن من این است که چرا اساسأ لازم است بهره وری در حوزه‌های پژوهشی را بسنجیم. روش‌های سنجش آنها چه روش‌هایی است؟

دکتر مهراد: بلی! ببینید! اندازه گیری بهره وری پژوهش رویکردی است که وجوه مختلف دارد. تحقیقاتی که  در دانشگاه‌های تراز اول جهان انجام می گیرد، هم برای پیشرفت دانشگاه و هم برای  نوآوری صنعت بسیار مهم است. با این حال، اندازه گیری موثر بهره وری پژوهش یک چالش پیچیده است. سعی می کنم برایتان، به تفکیک معیارها و ملاحظات مهم، نکاتی را که به نظرم می‌رسد بیان کنم. بحث بسیار مفصل است، باید جمع و جورش کرد.

١- نخست، اینکه در تمام دنیا، «تعداد انتشارات» از معیارهای مهم تلقی می‌شود، یعنی از معیارهای انتشار، برای ارزیابی تأثیر و کیفیت کار علمی استفاده می‌شود:

- ابتدایی‌ترین معیار، به سادگی شمارش تعداد کل مقالات، مجموعه مقالات کنفرانس‌های علمی، کتاب‌ها و غیره است که توسط یک پژوهشگر یا یک دانشگاه و موسسه منتشر می‌شود. این روشی ساده است، منتها، همان طوری که پیش از این اشاره کردم، تمرکز صرف بر تعداد انتشارات، پژوهشگران را تشویق می کند که کمیت را بر کیفیت اولویت دهند. همین حالا، ما این مشکل را در کشور داریم، و آنگونه که می بینم، این روند همچنان ادامه دارد. 

- معیار مهم دیگر، انواع انتشارات است، انواع مختلف انتشار سطوح مختلفی از تاثیر و دقت دارند ( به عنوان مثال، مقالات نشریات علمی در مقابل مجموعه مقالات کنفرانس‌ها). 

- در سطح معیارهای انتشار، «سنجه‌های خاص رشته» نیز اهمیت  زیادی دارد و شاخصی مهم تلقی می‌شود. به این معنی که نرخ انتشار به طور قابل توجهی در رشته‌های مختلف، متفاوت است. به این مورد لازم است بیشتر پرداخته شود، چون روش و نوع ارزیابی برخی رشته‌ها و حتی بعضی از پژوهش‌ها متفاوت است و باید آن را در بررسی‌های خود توجه کنیم. هیات‌های ممیزه دانشگاه‌ها هم باید به این موضوع توجه کنند. این بخش به وقت کافی نیاز دارد و چون مفصل است ترجیح می‌دهم این معیار را به طور جداگانه هم در سطح سنجه‌های میدانی و هم با ارایه مثال‌های روشن، این معیار را به تصویر بکشم. مثال‌هایی از علوم طبیعی: (به عنوان مثال شیمی، فیزیک و زیست شناسی)، علوم انسانی و علوم اجتماعی. حتی، معیارها در درون مثلا علوم اجتماعی مثل رشته اقتصاد یا رشته روانشناسی، همه با هم متفاوت است.

دکتر محمدی: استاد مهراد، بدین ترتیب ارزیابی پرونده‌های ارتقاء مرتبه در دانشگاه‌ها می تواند متفاوت باشد. مثال‌هایی که شما ارائه می دهید گویای این موضوع است.

دکتر مهراد: کاملا درست است. گفتم که هیأت‌های ممیزه باید به این نکات توجه کنند. این سه موردی که در رده‌های کلی مثال آوردم، در اندازه گیری پژوهش وزن یکسانی ندارند. اختصاص یک امتیاز واحد برای این مقوله‌ها، عادلانه نیست. من اکنون از آخرین ویرایش آیین نامه ارتقای مرتبه اعضای هیات علمی اطلاع ندارم. شاید، به این نکته‌ها توجه شده است. بررسی کنید.  

دکتر محمدی: بسیار خوب استاد. فعلا، به بقیه معیار ها بپردازیم تا این بحث در این حد کامل شود. 

دکتر مهراد:  خیلی خوب. موافقم.

٢- معیار بعدی در سطح انتشار، عبارت از «استنادها» است. استنادها، به طور مستقیم درجه «تاثیر» را اندازه گیری می‌کنند.

همان طوری که می‌دانید استنادها نشان می‌دهد که، هر چند وقت یکبار، به کار یک پژوهشگر توسط دیگران استناد می‌شود، که خود تأثیر آن کار علمی را در این زمینه نشان می‌دهد.

  در این رابطه، معیارهای کلیدی وجود دارد که در نوع خود حایز اهمیت است. به چند معیار اشاره می کنم:

*مجموع استنادها: تعداد کلی استنادهای دریافت شده توسط کار علمی یک پژوهشگر. 

* استنادها در هر مقاله: با در نظر گرفتن تعداد استنادهای دریافتی در هر مقاله، نمای  کلی آن نمایانده می‌شود.

* مقالات با استنادهای بالا (مقالات پراستناد): مقالاتی را با تعداد فوق العاده بالایی از استنادها شناسایی می کند.

در اینجا، ملاحظاتی وجود دارد که که در ارزیابی کار پژوهشی لازم است مورد توجه قرار گیرند. از آن جمله، «خود-استنادی» است. همه می‌دانیم که پژوهشگران غالباً بیشتر به کارهای خود استناد می کنند که به طور بالقوه تعداد استنادات را افزایش می‌دهد. نکته دوم که باید لحاظ شود همان «معیارهای رشته های خاص» است که در این مورد توافق کردیم که آن را به وقت دیگری موکول کنیم. شیوه های استناد به طور قابل توجهی در بین رشته‌های خاص متفاوت است. برخی از رشته‌ها نرخ استناد بالاتری نسبت به بقیه دارند. و بالاخره، عمر یا قدمت مقاله است. مقالات قدیمی در طول زمان، استنادهای بیشتری را دریافت می کنند.

٣- شاخص اچ (h-index):

این شاخص یک معیار متوازن است. شاخص h, حداکثر تعداد h از مقالات h پراستناد یک پژوهشگر را نشان می‌دهد که هرکدام دارای حداقل استناد h هستند. مثالی می‌زنم. شاخص h ده، به این معنی است که محقق حداقل ده مقاله را منتشر کرده است که حداقل ده بار مورد استناد قرار گرفته‌اند.

این شاخص مزیت‌هایی دارد از جمله این که هم تعداد انتشارات و هم تعداد استنادهای دریافتی را در نظر می گیرد. بعلاوه، یک معیار واحد و مختصر برای ارزیابی تأثیر کلی یک پژوهشگر ارایه می‌دهد.

۴- شاخص i10:

سنجه گوگل اسکالر:

براساس گوگل اسکالر، سنجه i10 نشان دهنده تعداد انتشارات یک محقق است که حداقل ده بار مورد استناد قرار گرفته‌اند. این شاخص نیز در ارزیابی پژوهش دارای مزیت است. اول اینکه، تاثیر گسترده‌تری را منعکس می کند، از جمله استنادهایی از منابعی که معمولا در پایگاه‌های استنادی سنتی نمایه نشده اند. ثانیاً، به راحتی از طریق گوگل اسکالر قابل دسترس است.

۵- ضریب تاثیر مجله (JIF):

این شاخص، شاخصی است در سطح نشریه. یعنی، میانگین تعداد استنادهای دریافت شده به ازای هر مقاله منتشر شده در یک مجله خاص را در یک دوره خاص اندازه گیری می کند.

در اینجا هم ملاحظاتی وجود دارد که لازم است مورد توجه قرار گیرند. یکی اینکه، ضریب تاثیر مجله، در درجه اول نشان دهنده اعتبار مجله است، نه لزوماً کیفیت مقالات جداگانه.  دوم اینکه، مجلات با ضریب تاثیر بالا، همیشه تاثیر گذار ترین تحقیقات را منتشر نمی کنند و این می تواند گمراه کننده باشد. و نکته سوم اینکه، ضریب تاثیر مجلات در رشته‌های مختلف بسیار متفاوت است، که این دلالت بر تغییرات موضوعی دارد.

چند شاخص دیگر هم وجود دارد از اسکوپوس و سایمگو که آن‌ها را هم به اختصار توضیح می‌دهم:

۶- تاثیر نرمال شده منبع در هر مقالهSNIP (Source Normalized Impact per Article))

این شاخص تفاوت در شیوه‌های استناد در زمینه‌های علمی را توضیح می‌دهد. در محاسبه، این شاخص تاثیر استناد یک مجله را با میانگین تاثیر استناد مجلات در حوزه موضوعی آن مقایسه می کند. این روند، به نرمال سازی حوزه‌هایی که استنادها در آن به طور طبیعی فراوان است، کمک می کند و نمای دقیق تری از تاثیر مجله ارایه می‌دهد.

٧- شاخص SJR (SCImago Journal & Country Rank)

این شاخص تاثیر مجلات علمی را می‌سنجد. در محاسبه، براساس داده‌های گوگل اسکالر، تعداد استنادهای دریافت شده توسط یک مجله و اعتبار مجلاتی را که به آن استناد می‌کنند، در نظر می گیرد. در مزیت ان، می‌توان گفت: معیاری از اعتبار یک مجله در حوزه موضوعی آن ارایه می کند که منعکس کننده تاثیر مقالات آن بر جامعه علمی گسترده‌تر است.

٨- تاثیر در هر انتشار ( IPP (Impact per Publication))

یک معیار ساده است که میانگین تعداد استنادهای دریافت شده به ازای هر انتشار را در بازه زمانی خاص (معمولاً در سه سال گذشته) اندازه گیری می کند. محاسبه این شاخص از این قرار است: کل استنادهای دریافت شده توسط مقالات منتشر شده در یک مجله در بازه زمانی/تعداد کل مقالات منتشر شده در همان بازه زمانی.

٩- رتبه‌بندی مجلات (JRK (Journal Ranking))

اصطلاحی است کلی برای هر سیستمی که مجلات را براساس معیارهای مختلف رتبه‌بندی می کند. این رتبه‌بندی می‌تواند براساس عوامل مختلفی از جمله عوامل تاوع، تعداد استنادها، فرآیندهای بررسی همتا، و استانداردهای ویرایشی باشد. براساس این مولفه، پژوهشگران می‌توانند یک نمای کلی از جایگاه یک مجله در زمینه موضوعی آن بدست آورند و کمک می کند تا نویسندگان،  تصمیمات آگاهانه تری در مورد محل ارسال کار خود اتخاذ کنند.

دکتر محمدی: استاد! در مورد آلتمتریکس گفتگو نکردید. می دانم که این هم، مقوله مفصلی است که اگر موافق باشید این را هم به جلسات دیگر موکول کنیم.

دکتر مهراد: آلتمتریکس، فراتر از معیارهای سنتی است. می‌دانید که حرکت رو به رشدی به سمت معیارهای جایگزین وجود دارد که طیف وسیع تری از تاثیرات تحقیقاتی مانند ذکر رسانه‌های اجتماعی، پوشش خبری و تاثیر سیاست را به خود اختصاص می دهد. 

دکتر مهراد: با شما موافقم. حتما در این زمینه نیز برنامه ریزی کنید، اقدام خواهم کرد.

دکتر محمدی: ضمن تشکر استاد، اگر نکته ای در بخش سنجش و ارزیابی پژوهش‌ها باقی مانده بفرمایید.

دکتر مهراد: چیز خاصی در نظر ندارم جز اینکه تاکید می کنم که در ارزیابی آثار پژوهشی در قالب مجله و مقاله بر اساس روش‌های گفته شده (معیارهای انتشار)، توجه داشته باشید که این شاخص‌ها یا معیارها همیشه به طور کامل تاثیر همه فعالیت‌های پژوهشی را دریافت نمی‌کنند و محدودیت‌های خاص خود را دارند. بعد هم، پیش‌تر تاکید کردم که معیارهای انتشار باید همیشه در چارچوب زمینه پژوهشی خاص تفسیر شود. لذا، با در نظر گرفتن دقیق نقاط قوت و محدودیت‌های معیارهای مختلف انتشار و استفاده از آن‌ها در ارتباط با سایر عوامل مرتبط، پژوهشگران و دانشگاه‌ها می‌توانند درک دقیق‌تری از تاثیر پژوهش بدست آورند. 

محمدی: استاد بسیار سپاسگزارم از این که وقتتان را در اختیار من قرار دادید ان‌شاالله در مصاحبه‌های بعدی راجع به  موارد دیگر بحث خواهیم کرد

دکتر مهراد: خواهش می‌کنم؛ ان شاالله