مدل های پایه در علم اطلاعات

(لیزنا، مقاله های روز)، دکتر جعفر مهراد استاد پیشکسوت دانشگاه شیراز و بنیانگذار موسسه ISC: مدل های پایه در علم اطلاعات نشان دهنده پیشرفت قابل توجهی است که با ادغام هوش مصنوعی در رشته های مختلف تحصیلی از جمله علم اطلاعات حاصل شده است. این مدل ها، اساسا بر روی مجموعه ای از داده های بزرگ ساخته شده و به عنوان یک ساختار بنیادی، طراحی می شوند. در این نوشتار مولفه های مهم و تاثیر مدل های پایه را در علم اطلاعات بررسی و نقش این مدل ها را در بهبود مدیریت داده ها و بازیابی اطلاعات توضیح خواهم داد.

مدل های پایه در علم اطلاعات ریشه در زمینه های گسترده تر یادگیری ماشین (١) و هوش مصنوعی دارند. یک پیشرفت مهم در ایجاد این مدل های پایه، موفقیت الگوریتم های یادگیری عمیق و معماری های مقیاس بزرگ مانند ترانسفورماتورها است که قابلیت این مدل ها را به طور قابل توجهی بهبود بخشیده است.

 اجزا و خصوصیات

 پیش آموزش و آموزش انتقالی:

یکی از ویژگی های مهم مدل های پایه، استفاده از تعلیم پیش آموزشی و انتقال یادگیری است.این مدل ها ابتدا بر روی مجموعه داده های بزرگ و متنوع  آموزش می بینند و انگاه روی مجموعه داده های کوچک تر و خاص به خوبی تنظیم می شوند. این فرایند پیش آموزشی به مدل اجازه می دهد تا الگو ها و ویژگی های کلی را از حجم وسیعی از داده ها بیاموزد و آن را با وظایف جدید و با داده های محدود سازگار تر کند.

 مقیاس و تعمیم:

مدل های پایه معمولاً در مقیاس بزرگ هستند و اغلب حاوی میلیارد ها پارامتر می باشند. این مقیاس بزرگ آن ها را قادر می سازد تا در حوزه های مختلف، از پردازش متن گرفته تا تشخیص تصویر، قابلیت های خود را تعمیم دهند. در علم اطلاعات، این قابلیت تعمیم به ویژه برای خلاصه سازی خودکار، بازیابی اطلاعات و سیستم های پاسخگو به سوال بسیار مفید است.

 کاربردها در علم اطلاعات

 پردازش زبان طبیعی:

در علم اطلاعات، مدل های پایه برای کاربردهای پردازش زبان طبیعی (٢) مانند نمایه سازی خودکار، تحلیل محتوا و متن کاوی بسیار سودمند می باشد. این مدل ها، نحوه پردازش و تحلیل مخازن داده های متنی گسترده را تغییر داده و کارایی وظایفی مانند رده بندی مقالات علمی یا استخراج الگوهای مهم از پایگاه های کلان داده را بهبود می بخشند.

 بازیابی اطلاعات و مدیریت دانش:

سیستم های بازیابی اطلاعات از ارکان اصلی علم اطلاعات بحساب می آیند و مدل های پایه به طور کلی قابلیت های این سیستم ها را افزایش داده اند. مدل های از پیش آموزش دیده شده، مانند Bidirectional Encoder Representations from Transformers (BERT) یا، نمایش رمزگذار دوطرفه از ترانسفورماتورها (٣)، در عملکرد موتور های جستجو برتری قابل توجهی را نشان داده و ربط و دقت مدارک بازیابی شده را براساس درخواست های کاربر به شدت بهبود بخشیده اند.

 در مدیریت دانش، مدل های پایه برای توسعه ابزار های پیشرفته برای سازماندهی و بازیابی اطلاعات از مجموعه داده های بدون ساختار استفاده می کنند. این مدل ها به رده بندی خودکار، برچسب گذاری و خلاصه کردن مدارک کمک می کنند که برای مدیریت پایگاه های دانش در مقیاس بزرگ ضروری هستند.

 در حالیکه مدل های پایه پیشرفت های قابل توجهی را از خود نشان می دهند، اما بدون چالش هم نیستند. نخستین چالش مربوط به این موضوع است که چون این مدل ها بر روی مجموعه داده های بزرگ آموزش می بینند، ممکن است به طور ناخواسته در یادگیری داده ها سوگیری داشته و این وضعیت را پیوسته تکرار کنند. لذا، حصول اطمینان از بی طرفی در طراحی و استقرار مدل های پایه برای جلوگیری از رخداد سوگیری های ناخواسته از طریق سیستم های هوش مصنوعی مهم است. چالش دوم، تفسیر پذیری مدل های پایه است. تفسیر پذیری مدل های پایه به درک چگونگی پیش بینی یا تصمیم گیری این مدل ها، اغلب بزرگ و پیچیده (مانند GPT یا BERT) اشاره دارد. این چالش بسیار مهم است، زیرا این مدل ها در برنامه‌های کاربردی مختلف استفاده می شوند و کاربران یا تنظیم کنندگان ممکن است بخواهند خروجی های آن ها بی طرفانه و ا ز منطق معقول برخوردار باشند. تفسیر پذیری به شناسایی سوگیری ها (چالش اول)، خطا ها یا حوزه هایی که درک مدل را ندارند، کمک می کند. برای روشن شدن موضوع به این مثال توجه کنید: 

فرض کنید از یک مدل زبان بزرگ مانند GPT-3 برای رده بندی ایمیل ها به عنوان هرزنامه یا غیرهرزنامه استفاده می کنید. این مدل ممکن است یک ایمیل را بدون قابلیت تفسیر به عنوان هرزنامه برچسب گذاری کند، اما شما نمی دانید چرا؟ ممکن است به دلیل برخی از واژه ها، عبارات یا حتی الگویی باشد که از داده‌های آموزشی آموخته است که برای انسان واضح نیست. اگر مدل مرتکب اشتباه شود - برچسب گذاری یک ایمیل کاری مهم به عنوان هرزنامه - آن وقت شما به راهی نیاز دارید تا متوجه شوید چه چیزی منجر به این تصمیم شده است. برای کشف این مسأله تکنیک های مختلفی وجود دارد. برای مثال، تکنیکی مانند SHapley Additive  explanations (SHAP) می تواند با نسبت دادن هر بخش از ورودی (واژه ها یا عبارات خاص) به سهم آن در پیش بینی هرزنامه، به تفسیر تصمیم مدل کمک کند (۴). به عنوان مثال، مدل ممکن است ایمیل را علامت گذاری کرده کند، زیرا احتمالا حاوی واژه ها یا عبارت های مرتبط با هرزنامه است. تکنیک SHAP تاثیر هر واژه را بر پیش بینی مدل تعیین می کند و روشی را در مورد فرایند تصمیم‌گیری ارایه می دهد.

 این دو نکته  را که در بالا دیدیم، علم اطلاعات را به چالش می کشند، جایی که شفافیت و توضیح پذیری بسیار مهم است. در مقاله بعد، به خاطر  اهمیت این موضوع، کاربرد تکنیک SHAP را در هر مورد و با مثال های روشن تر شرح خواهم داد. 

با وجود این، آینده مدل های پایه (۵) در علم اطلاعات امیدوار کننده است، زیرا معماری های جدید همچنان در حال توسعه هستند و عملکرد مدل ها را بهبود بخشیده و سوگیری را کاهش می دهند. علاوه براین، با تخصصی شدن مدل ها، (این موضوع را نیز در مقاله جداگانه ای تشریح خواهم کرد)، انتظار داریم در حوزه‌های تخصصی مانند کتابخانه های دیجیتال، بازیابی اطلاعات علمی و سیاست گذاری شاهد پیشرفت های بیشتری باشیم.

 منابع:

1- What is Machine Learning? Definition, Types, and Examples. Written by Coursera Staff, March 27, 2024

2- Jurafsky, D., & Martin, J. H. (2021) Speech and Language Processing (3rd Ed.) Pearson.

3- Devlin, j., et al., (2019) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 4171-4186

4- SHAP: A Comprehensive Guide to SHapley Additive exPlanations. January 3, 2024. www.geeksforgeeks.org

5- Bommasani, R., et al. (2021) On the Opportunities and Risks of Foundation Models. arXiv preprint arXiv: 2028.07258