پردازش زبان طبیعی چگونه کار می کند؟

 دکتر جعفر مهراد استاد پیشکسوت دانشگاه شیراز در گفتگوی اختصاصی با خبرنگار لیزنا درباره این که پردازش زبان طبیعی چگونه کار می کند گفت: برای درک بهتر این موضوع ابتدا بهتر است مدل زبان را تعریف و سپس به پرسش شما پاسخ دهم. ساده‌ترین تعریف از مدل زبان این است که بگوییم یک مدل زبان بر توانایی تولید متن شبیه انسان تمرکز دارد. مدل های زبان به شدت با علوم کامپیوتر و هوش مصنوعی مرتبط هستند و به عنوان پایه و اساس پردازش زبان طبیعی عمل می کنند. هدف اصلی هوش مصنوعی تقلید از هوش انسانی است. زبان برای این تلاش ضروری است.

 وی در ادامه افزود: یک مدل زبان خوب با هدف درک و تولید متن شبیه به انسان، یادگیری ماشین را قادر می سازد که در آن ماشین ها زمینه، لحن محتوا و روابط معنایی بین کلمات، از جمله قوانین دستور زبان و بخش هایی از گفتار را درک کنند. این نوع توانایی یادگیری ماشین یک گام مهم در جهت دستیابی به هوش مصنوعی واقعی، تسهیل تعامل انسان و کامپیوتر در زبان طبیعی و فعال کردن ماشین ها برای انجام وظایف پیچیده پردازش زبان طبیعی مانند ترجمه، تشخیص گفتار و تجزیه و تحلیل لحن محتوا است.

 وی درباره خواندن پیکره متن خام گفت: قبل از کنکاش پیرامون مکانیسم های مورد استفاده در مدلهای زبان، ضروری است بدانیم که آنها چگونه با متن خام دست و پنجه نرم می کنند. گام اول در مدل سازی زبان شامل خواندن پیکره خام یا آن چیزی است که می تواند زمینه شرطی سازی مدل باشد. این جزء اصلی مدل، می تواند از هر چیزی، مثلاً از آثار ادبی تا صفحات وب یا حتی رونویسی زبان گفتاری تشکیل شده باشد. صرفنظر از ریشه های آن، این مجموعه نشان دهنده غنا و پیچیدگی زبان در خام ترین شکل آن است. دامنه و وسعت پیکره داده های متنی که برای آموزش استفاده می شود، یک مدل زبان هوش مصنوعی را به عنوان یک مدل زبان بزرگ طبقه بندی می کند.

 دکتر مهراد بیان کرد: یک مدل زبان با خواندن پیکره متنی کلمه به کلمه، جمله به جمله، ساختار پیچیده و الگوهای اساسی در زبان را یاد می گیرد و بعد هم  این کار را با رمزگذاری کلمات به بردارهای عددی انجام می دهد، فرایندی که از آن به عنوان جاسازی کلمه نام می بریم. به عنوان مثال، کلمات مورد استفاده در زمینه های مشابه تمایل به بردار های مشابه دارند. توجه کنید فرایند هایی که کلمات را به بردار تبدیل می کنند بسیار مهم هستند، زیرا این فرآیند ها به مدل های زبانی اجازه می دهند تا زبان را در یک فرمت ریاضی مدیریت و راه را برای پیش بینی توالی کلمات هموار کنند.

 بنیانگذار موسسه ISC بیان کرد: پس از خواندن و رمزگذاری متن خام، مدلهای زبان برای تولید متن مانند انسان با پیش بینی توالی کلمات آماده می شوند. مکانیسم های مورد استفاده برای این وظایف پردازش زبان طبیعی از مدل به مدل متفاوت است. با این حال، همه آنها یک هدف اساسی مشترک دارند و آن کشف احتمال یک توالی مورد نظر در زندگی واقعی است.

 استاد پیشکسوت دانشگاه شیراز درباره انواع مدلهای زبان گفت: مدلهای مختلف زبان وجود دارد که هر کدام دارای نقاط قوت منحصر بفرد و روش های پردازش زبان هستند. اکثر آن ها در مفهوم توزیع احتمال پایه گذاری شده اند. مدلهای زبان آماری اساسی ترین آنها است و به فرکانس توالی کلمات در داده‌های متنی برای پیش بینی کلمات آینده براساس کلمات قبلی تکیه می کنند. برعکس، مدل های زبان عصبی، با توجه به یک زمینه بزرگتر و داده های متنی بیشتر برای پیش بینی دقیق تر، از شبکه های عصبی برای پیش بینی کلمات بعدی در یک جمله استفاده می کنند. برخی از مدلهای زبان عصبی توزیع احتمال را با ارزیابی و درک متن کامل یک جمله بسیار بهتر از سایر مدلهای زبان انجام می دهند. مدلهای مبتنی بر ترانسفورماتور مانند BERT و GPT-4 به دلیل توانایی خود با در نظر گرفتن زمینه قبل و بعد یک جمله در پیش بینی ها برجسته و متمایز می باشند. معماری مدل ترانسفورماتور که براساس آن این مدلها ساخته شده اند، به آنها اجازه می دهد تا نتایج پیشرفته آری را در وظایف مختلف بدست آورند و قدرت مدلهای زبان مدرن را نشان دهند. و بالاخره، مدلهای احتمال پرس و جو نوع دیگری از مدل زبان مربوط به بازیابی اطلاعات است. یک مدل احتمال پرس و جو تعیین می کند که یک مدرک خاص چقدر مربوط به پاسخ دادن به یک پرس و جوی خاص است.

 دکتر مهراد درباره محدودیت های فعلی و روند های آینده مدل های زبان گفت: باوجود قابلیت های چشمگیر آن ها، مدلهای زبان فعلی هنوز محدودیت های قابل توجهی دارند. یکی از مسایل مهم عدم درک زمینه دنیای واقعی کلمات منحصر بفرد است. در حالیکه این مدل ها می توانند متن مرتبطی را تولید کنند، آنها محتوایی را که تولید می کنند درک نمی کنند که این خود، تفاوت مهمی با پردازش زبان انسان است. چالش دیگر، سوگیری ذاتی در داده‌های مورد استفاده برای آموزش این مدل ها است. از آنجا که داده های آموزشی اغلب شامل سوگیری های انسانی است، مدل ها می توانند سهوا این سوگیری ها را ادامه دهند که  در نهایت منجر به نتایج نادرست و بی کیفیت می شود. علاوه براین، نگرانی های اخلاقی نیز  با مدل های زبان قدرتمند وجود دارد که می تواند برای تولید اطلاعات گمراه کننده باشد.

 وی ابراز داشت: با نگاهی به آینده، پرداختن به این محدودیت ها و نگرانی های اخلاقی، بخش مهمی از توسعه مدلهای زبان و وظایف پردازش زبان طبیعی خواهد بود. برای بهبود درک و کیفیت مدلهای زبان به تحقیقات و نوآوری مداوم نیاز می باشد. با فرض اینکه این گام های مهم توسط پژوهشگرانی که در این زمینه فعالیت دارند رفع و رجوع شود، آینده مدلهای زبان امیدوار کننده به نظر می رسد. با پیشرفت در یادگیری عمیق و یادگیری انتقال، مدلهای زبان به طور فزاینده ای در درک و تولید متن مانند انسان، تکمیل وظایف پردازش زبان طبیعی و درک زبان های مختلف از مهارت های لازم برخوردار خواهند شد. ترانسفورماتور هایی مانند BERT و GPT-4 در خط مقدم این تحولات قرار دارند و مرزهای آنچه را که با مدل سازی زبان و برنامه های تولید گفتار امکان پذیر است، به جلو می رانند و به این زمینه کمک می کنند تا به قلمرو تازه ای، از جمله یادگیری ماشین پیچیده تر و برنامه های پیشرفته مانند تشخیص دستخط دست یابند.