قسمت نوزدهم: یادگیری تقویتی؛ وقتی ماشین از آزمون و خطا یاد می‌گیرد

یادگیری تقویتییکی از روش‌های مهم یادگیری ماشین است که در آن یک عامل هوشمند با تعامل با محیط، انجام اقدامات مختلف و دریافت پاداش یا جریمه، به‌تدریج شیوه تصمیم‌گیری خود را بهبود می‌دهد. برخلاف یادگیری نظارت‌شده، در این روش همیشه پاسخ درست از ابتدا در اختیار ماشین قرار ندارد. در این قسمت با مفاهیم Agent، Environment، Action، Reward و Policy آشنا می‌شویم و بررسی می‌کنیم یادگیری تقویتی چگونه به هوش مصنوعی کمک می‌کند بازی کند، ربات‌ها را کنترل کند و برای رسیدن به اهداف، از تجربه‌های خود بیاموزد.

اگر به هوش مصنوعی پاسخ درست را نگوییم، آیا خودش می‌تواند راه را پیدا کند؟

تصور کنید کودکی را برای نخستین بار مقابل یک بازی کامپیوتری قرار داده‌اید. هیچ دستورالعملی در اختیار او نیست. نمی‌داند کدام دکمه باعث حرکت شخصیت می‌شود، کدام مسیر خطرناک است و چگونه می‌تواند امتیاز بیشتری کسب کند.

او ابتدا به‌صورت تصادفی دکمه‌هایی را فشار می‌دهد. گاهی شکست می‌خورد، گاهی به مانع برخورد می‌کند و گاهی هم اتفاقی به امتیاز می‌رسد.

اما پس از مدتی، رفتارش تغییر می‌کند. مسیرهایی را که به شکست منجر شده‌اند کمتر انتخاب می‌کند و حرکت‌هایی را که نتیجه بهتری داشته‌اند، بیشتر تکرار می‌کند.

حالا تصور کنید به‌جای یک کودک، یک هوش مصنوعی را در چنین شرایطی قرار دهیم.

آیا ماشین می‌تواند بدون آنکه تمام مراحل بازی را از قبل به او آموزش داده باشیم، از تجربه‌های خودش استفاده کند و به‌تدریج به یک بازیکن ماهر تبدیل شود؟

پاسخ مثبت است؛ البته به شرط آنکه مسئله، محیط و سازوکار یادگیری به‌درستی طراحی شده باشند.

این دقیقاً همان ایده‌ای است که در یکی از جذاب‌ترین شاخه‌های هوش مصنوعی، یعنییادگیری تقویتی (Reinforcement Learning)دنبال می‌شود.

در یادگیری تقویتی، ماشین فقط داده‌ها را دریافت نمی‌کند تا یک پاسخ مشخص را پیش‌بینی کند؛ بلکه در یک محیط اقدام می‌کند، نتیجه اقداماتش را می‌بیند و بر اساس پاداش‌هایی که دریافت می‌کند، راهبرد خود را تغییر می‌دهد.

در قسمت هجدهم مجموعه، با تفاوت مغز انسان و شبکه عصبی مصنوعی و شیوه یادگیری ماشین آشنا شدیم. حالا می‌خواهیم ببینیم وقتی یک سیستم هوشمند باید خودش مسیر رسیدن به هدف را پیدا کند، چه اتفاقی می‌افتد.

یادگیری تقویتی چیست؟

یادگیری تقویتی یکی از شاخه‌های اصلی یادگیری ماشین (Machine Learning) است که در آن یک عامل هوشمند از طریق تعامل با محیط، یاد می‌گیرد برای رسیدن به یک هدف چه اقداماتی انجام دهد.

در این روش، عامل با انتخاب یک عمل، محیط را تحت تأثیر قرار می‌دهد و سپس بازخوردی دریافت می‌کند که می‌تواند شامل پاداش، جریمه یا اطلاعاتی درباره وضعیت جدید محیط باشد.

عامل با تکرار این فرآیند تلاش می‌کند سیاستی را یاد بگیرد که در بلندمدت مجموع پاداش‌های بیشتری برای او ایجاد کند.

برای مثال، یک ربات را تصور کنید که باید در یک انبار حرکت کند و بسته‌ای را به مقصد برساند.

ربات در ابتدا ممکن است مسیرهای مختلفی را امتحان کند. اگر به مانع برخورد کند، بازخورد منفی دریافت می‌کند و اگر به مقصد برسد، پاداش می‌گیرد.

با ادامه تعامل و یادگیری، ربات می‌تواند به‌تدریج راهبردهایی پیدا کند که احتمال رسیدن موفقیت‌آمیز به مقصد را افزایش دهند.

نکته مهم این است که در یادگیری تقویتی، هدف صرفاً دریافت پاداش در یک لحظه نیست؛ بلکه عامل باید پیامدهای بلندمدت اقدامات خود را نیز در نظر بگیرد.

پنج مفهوم اصلی در یادگیری تقویتی

برای درک نحوه کار یادگیری تقویتی، باید با پنج مفهوم اساسی آن آشنا شویم. این مفاهیم در کنار یکدیگر، چارچوب اصلی بسیاری از مسائل یادگیری تقویتی را تشکیل می‌دهند.

1. عامل هوشمند (Agent)

عامل موجودیتی است که تصمیم می‌گیرد و در محیط اقدام می‌کند. این عامل می‌تواند یک برنامه کامپیوتری، شخصیت یک بازی، ربات یا سامانه‌ای برای کنترل تجهیزات باشد.

برای مثال، در یک بازی شطرنج، برنامه‌ای که حرکت بعدی را انتخاب می‌کند، عامل محسوب می‌شود.

2. محیط (Environment)

محیط فضایی است که عامل در آن فعالیت می‌کند و نتیجه اقداماتش را در آن مشاهده می‌کند.

محیط می‌تواند یک بازی کامپیوتری، دنیای شبیه‌سازی‌شده، فضای یک کارخانه یا دنیای واقعی باشد.

3. اقدام (Action)

اقدام، انتخابی است که عامل در هر مرحله انجام می‌دهد.

حرکت به چپ یا راست، انتخاب یک مهره در شطرنج، افزایش سرعت یک ربات یا تغییر دمای یک سامانه، نمونه‌هایی از اقدام هستند.

4. پاداش (Reward)

پاداش یک سیگنال عددی است که محیط پس از یک اقدام یا رویداد به عامل ارائه می‌کند.

پاداش مثبت می‌تواند نشان‌دهنده پیشرفت به سمت هدف و پاداش منفی یا جریمه می‌تواند نشان‌دهنده نتیجه نامطلوب باشد.

5. سیاست (Policy)

سیاست، راهبردی است که مشخص می‌کند عامل در هر وضعیت چه اقدامی انتخاب کند.

سیاست می‌تواند ساده یا بسیار پیچیده باشد و در طول آموزش تغییر کند تا عامل بتواند عملکرد خود را بهبود دهد.

این پنج مفهوم در کنار یکدیگر یک چرخه یادگیری ایجاد می‌کنند: عامل وضعیت محیط را مشاهده می‌کند، اقدام انجام می‌دهد، محیط تغییر می‌کند و بازخورد به عامل می‌رسد.

یادگیری تقویتی چگونه کار می‌کند؟

برای درک بهتر این روش، یک بازی ساده را در نظر بگیریم که در آن یک شخصیت باید از نقطه شروع به مقصد برسد.

عامل در هر مرحله وضعیت فعلی خود را دریافت می‌کند و یکی از اقدامات مجاز را انتخاب می‌کند. محیط در پاسخ به این اقدام، وضعیت جدید و پاداش را ارائه می‌دهد.

این چرخه بارها تکرار می‌شود تا عامل بتواند رفتار خود را بر اساس تجربه بهبود دهد.

در بسیاری از مسائل، عامل در ابتدا سیاست مناسبی ندارد. با گذشت زمان، تجربه‌های بیشتری جمع‌آوری می‌کند و می‌تواند انتخاب‌های خود را اصلاح کند.

البته این یادگیری لزوماً به معنای آن نیست که عامل پس از هر اقدام فوراً بهتر می‌شود. گاهی تصمیم‌های اولیه ناموفق‌اند و حتی ممکن است عملکرد عامل در بخشی از آموزش بدتر شود.

هدف اصلی، پیدا کردن راهبردی است که در مجموع، در بلندمدت نتیجه مناسبی ایجاد کند.

تفاوت یادگیری تقویتی با یادگیری نظارت‌شده چیست؟

تا اینجا با شیوه یادگیری از طریق تعامل آشنا شدیم؛ اما یادگیری تقویتی تنها روش آموزش ماشین نیست.

در قسمت‌های قبلی مجموعه، درباره یادگیری ماشین و شبکه‌های عصبی صحبت کردیم. یکی از روش‌های شناخته‌شده در این حوزهیادگیری نظارت‌شده (Supervised Learning)است.

در یادگیری نظارت‌شده، مدل با داده‌هایی آموزش می‌بیند که پاسخ یا برچسب مورد انتظار آن‌ها مشخص است. برای مثال، اگر بخواهیم مدلی برای تشخیص تصاویر گربه و سگ بسازیم، مجموعه‌ای از تصاویر برچسب‌گذاری‌شده را در اختیار آن قرار می‌دهیم.

اما در یادگیری تقویتی، معمولاً پاسخ درست هر مرحله از قبل به عامل داده نمی‌شود. عامل باید با انجام اقدام‌های مختلف و دریافت بازخورد، به راهبرد مناسبی برسد.

برای مثال، در یادگیری نظارت‌شده می‌توانیم به مدل نشان دهیم که حرکت مشخصی در یک بازی درست یا غلط است. اما در یادگیری تقویتی ممکن است فقط در پایان بازی مشخص شود که عامل موفق بوده یا شکست خورده است.

البته در مسائل واقعی، مرز این روش‌ها همیشه کاملاً جدا نیست و گاهی از ترکیب آن‌ها استفاده می‌شود.

مهم‌ترین چالش یادگیری تقویتی؛ آزمون یا استفاده از تجربه؟

یکی از دشوارترین تصمیم‌ها برای یک عامل هوشمند این است که آیا باید از راهبردی که تاکنون یاد گرفته استفاده کند یا راه‌های جدیدی را امتحان کند.

این مسئله در یادگیری تقویتی با دو مفهوم شناخته می‌شود

اگر عامل همیشه از تجربه‌های قبلی خود استفاده کند، ممکن است هرگز راه بهتری را کشف نکند. از طرف دیگر، اگر دائماً اقدام‌های تازه را امتحان کند، شاید نتواند از دانسته‌های ارزشمند خود به‌خوبی بهره ببرد.

بنابراین یکی از اهداف طراحی الگوریتم‌های یادگیری تقویتی، ایجاد تعادل مناسب میان اکتشاف و بهره‌برداری است.

این تعادل به نوع محیط، میزان خطر، هزینه هر اقدام و هدف یادگیری بستگی دارد.

پاداش فوری یا پاداش بلندمدت؛ ماشین چگونه آینده را در نظر می‌گیرد؟

تصور کنید یک ربات در یک انبار باید بسته‌ای را از نقطه‌ای به نقطه دیگر منتقل کند.

یک مسیر کوتاه ممکن است در ابتدای کار پاداش بیشتری ایجاد کند، اما در ادامه ربات را به مسیری پرمانع و پرهزینه برساند. مسیر دیگری شاید در ابتدا طولانی‌تر باشد، اما در نهایت باعث شود بسته سریع‌تر و ایمن‌تر به مقصد برسد.

اگر عامل فقط به پاداش لحظه‌ای توجه کند، ممکن است تصمیمی بگیرد که در مجموع به ضررش تمام شود.

در یادگیری تقویتی، مفهومی به نامبازده (Return)برای بررسی مجموع پاداش‌های آینده به کار می‌رود. در بسیاری از مسائل، پاداش‌های آینده با ضریب تخفیفی به نامGamma (γ)وزن‌دهی می‌شوند.

اگر ضریب تخفیف پایین باشد، عامل اهمیت بیشتری به پاداش‌های نزدیک می‌دهد. اگر این ضریب بالاتر باشد، پاداش‌های دورتر نیز می‌توانند در تصمیم‌گیری اهمیت زیادی داشته باشند.

البته انتخاب ضریب تخفیف مناسب به ماهیت مسئله بستگی دارد و به‌تنهایی تضمین نمی‌کند که عامل تصمیم‌های مطلوبی بگیرد.

Q-Learning؛ وقتی ماشین ارزش هر انتخاب را یاد می‌گیرد

یکی از الگوریتم‌های شناخته‌شده یادگیری تقویتیQ-Learningاست.

در این روش، عامل تلاش می‌کند ارزش انجام یک اقدام را در یک وضعیت مشخص تخمین بزند. این ارزش با نمادی به نامQQQنمایش داده می‌شود.

به زبان ساده، Q-Learning به عامل کمک می‌کند یاد بگیرد که

«اگر اکنون در این وضعیت باشم و این اقدام را انجام دهم، در مجموع چه مقدار پاداش می‌توانم انتظار داشته باشم؟»

برای مثال، فرض کنیم یک ربات در یک محیط شبکه‌ای حرکت می‌کند. در هر خانه می‌تواند به بالا، پایین، چپ یا راست حرکت کند. عامل با تجربه‌کردن مسیرهای مختلف، ارزش انتخاب‌های خود را به‌روزرسانی می‌کند.

عامل با تکرار این به‌روزرسانی‌ها تلاش می‌کند تخمین دقیق‌تری از ارزش اقدام‌ها به دست آورد.

Q-Learning در مسائل گسسته و محیط‌هایی با تعداد وضعیت‌ها و اقدام‌های محدود می‌تواند کاربردی باشد. اما وقتی محیط بسیار بزرگ یا پیوسته باشد، ذخیره‌کردن ارزش تمام وضعیت‌ها و اقدام‌ها دشوار می‌شود.

اینجاست که روش‌های پیشرفته‌تری وارد میدان می‌شوند.

Deep Reinforcement Learning؛ ترکیب یادگیری تقویتی و یادگیری عمیق

وقتی یادگیری تقویتی با شبکه‌های عصبی عمیق ترکیب می‌شود، به رویکردی به نامیادگیری تقویتی عمیق (Deep Reinforcement Learning)می‌رسیم.

در این روش، شبکه عصبی می‌تواند به‌جای ذخیره‌کردن ارزش تک‌تک وضعیت‌ها، الگوهای پیچیده‌تری را از داده‌های تجربه‌شده یاد بگیرد و ارزش وضعیت‌ها یا سیاست انتخاب اقدام‌ها را تخمین بزند.

برای نمونه، اگر عامل در یک بازی ویدئویی با تصاویر پیچیده روبه‌رو باشد، استفاده از شبکه عصبی می‌تواند به او کمک کند اطلاعات مهم را از تصاویر استخراج کند و بر اساس آن‌ها اقدام مناسب را انتخاب کند.

یکی از نمونه‌های شناخته‌شده این رویکردDeep Q-Network (DQN)است که از شبکه عصبی عمیق برای تخمین ارزش اقدام‌ها استفاده می‌کند.

ترکیب یادگیری عمیق و یادگیری تقویتی امکان کار با محیط‌های پیچیده‌تر را فراهم کرده است؛ با این حال، آموزش چنین مدل‌هایی می‌تواند به داده‌های تعاملی زیاد، محاسبات سنگین و تنظیمات دقیق نیاز داشته باشد.

یادگیری تقویتی در دنیای واقعی چه کاربردهایی دارد؟

یادگیری تقویتی فقط یک مفهوم آزمایشگاهی یا روشی برای آموزش بازی‌های کامپیوتری نیست. این رویکرد در حوزه‌های مختلفی بررسی و استفاده شده است؛ به‌ویژه در مسائلی که تصمیم‌های متوالی و پیامدهای آن‌ها اهمیت دارند.

آیا یادگیری تقویتی همان یادگیری انسان از تجربه است؟

شباهت‌هایی میان یادگیری تقویتی و برخی جنبه‌های یادگیری انسان وجود دارد. انسان نیز گاهی با آزمون و خطا، مشاهده پیامد رفتارها و دریافت بازخورد، تصمیم‌گیری خود را بهبود می‌دهد.

برای مثال، کودکی که یاد می‌گیرد چگونه دوچرخه‌سواری کند، بارها تلاش می‌کند، تعادل خود را از دست می‌دهد و از تجربه‌های قبلی برای اصلاح حرکت‌های بعدی استفاده می‌کند.

اما یادگیری انسان فقط به پاداش و جریمه محدود نیست.

انسان از مشاهده دیگران، زبان، آموزش، حافظه، استدلال، انگیزه، احساسات و تجربه‌های اجتماعی نیز یاد می‌گیرد. همچنین می‌تواند با تعداد محدودی تجربه، برخی مفاهیم را به موقعیت‌های کاملاً جدید تعمیم دهد.

در مقابل، یک عامل یادگیری تقویتی معمولاً در چارچوب هدف، محیط و سیگنال پاداشی که برایش تعریف شده آموزش می‌بیند.

بنابراین، یادگیری تقویتی از برخی جنبه‌ها به یادگیری مبتنی بر تجربه شباهت دارد، اما نباید آن را معادل کامل یادگیری طبیعی انسان دانست.

وقتی ماشین راه اشتباه را یاد می‌گیرد؛ مشکل طراحی پاداش

یکی از مهم‌ترین چالش‌های یادگیری تقویتی، طراحی تابع پاداش است.

فرض کنید از یک عامل هوشمند می‌خواهیم رباتی را آموزش دهد که اتاقی را تمیز کند. اگر فقط برای جمع‌کردن زباله‌ها پاداش در نظر بگیریم، ممکن است عامل راهبردهایی پیدا کند که از نظر عددی پاداش بالایی دارند، اما با هدف واقعی ما سازگار نیستند.

برای مثال، ممکن است ربات زباله‌ها را از یک گوشه اتاق به گوشه دیگری منتقل کند و به‌جای تمیزکردن واقعی محیط، فقط معیار تعریف‌شده را بهینه کند.

این مسئله به مفهومی به نامReward Hackingیا سوءاستفاده از طراحی پاداش مربوط می‌شود.

چالش دیگر، انتقال آموخته‌ها از محیط شبیه‌سازی‌شده به دنیای واقعی است. عاملی که در یک شبیه‌ساز عملکرد مناسبی دارد، لزوماً در شرایط واقعی نیز همان نتیجه را به دست نمی‌آورد؛ زیرا دنیای واقعی ممکن است نویز، تغییرات پیش‌بینی‌نشده و محدودیت‌های فیزیکی داشته باشد.

در حوزه‌هایی مانند رباتیک و خودروهای خودران، این موضوع اهمیت ویژه‌ای دارد؛ چون یک اقدام اشتباه ممکن است هزینه مالی یا حتی خطر جانی ایجاد کند.

یادگیری تقویتی چه محدودیت‌هایی دارد؟

با وجود توانایی‌های این روش، یادگیری تقویتی راه‌حل همه مسائل هوش مصنوعی نیست.

مهم‌ترین محدودیت‌های آن عبارت‌اند از

• نیاز به تجربه زیادبسیاری از الگوریتم‌ها برای رسیدن به عملکرد مطلوب به تعداد زیادی تعامل با محیط نیاز دارند.

• طراحی دشوار پاداشتعریف پاداشی که دقیقاً با هدف نهایی هماهنگ باشد، همیشه آسان نیست.

• ناپایداری آموزشدر بعضی الگوریتم‌ها، تغییرات کوچک در تنظیمات یا داده‌های آموزشی می‌تواند بر عملکرد نهایی تأثیر بگذارد.

• هزینه محاسباتیبه‌ویژه در یادگیری تقویتی عمیق، آموزش ممکن است به منابع محاسباتی قابل‌توجهی نیاز داشته باشد.

• چالش ایمنیدر محیط واقعی، آزمایش اقدام‌های ناموفق ممکن است خطرناک یا پرهزینه باشد.

• تعمیم به محیط‌های جدیدعاملی که در یک محیط آموزش دیده، ممکن است در شرایط متفاوت عملکرد ضعیفی داشته باشد.

به همین دلیل، انتخاب یادگیری تقویتی باید بر اساس نوع مسئله، هزینه تعامل، کیفیت بازخورد، سطح خطر و روش‌های جایگزین انجام شود.

تحقیق و تدوینمهدی گمرکی