یادگیری تقویتی

یادگیری تقویتی

یادگیری تقویتی (Reinforcement Learning) در حال حاضر یکی از موضوعات داغ پژوهشی محسوب می‌شود و محبوبیت آن روز به روز در حال افزایش است.

یادگیری تقویتی

یادگیری‌تقویتی (Reinforcement Learning) گونه‌ای از روش‌های یادگیری ماشین است. یک عامل (agent) را قادر به یادگیری در محیطی تعاملی با استفاده از آزمون و خطاها و استفاده از بازخوردهای اعمال و تجربیات خود می‌سازد. اگرچه یادگیری نظارت شده و هم یادگیری‌تقویتی از نگاشت بین ورودی و خروجی استفاده می‌کنند. اما در یادگیری تقویتی که در آن بازخوردهای فراهم شده برای عامل مجموعه صحیحی از اعمال جهت انجام دادن یک وظیفه هستند. برخلاف یادگیری نظارت شده از پاداش‌ها و تنبیه‌ها به عنوان سیگنال‌هایی برای رفتار مثبت و منفی بهره برده می‌شود. یادگیری تقویتی در مقایسه با یادگیری نظارت نشده دارای اهداف متفاوتی است. در حالی‌که هدف در یادگیری نظارت نشده پیدا کردن مشابهت‌ها و تفاوت‌های بین نقاط داده محسوب می‌شود. در یادگیری تقویتی هدف پیدا کردن مدل داده مناسبی است که پاداش انباره‌ای کل را برای عامل بیشینه می‌کند.

تصویر زیر ایده اساسی و عناصر درگیر در یک مدل یادگیری تقویتی را نشان می‌دهد:

برخی از اصطلاحاتی که عناصر یک مساله یادگیری تقویتی را تشریح می‌کنند در ادامه بیان شده است.

• محیط (Environment): جهان فیزیکی که عامل در آن عمل می‌کند.
• حالت (State): موقعیت کنونی عامل.
• پاداش (Reward): بازخورد از محیط.
• سیاست (Policy): روشی برای نگاشت حالت عامل به عمل.
• ارزش (Value): پاداش آینده که یک عامل با اقدام به یک عمل در یک حالت خاص به آن دست می‌یابد.

مسائل یادگیری تقویتی را می‌توان به بهترین شکل از طریق بازی‌ها تشریح کرد. از این رو، می‌توان بازی پک‌من (PacMan) را مثال زد که در آن هدف عامل (پک‌من) خوردن خوراکی‌ها (نقاط) موجود در هزارتو در حالی است که باید از روح‌های موجود در آن‌جا دوری کند. دنیای شبکه‌ای، یک محیط تعاملی برای عامل است. PacMan برای خوردن غذا پاداش دریافت می‌کند و در صورت کشته شدن توسط روح، تنبیه می‌شود. این حالت‌ها موقعیت پک‌من در دنیای شبکه‌ای هستند و پاداش انباره‌ای کل برابر با پیروزی پک‌من است.

Q-learning و SARSA دو الگوریتم محبوب و مستقل از مدل برای یادگیری تقویتی هستند. تمایز این الگوریتم‌ها با یکدیگر در استراتژی‌های جست‌و‌جوی آن‌ها محسوب می‌شود. در حالی‌که استراتژی‌های استخراج آن‌ها مشابه است. در حالیکه Q-learning یک روش مستقل از سیاست است که در آن عامل ارزش‌ها را بر اساس عمل a* که از سیاست دیگری مشتق شده می‌آموزد. SARSA یک روش مبتنی بر سیاست محسوب می‌شود که در آن ارزش‌ها را براساس عمل کنونی a که از سیاست کنونی آن مشتق شده می‌آموزد. پیاده‌سازی این دو روش آسان است اما فاقد تعمیم‌پذیری هستند زیرا دارای توانایی تخمین ارزش‌ها برای حالت‌های مشاهده نشده نیستند. با استفاده از الگوریتم‌های پیشرفته‌تری مانند Deep Q-Networks که از شبکه‌های عصبی برای تخمین Q-value‌ها استفاده می‌کنند می‌توان بر این چالش‌ها غلبه کرد. اما، DQN‌ها تنها می‌توانند فضای حالت گسسته و ابعاد کم را مدیریت کنند. DDPG (سرنام Deep Deterministic Policy Gradient) یک الگوریتم مستقل از مدل، مستقل از سیاست و عامل-نقاد (actor-critic) به شمار می‌آید. روش مواجهه آن با مساله، یادگیری سیاست‌هایی در فضای عمل ابعاد بالا و پیوسته است.

از آنجا که یادگیری‌تقویتی نیازمند حجم زیادی از داده‌ها است. بنابراین بیش‌تر در دامنه‌هایی مانند گیم‌پلی (gameplay) و رباتیک کاربرد دارد که در آن‌ها داده‌های شبیه‌سازی شده به صورت آماده موجود هستند.

• یادگیری تقویتی به طور گسترده در ساخت هوش مصنوعی برای انجام بازی‌های کامپیوتری مورد استفاده قرار می‌گیرد.
  آلفاگو زیرو (AlphaGo Zero) اولین برنامه کامپیوتری است که قهرمان جهان در بازی چین باستانی گو (Go) را شکست داد.
  از دیگر بازی‌هایی که این هوش مصنوعی در آن‌ها پیروز شده می‌توان به بازی‌های آتاری (ATARI) و تخته نرد (Backgammon) اشاره کرد.
• در رباتیک و خودکارسازی صنعتی، یادگیری تقویتی برای قادرسازی ربات‌ها به ساخت سیستم‌های تطبیقی موثر برای خودشان که از تجربیات و رفتارهای خود می‌آموزند مورد استفاده قرار می‌گیرد. پژوهش‌های دیپ مایند (DeepMind) در زمینه یادگیری عمیق تقویتی برای کنترل رباتیکی با استفاده از بازوهای مکانیکی (Robotic Manipulation) با سیاست نامتقارن مثال خوبی از این مورد است.

در ارتباط با شاخه‌های مختلف هوش مصنوعی در این لینک بیش‌تر بخوانید.