فیزیکدانان به دنبال پاسخ این سوال هستند که «مغز چگونه میتواند با بهرهوری بالا اطلاعات جدید را بیاموزد؟». آنها دریافتهاند که در مقیاس نورونی، بهرهوری یادگیری با قوانین ترمودینامیک محدود میشود، یعنی همان قوانینی که بهرهوری بسیاری از فرآیندهای دیگر را نیز محدود میکنند. بدین ترتیب آنها به ترمودینامیک یادگیری دست یافتهاند. نتایج این پژوهش در ژورنال Physical Review Letters منتشر شد. با دیپ لوک همراه باشید…
فعالیت مغز چیزی نیست جز ارتباط میلیونها نورون در مقیاس نورونی؛ بنابراین باید سوال «ما چگونه به طور بهینه یاد میگیریم؟» را به سوال «چگونه یک نورون میتواند سیگنال خروجیاش را در پاسخ به الگوهای سیگنالهای ورودی که از سایر نورونها دریافت میکند، بهطور بهینه تنظیم کند؟» تبدیل کنیم. وقتی نورونها در انتقال پیامها در پاسخ به الگوهای معینی، بهینهتر یا بهرهورتر میشوند، افکار مرتبط با آنها در مغز ما، تقویت میشوند.
در این پژوهش جدید، دانشمندان نشان دادند که انتروپی کل تولید شده در یک شبکه نورونی، بهرهوری یادگیری را محدود میکند. آنها ثابت کردند هرچه یادگیری نورونی، آهستهتر باشد، انتروپی و گرمای کمتری تولید شده و در نتیجه بهرهوری، افزایش مییابد. در پرتوی یافتههای این پژوهش، دانشمندان توانستند بهرهوری یادگیری را به شیوهای جدید و به صورت ترمودینامیک یادگیری اندازهگیری کنند.
دانشمندان میگویند :
مهمترین جنبهی کار ما این است که قانون دوم ترمودینامیک را وارد آنالیز شبکههای نورونی کردهایم. قانون دوم، یک بیان بسیار قدرتمند است که تعیین میکند کدام تغییرات امکانپذیرند. یادگیری هم دقیقا تغییر یک شبکه نورونی از نظر هزینه انرژی است؛ این باعث میشود تا نتایج ما کاملا عام باشند و ما را یک گام به درک محدودیتهای بهرهوری شبکههای نورونی نزدیکتر میکند. نتایج بدست آمده میتوانند به هر الگوریتم یادگیری که از بازخورد استفاه نمیکند، اعمال شوند، مانند الگوریتمهایی که در شبکههای نورونی مصنوعی استفاده میشوند. داشتن یک دید ترمودینامیکی در مورد شبکههای عصبی، ابزار جدیدی برای تفکر در مورد بهرهوری آنها به ما میدهد و راه جدیدی برای سرعت بخشیدن به کارآیی آنها، پیش روی ما قرار میدهد. پیدا کردن یک شبکه نورونی مصنوعی بهینه شده، یک احتمال هیجانانگیز و البته چالشبرانگیز است.
محققان میخواهند در آینده، بهرهوری الگوریتمهای یادگیری که از بازخورد استفاده میکنند را تجزیه تحلیل کرده و همچنین احتمال آزمایش تجربی این مدل جدید را هم بررسی کنند. آنها میگویند:
ما در حال حاضر،به دنبال ترمودینامیکی هستیم که در مورد سایر مسائل یادگیری، به ما اطلاعات بدهد. از طرفی ما در جستجوی روشهایی هستیم که مدلهایمان را بسازیم و بنابراین نتایجمان را تعمیم دهیم. زمان هیجانانگیز کار بر روی شبکههای نورونی، فرارسیده است!