যখন ১৯৬৭-এর একটি ফর্মুলা আধুনিক AI-র সবচেয়ে বড় সমস্যা সমাধান করে

Sutton-এর এলিগ্যান্ট ফিক্স

রিইনফোর্সমেন্ট লার্নিংয়ের একটি গোপন সমস্যা আছে: স্ট্রিমিং এনভায়রনমেন্টে মডেল প্রশিক্ষণ মৌলিকভাবে ভাঙা। যে অ্যালগরিদমগুলি ক্লিন ল্যাব সেটিংয়ে চমৎকার কাজ করে, সেগুলি বাস্তব জগতে ডিপ্লয় করার সময় ভেঙে পড়ে যেখানে ডেটা ক্রমাগত আসে এবং ডিস্ট্রিবিউশন পরিবর্তিত হয়।

Richard Sutton, রিইনফোর্সমেন্ট লার্নিংয়ের গডফাদার, এই সমস্যা ফিক্স করলেন। এবং তার সমাধান প্রায় বিব্রতকরভাবে এলিগ্যান্ট: ১৯৬৭ সালের একটি ফর্মুলা।

“ইনটেন্ট আপডেট অ্যালগরিদম” প্রতিটি নতুন ডেটার সাথে মডেলের আউটপুট কতটা পরিবর্তিত হতে পারে তা সীমাবদ্ধ করে। পরস্পরবিরোধী সিগন্যালের মধ্যে দুলে পড়ার পরিবর্তে, মডেল ইচ্ছাকৃতভাবে চলে — একটি জাহাজের মতো যে তার রাডার অ্যাডজাস্ট করে, ডুবে যায় না।

ফলাফল? কম্পিউটেশন কমে মূলধারার অ্যালগরিদমের ১/১৪০-তে। এটি একটি প্রান্তিক উন্নতি নয় — এটি “ডেটা সেন্টার প্রয়োজন” আর “ল্যাপটপে চলে”-র মধ্যে পার্থক্য।

কেন এটা গুরুত্বপূর্ণ

Sutton-এর ব্রেকথ্রু এজ-ডিভাইস রিইনফোর্সমেন্ট লার্নিংয়ের দরজা খুলে দেয়। রোবট যারা তাদের পরিবেশ থেকে ক্রমাগত শেখে সার্ভার ফার্মে ফোন না করেই। ড্রোন যারা রিয়েল টাইমে বাতাসের প্যাটার্নে অ্যাডাপ্ট করে। মেডিকেল ডিভাইস যারা অন-ডিভাইসে তাদের মডেল রিফাইন করে, প্রাইভেসি সংরক্ষণ করে।

১৯৬৭ সালের ফর্মুলাটি কোনো অস্পষ্ট গাণিতিক কৌতূহল নয় — এটি একটি স্ট্যাটিস্টিক্যাল টুল যা সিকোয়েন্সিয়াল আপডেটে ভ্যারিয়েন্স নিয়ন্ত্রণ করে। এটি ৫৭ বছর ধরে খোলা চোখে পড়েছিল, AI যুগে তার প্রাসঙ্গিকতা চিনতে কারো জন্য অপেক্ষা করছিল।

গণিত রেকর্ড যা Google-কে হতবাক করেছিল

Sutton RL ঠিক করার সময়, Wang Yiping — একজন Zhejiang University প্রাক্তন ছাত্র — স্ব-নির্মিত AI টুল ব্যবহার করে এমন কিছু করলেন যা Google-এর রিসার্চ টিম পারেনি: র্যামসি নাম্বার লোয়ার বাউন্ড ভাঙা, একটি সমস্যা যা ৩০ বছর ধরে অপরিবর্তিত ছিল।

একটি একক সার্ভার এবং তার কাস্টম AI ম্যাথমেটিক্যাল টুলিং ব্যবহার করে, Wang Google-এর টিম যা করতে পারেনি — সম্ভবত অর্ডার-অব-ম্যাগনিচিউড বেশি কম্পিউট থাকা সত্ত্বেও — তা অর্জন করলেন। প্রজেক্টটি এখন সম্পূর্ণ ওপেন সোর্স।

নতুন বৈজ্ঞানিক পদ্ধতি

এই দুটি গল্পের একটি সাধারণ সুতো আছে: AI আর শুধু প্রোডাক্ট তৈরির টুল নয়। এটি একটি বৈজ্ঞানিক যন্ত্র হয়ে উঠছে — মাইক্রোস্কোপ বা টেলিস্কোপের মতো মৌলিক।

প্রভাব গভীর:

• সমস্যা নির্বাচন পরিবর্তিত হয়: যখন AI সুপারহিউম্যান স্কেলে সমাধান স্পেস এক্সপ্লোর করতে পারে, বটলনেক “আমরা কি এটা সমাধান করতে পারি?” থেকে “কোন সমস্যাগুলো সমাধান করার যোগ্য?”-তে সরে যায়
• একক গবেষক লিভারেজ পায়: সঠিক AI টুল নিয়ে একজন ব্যক্তি এখন ইনস্টিটিউশনাল ল্যাবের সাথে প্রতিযোগিতা করতে পারে
• পুরনো জ্ঞান নতুন জীবন পায়: Sutton-এর ১৯৬৭ সালের ফর্মুলা একটি অনুস্মারক যে AI বিপ্লব শুধু নতুন জিনিস উদ্ভাবন নয় — কখন পুরনো আইডিয়া হঠাৎ প্রাসঙ্গিক হয়ে ওঠে তা চিনতে পারাও