যাচাইযোগ্য পুরষ্কার (RLVR) সহ শক্তিশালীকরণ শিক্ষার সাধারণ দৃষ্টান্ত হল এজেন্টদের একটি টাস্কে একাধিক প্রচেষ্টা করার অনুমতি দেওয়া এবং সফলদের দিকে অপ্টিমাইজ করা। এটি স্ব-উন্নতির ডোমেনে সমস্যাযুক্ত হয়ে ওঠে, যেখানে কাজগুলি এতটাই কঠিন যে এজেন্টের সাফল্যের খুব কম বা কোনও সম্ভাবনা নেই এবং যেখানে কোনও শিক্ষকের মডেল বা নমুনা সমাধান নেই। এই নিবন্ধে, আমরা পরিচয় করিয়ে দিচ্ছি RLTL;DR. প্রতিটি ব্যর্থ প্রচেষ্টার পরে, আমরা নীতিটিকে যাচাইকারীর সমস্যাগুলি দেখাই এবং এটিকে একটি TL;DR অন্তর্দৃষ্টি আকারে নিজস্ব প্রতিক্রিয়া লিখতে দিই। পরবর্তী লঞ্চটি পূর্ববর্তী সমস্ত অন্তর্দৃষ্টিগুলির উপর শর্তসাপেক্ষ, এবং আমরা একটি সমাধান না পাওয়া পর্যন্ত লঞ্চের একটি ক্রম নমুনা করি৷ উপরন্তু, আমরা প্রেক্ষাপটের মধ্যে অন্তর্দৃষ্টিগুলির ব্যাকপ্রোপাগেশনকে সরাসরি কাজ → অন্তর্দৃষ্টি ম্যাপিংকে অভ্যন্তরীণ করার অনুমতি দিই। টুল রিডিং এবং কোডিং এর চ্যালেঞ্জিং ডেটাসেটগুলিতে (Pass@128 = 0 এ ফিল্টার করা হয়েছে), Qwen 3.5 9B চিন্তা নীতির মানক GRPO প্রশিক্ষণ 0% থেকে 1% এর Pass@1 এ স্থির থাকে। RLTL;DR এই শিক্ষার বাধা ভেদ করে, প্রশিক্ষণের সময় প্রসঙ্গ অন্তর্দৃষ্টি সহ 14-31% এর পাস@1 অর্জন করে, এবং উল্লেখযোগ্যভাবে, পরীক্ষার সময় কোন প্রসঙ্গ অন্তর্দৃষ্টি না থাকলে 12-13%। আমরা স্বীকার করি যে মূল কাজটি হল অন্তর্দৃষ্টি → অন্তর্দৃষ্টি। এটি আরও শিখতে, আমরা SFTL;DR-এর প্রতি আমাদের দৃষ্টিভঙ্গি সংকুচিত করি, কোনো লঞ্চ উপস্থাপনা বা ব্যাকপ্রোপ্যাগেট না করে শুধুমাত্র টিপল (কাজ, অন্তর্দৃষ্টি) বিষয়ে প্রশিক্ষণ। মাত্র 4k টিপলের প্রশিক্ষণ প্রায় সম্পূর্ণ লঞ্চে ক্লাসিক RLTL;DR এবং SFT-এর সম্পূর্ণ কার্যক্ষমতা পুনরায় তৈরি করে। এটি ফর্মের একটি প্রতিশ্রুতিবদ্ধ সংকুচিত প্রশিক্ষণ দৃষ্টান্ত প্রদর্শন করে “এই ধরণের কাজের মধ্যে, এই ধরণের জিনিসগুলি মনে রাখবেন,” যা আমরা আশা করি ভবিষ্যতের গবেষণাকে অনুপ্রাণিত করবে।
Leave a Reply