লেখক: মুহাম্মদ সুলেমান
মূলত টুওয়ার্ডস এআই-তে পোস্ট করা হয়েছে।
Jev, Laya, Kev এবং Nimble এক জায়গায় – প্লাস একটি সংক্ষিপ্ত, খোলা প্রমাণ যা একজনকে LiteLLM প্রক্সির বিরুদ্ধে দাঁড় করিয়ে দেয় এবং প্রতিটি অনুরোধের জন্য মডেল নির্বাচন করে।
আপনার কোডিং এজেন্টকে একটি ভেরিয়েবলের নাম পরিবর্তন করতে বলুন এবং এটি করতে কয়েকশ বিলিয়ন প্যারামিটার লোড করবে। LLM-এ সবকিছু স্থানান্তর করা এবং সহজ প্রশ্ন/রাউটিং/সিদ্ধান্তের জন্য কয়েক হাজার টোকেন ব্যয় করা কি মূল্যবান – আপনি একটি কৃত্রিম বুদ্ধিমত্তার সবচেয়ে মূল্যবান প্রশ্নটি জিজ্ঞাসা করেন “হ্যাঁ বা না” এবং সিস্টেম 1 মডেলটি অনেক দ্রুত প্রতিক্রিয়া সংরক্ষণ করার জন্য তৈরি করা হয়েছে।
নিবন্ধটি ব্যাখ্যা করে যে কেন “সিস্টেম 1” (সিদ্ধান্তের মডেলগুলি) রাউটিং এবং অন্যান্য মুদ্রিত সিদ্ধান্তের জন্য ব্যয়বহুল সম্পূর্ণ এলএলএম কলগুলিকে প্রতিস্থাপন করতে পারে, এটি সিস্টেম 2-এর টোকেন জেনারেশন মডেলগুলির সাথে বৈপরীত্য করে৷ এটি দেখায় যে এই মডেলগুলি কীভাবে কাজ করে (টাইপ করা প্রশ্নের উত্তর দেওয়া হয়েছে এক পাস ফরোয়ার্ড, রিটার্নের সম্ভাবনাগুলি কোন টোকেন তৈরি করা হয়নি), নতুন উপলব্ধতা এবং চারটি বিকল্প, লভ্যতা এবং কেয়েভের (La) উপলব্ধতা কীভাবে মেট্রিকগুলি মনোযোগ সহকারে পড়তে হয় তা নিয়ে আলোচনা করে – এই মডেলগুলি ফাইন-টিউনিংয়ের ছোট সেট ব্যবহার করে বিশেষীকরণের জন্য একটি ভিত্তি হিসাবে তৈরি করা হয়েছে, লেটেন্সি/হার্ডওয়্যার সামঞ্জস্যের জন্য বিকল্প সেটগুলিকে ছোট রাখা এবং কাস্টমাইজেশনের দাবি করা হয়েছে৷ তারপরে এটি ব্যবহারিক একীকরণ দেখায়: একটি শ্রেণীবদ্ধকারী ব্যবহার করে প্রান্তের মডেলগুলির মধ্যে (যেমন, হাইকু/সনেট/অপাস) নির্বাচন করার আগে মেশিনটি ছেড়ে যায় এবং একটি LiteLLM কলব্যাক হিসাবে বাস্তবায়িত একটি প্রুফ-অফ-কনসেপ্ট লেয়ার রাউটার প্রদর্শন করে, যা শুধুমাত্র একটি অপট-ইন উপনাম পুনর্লিখন করে এবং সিদ্ধান্ত রেকর্ড করার সময় খোলা ব্যর্থ হয়। পরিশেষে, তিনি বর্ণনা করেন যে এটিকে পরবর্তীতে কোথায় নিতে হবে (প্রকৃত ট্র্যাফিকের পরিমাপ, শ্রেণীবিভাগের সূক্ষ্ম সুরকরণ, একই ক্রসিংয়ে রেললাইন যোগ করা, কোটা এবং অন্যান্য প্রক্সি/গেটওয়ে সম্পর্কে সচেতনতা) এবং শক্তিশালী অর্থনীতি এবং তুলনামূলকভাবে ছোট একীকরণ প্রচেষ্টা সম্পর্কে মূল অনুমান নিয়ে শেষ করেন।
মিডিয়াম বিনামূল্যে সম্পূর্ণ ব্লগ পড়ুন.
টুওয়ার্ডস এআই এর মাধ্যমে পোস্ট করা হয়েছে
Leave a Reply