এআই ডেটা সমস্যাটি ডাউনস্ট্রিমে সরানো হয়েছে

গত বছর আমি লিখেছিলাম রোবোটিক্সের একটি ডেটা সমস্যা ছিল ভাষার মডেলগুলি এড়াতে যথেষ্ট ভাগ্যবান ছিল। টেক্সট, ইমেজ এবং কোড কয়েক দশক ধরে জমা হয় আগে কেউ তাদের উপর মডেল প্রশিক্ষণের সিদ্ধান্ত নিয়েছে. রোবটের কোন সমান ছিল না শারীরিক অভিজ্ঞতার ইন্টারনেট.

এই পার্থক্য কম পরিষ্কার দেখতে শুরু হয়. সাম্প্রতিক সিস্টেমগুলিকে মানুষের ভিডিওগুলির বিশাল সংগ্রহের উপর প্রশিক্ষণ দেওয়া হয়েছে৷ একটি কোম্পানি ব্যবহার রিপোর্ট এক মিলিয়ন ঘন্টারও বেশি. অন্যজন প্রথম-ব্যক্তির প্রায় 1,900 ঘন্টার ফুটেজ পেয়েছেন রোবট বিন্যাসে 18,000 ঘন্টার বেশি প্রশিক্ষণের ডেটা. মজার অংশটি এমন নয় যে রোবোটিক্স হঠাৎ তার হারিয়ে যাওয়া ডেটা সেট খুঁজে পেয়েছে। এটি হল যে এই সিস্টেমগুলির প্রতিটিতে মানুষের অভিজ্ঞতাকে এমন কিছুতে রূপান্তর করার জন্য গুরুত্বপূর্ণ যন্ত্রপাতি প্রয়োজন যা একটি রোবট ব্যবহার করতে পারে।

আমার শেষ দুই প্রবন্ধ ফোকাস কোম্পানিগুলির কাছে ইতিমধ্যে ডেটা রয়েছে. এই নিবন্ধটি সমস্যার আরেকটি অংশ দেখায়: সিস্টেম দ্বারা ব্যবহারযোগ্য না হয়েও তথ্য থাকতে পারে।

আপনি যদি এটি দরকারী বলে মনে করেন, তাহলে অর্থ প্রদানকারী সমর্থক হওয়ার কথা বিবেচনা করুন

ইন্টারনেট নিয়মের সাথে বাজারে পরিণত হচ্ছে

ডিজিটাল দিক থেকে সম্পর্কিত কিছু ঘটছে, কিন্তু বিপরীত দিক থেকে। তথ্য ইতিমধ্যে বিদ্যমান, কিন্তু এটি অ্যাক্সেস আরো শর্তাধীন হয়ে উঠছে.

একজন একাডেমিক প্রকাশক সম্প্রতি কৃত্রিম বুদ্ধিমত্তা গবেষণা পণ্য দ্বারা পুনরুদ্ধারের জন্য নির্বাচিত বইগুলি উপলব্ধ করেছেন যখন স্পষ্টভাবে মডেল প্রশিক্ষণ অধিকার বঞ্চিত. এই পার্থক্য গুরুত্বপূর্ণ। “এআই এর জন্য এটি ব্যবহার করুন” প্রশিক্ষণ, পুনরুদ্ধার, অনুমান, এবং সম্ভবত অন্যান্য ব্যবহারের জন্য পৃথক অনুমতিগুলিতে বিভক্ত হতে শুরু করেছে।

প্রযুক্তিগত অবকাঠামো একই দিকে এগোচ্ছে। প্রকাশকরা অনুসন্ধান, প্রশিক্ষণ এবং এজেন্টের জন্য ব্যবহৃত ক্রলারগুলির মধ্যে ক্রমবর্ধমান পার্থক্য করতে পারেন। একটি বন্ধ বিটা সিস্টেম এমনকি একটি স্ক্যানার অনুমতি দেয় অ্যাক্সেসের জন্য মূল্য সহ একটি HTTP 402 প্রতিক্রিয়া পান৷. বাজার এখনও অপরিপক্ক, কিন্তু প্রবেশাধিকার আলোচনার জন্য প্রক্রিয়া ইতিমধ্যে জায়গায় আছে.

বিশ্বাস আরও কঠিন হয়ে ওঠে। ওয়েব পেজের এক তৃতীয়াংশেরও বেশি ChatGPT চালু হওয়ার পর থেকে প্রকাশিত এখন একজন এআই লেখকের উল্লেখযোগ্য লক্ষণ দেখায়। আরও বিরক্তিকর হল সাইটগুলি যেগুলি কয়েক হাজার পৃষ্ঠা তৈরি করে৷ এআই সুপারিশ সিস্টেমের প্রমাণ হওয়ার জন্য বিশেষভাবে ডিজাইন করা হয়েছে.

আমি সম্প্রতি লিখেছেন স্থাপনার আগে ডেটা সেট কোথা থেকে এসেছিল তার সাথে সম্পর্কিত ঝুঁকি সম্পর্কে। স্থাপনার পরে নতুন সমস্যা শুরু হয়।

যখন তথ্য পুনরুদ্ধার উপর কাজ করা যেতে পারে

একটি প্রশিক্ষণ সেট, লাইসেন্স, অডিট এবং অপসারণের একটি তালিকা করা যেতে পারে। কেউ প্রতিটি ওয়েব পৃষ্ঠা বা নথির পূর্ব-চেক করতে পারে না একটি এজেন্ট আগামীকাল জুড়ে আসবে। এই তথ্যের কিছু উৎস থেকে আসবে যা কোম্পানি নিয়ন্ত্রণ করে না।

সিস্টেমটি কাজ করতে পারলে এই পার্থক্যটি গুরুত্বপূর্ণ হয়ে ওঠে। গবেষকরা সম্প্রতি আবিষ্কার করেছেন 100 টিরও বেশি ওয়েবসাইট জুড়ে ডকুমেন্টেশন যা কোডিং এজেন্টদের সফ্টওয়্যার ইনস্টল করতে পরিচালিত করেছিল যার মালিকানা নির্ধারণ করা যায়নি। আরেকটি গবেষণায় দেখানো হয়েছে কিভাবে একটি একটি ভাগ করা লাইব্রেরি থেকে পুনরুদ্ধার করা একটি দূষিত সরঞ্জাম অনুলিপি করা যেতে পারে৷ একটি স্ব-বিকশিত এনকোডিং এজেন্ট দ্বারা, নতুন দক্ষতা সংরক্ষণ করা হয় এবং আরও বিতরণ করা হয়।

এই কারণেই আমি মনে করি পুনরুদ্ধার একটি নিরাপত্তা সীমা হয়ে ওঠে এবং শুধুমাত্র একটি অনুসন্ধান মানের সমস্যা নয়। গবেষকরা ইতিমধ্যে পরীক্ষা-নিরীক্ষা করছেন উৎস আস্থার স্কোর, নথি এবং স্যানিটাইজেশনের মধ্যে ধারাবাহিকতা পরীক্ষা এই সীমার মধ্যে।

একটি সার্চ ইঞ্জিন খারাপ তথ্যকে খারাপ উত্তরে পরিণত করতে পারে। একজন এজেন্ট এটিকে কার্যকর করতে পারে। এজেন্টদের জন্য, প্রোভেন্যান্স মেটাডেটার মতো কম এবং একটি সফ্টওয়্যার সাপ্লাই চেইন সুরক্ষিত করার মতো দেখাতে শুরু করেছে। আপনাকে কেবল সিস্টেমটি কী পড়ে তা নয়, সেই তথ্যটি কী করতে দেওয়া হয়েছিল তা জানতে হবে।

রোবোটিক্স একটি পাইপ খুঁজে পেয়েছে, একটি কার্পাস নয়

মানব ভিডিওটি রোবোটিক্সের ডেটা ঘাটতির একটি সুস্পষ্ট উত্তর বলে মনে হচ্ছে যতক্ষণ না আপনি নতুন সিস্টেমগুলি আসলে কী করে তা ঘনিষ্ঠভাবে দেখেন।

একটি পাইপ রোবট সংস্থায় মানুষের ক্রিয়াগুলিকে পুনরায় ফোকাস করেভিডিওতে রোবট অস্ত্র সন্নিবেশিত করে, ফলাফলগুলি ফিল্টার করে এবং তারপরে বাস্তব রোবট প্রদর্শনের সাথে সিন্থেটিক ডেটা একত্রিত করে। অন্য একজন মানুষ এবং রোবট ভিডিও থেকে শেখে, তারপর রোবট ট্র্যাকগুলিতে তিনি যা শিখেছেন তার উপর ভিত্তি করে কাজটি নির্দিষ্ট মেশিনের সাথে মানিয়ে নেওয়ার আগে। মানুষের ভিডিও দরকারী কাঁচামাল. এটি একটি রোবট অভিজ্ঞতা নয়।

দ অবকাঠামো সর্বশ্রেষ্ঠ প্রচেষ্টার পিছনে বিষয়টি আরও স্পষ্ট করে তোলে। থেকে প্রসেসিং আউটপুট বাড়াতে হয়েছিল প্রতি সপ্তাহে 14,000 থেকে 440,000 পর্বের ঘন্টা. কাঁচা ডেটাকে এমন কিছুতে পরিণত করা যা প্রশিক্ষণ ব্যবস্থা একবার প্রয়োজন হলে ব্যবহার করতে পারে প্রায় 48 ঘন্টা এবং এখন এক মিনিটেরও কম সময় লাগে. এই স্কেলে, কাজের মধ্যে রয়েছে রূপান্তর, গুণমান পরীক্ষা, মেটাডেটা, স্টোরেজ, ক্যাশিং এবং প্রশিক্ষণের জন্য ক্রমাগত প্রস্তুতি।

রোবোটিক ডেটা সমস্যা সম্পর্কে আমি কীভাবে চিন্তা করি তা এই সমস্ত পরিবর্তন করে। রোবোটিক্স শারীরিক অভিজ্ঞতার একটি ওয়েব আবিষ্কার করেনি। এটি তৈরি করে মেশিনগুলি যা মানুষের অভিজ্ঞতাকে একক অভিজ্ঞতায় পরিণত করতে পারে।

পার্থক্যটি গুরুত্বপূর্ণ কারণ মেশিনগুলি রোবটের মতো অর্থনৈতিকভাবে গুরুত্বপূর্ণ হতে পারে। সংগ্রহ করা, পরিষ্কার করা, অনুবাদ করা, গ্রাউন্ড করা এবং ক্রমাগত রিফ্রেশ করা শারীরিক অভিজ্ঞতা রোবোটিক্স স্ট্যাকের একটি পৃথক স্তরের মতো দেখাতে শুরু করেছে।

দরকারী তথ্য আউটপুট হয়

সাধারণ থ্রেড এমন নয় যে ডিজিটাল এজেন্ট এবং রোবট একই ধরণের ডেটা ব্যবহার করে। অবশ্যই তারা না. এটি হল যে আরও এবং আরও বেশি দরকারী তথ্য শুরুতে না হয়ে একটি প্রক্রিয়ার শেষে বসে। প্রযুক্তিটি নতুন, তবে ডেটা সমস্যাটি পরিচিত।

ডিজিটাল এজেন্টদের জন্য, এই প্রক্রিয়াটি স্থির করে যে কোন বাহ্যিক তথ্য আসতে পারে এবং সিস্টেমকে এটির সাথে কী করার অনুমতি দেওয়া হয়। রোবটগুলির জন্য, এটি ভিডিও এবং মানুষের প্রদর্শনকে ডেটাতে পরিণত করে যা থেকে মেশিন শিখতে পারে। প্রক্রিয়া ভিন্ন, কিন্তু উভয় ক্ষেত্রেই প্রয়োজনীয় তথ্য কাঁচামাল থেকে তৈরি করা আবশ্যক।

এটি একটি ব্যবস্থাপনার প্রশ্নের দিকে নিয়ে যায় যা আমি সন্দেহ করি যে অনেক কোম্পানি পরিষ্কারভাবে উত্তর দিতে পারে না: একটি AI সিস্টেম নিরাপদে ব্যবহার করতে পারে এমন কিছুতে কাঁচা ডেটা এবং অভিজ্ঞতাকে পরিণত করার কাজ কার মালিক?

এর মধ্যে কাজ

মডেল ক্রয় করা সহজ হয়. নেটওয়ার্কটি এমন তথ্যে পূর্ণ হতে পারে যা একজন এজেন্ট এখনও নিরাপদে ব্যবহার করতে পারে না। অনেক মানবিক ভিডিও আছে। কঠিন অংশটি এটিকে এমন কিছুতে পরিণত করছে যা একটি রোবট ব্যবহার করতে পারে। উভয় ক্ষেত্রেই, ডেটা সমস্যা কাঁচামাল খোঁজা থেকে এটিকে ব্যবহারযোগ্য করার জন্য প্রয়োজনীয় কাজ করার দিকে চলে গেছে।