কেন আপনার ডেটা স্ট্যাক কম ক্ষমাশীল হতে চলেছে

সাইন আপ • আগের সমস্যা

পুরানো তথ্য বিরক্তিকর হতে ব্যবহৃত

কল্পনা করুন একজন ক্রয়কারী এজেন্ট যিনি ইনভেন্টরি চেক করেন এবং সিদ্ধান্ত নেন যে ইনভেন্টরিটি রি-অর্ডার থ্রেশহোল্ডের নিচে নেমে গেছে। এটি অন্য অর্ডার করে। সমস্যা হল যে একটি বড় ডেলিভারি কয়েক মিনিট আগে রেকর্ড করা হয়েছিল, এবং এজেন্ট যে ডেটা চেয়েছিল তার কপি ক্যাপচার করা হয়নি। ড্যাশবোর্ড পুরানো ডেটাতে কাজ করে আপনাকে ভুল স্টক নম্বর দেখাতে পারে। পুরানো ডেটার উপর কাজ করা একজন এজেন্ট একটি ভুল অর্ডার করতে পারে।

বছরের পর বছর ধরে, অনেক অ্যানালিটিক্স সিস্টেম কিছু বিলম্ব, অস্পষ্টতা এবং অসম্পূর্ণ ডেটা সহ্য করতে পারে কারণ একজন মানুষ ফলাফল এবং কর্মের মধ্যে বসে থাকে। এই ব্যক্তি একটি ধীরগতির প্রশ্নের জন্য অপেক্ষা করতে পারেন, লক্ষ্য করুন যে একটি সংখ্যা ভুল দেখাচ্ছে বা কোন সংজ্ঞা প্রযোজ্য তা জিজ্ঞাসা করতে পারেন। এজেন্টরা এই পুলের অনেক অংশ সরিয়ে ফেলে। তারা ডেটা পরীক্ষা করুন, ব্যবস্থা নিন, দেখুন কী হয়েছেএবং আবার চেক করুন।

গত সপ্তাহে লিখেছিলাম কীভাবে কাজটি করা হয়েছিল তার ইতিহাস সংরক্ষণের মূল্যের উপর। এই সপ্তাহে আমি একটি কাজ সম্পাদন করার সময় একজন এজেন্টের কী জানা দরকার তা পরীক্ষা করতে চাই।

প্রাসঙ্গিক আর যথেষ্ট নয়

এন্টারপ্রাইজ AI এর প্রথম তরঙ্গ পুনরুদ্ধারের উপর খুব বেশি ফোকাস করেছে: একটি প্রশ্নের সাথে প্রাসঙ্গিক তথ্য খুঁজুন এবং মডেলের বিপরীতে রাখুন। এজেন্টদের অন্য প্রশ্নের উত্তর দিতে হবে। প্রাসঙ্গিক কি না শুধুমাত্র, কিন্তু এই মুহূর্তে সত্য কি?. পেমেন্ট সাফ হয়েছে? এই স্টক এখনও উপলব্ধ? অ্যাকাউন্টটি কি এক ঘন্টা আগে সাসপেন্ড করা হয়েছিল? আরেকটি প্রক্রিয়া ইতিমধ্যে রেকর্ড স্পর্শ করেছে? পাঁচ মিনিটের তথ্য একটি গবেষণা প্রশ্নের জন্য জরিমানা এবং একটি কর্মের জন্য বিপজ্জনকভাবে ভুল হতে পারে।

সতেজতা একমাত্র সমস্যা নয়। সংজ্ঞারও অর্থ আছে। ধরা যাক সক্রিয় গ্রাহক হিসাবে কী গণনা করা হয় সে সম্পর্কে দুটি সিস্টেম একমত নয়। একজন বিশ্লেষক যিনি অস্পষ্টতা লক্ষ্য করেন তাকে থামিয়ে কাউকে জিজ্ঞাসা করতে পারেন। একজন এজেন্ট একটি সেটিং নির্বাচন করে চালিয়ে যেতে পারে।

কেন আপনার ডেটা স্ট্যাক কম ক্ষমাশীল হতে চলেছে

ক একটি ছোট বেঞ্চমার্ক সমস্যাটি চিত্রিত করে। যখন সংজ্ঞা এবং ব্যবসায়িক সম্পর্ক সময়ের আগে ডিজাইন করা হয়েছিল, সঠিকতা উল্লেখযোগ্যভাবে উন্নত হয়েছে। আমি ব্যর্থতার মোডটি গ্রেডের চেয়ে বেশি আকর্ষণীয় বলে মনে করি। যখন শব্দার্থিক স্তর, যা এই সংজ্ঞা এবং সম্পর্কগুলিকে এনকোড করে, একটি প্রশ্নের উত্তর দিতে পারেনি, তখন এটি বলেছিল। যখন মডেলটি সরাসরি ডেটার বিপরীতে SQL লিখেছিল, তখন এটি একটি ফেরত দিতে পারে একটি সম্পূর্ণ বিশ্বাসযোগ্য ভুল নম্বর.

ডেটা যখন লোকেদের জানায়, তখন অস্পষ্টতা দুর্বল বিশ্লেষণ তৈরি করে। যখন এজেন্টরা এই ডেটার উপর কাজ করে, তখন সেই একই অস্পষ্টতা খারাপ ক্রিয়া তৈরি করতে পারে।

বিশ্লেষণাত্মক প্রশ্নগুলি উত্পাদন নির্ভরতা হয়ে ওঠে

সঠিক উত্তরগুলি যথেষ্ট নয় যদি তারা খুব ধীরে আসে বা একেবারেই না আসে। একটি বিশ্লেষণাত্মক ক্যোয়ারী চালানো একজন ব্যক্তি সাধারণত অপেক্ষা করতে পারেন। পরবর্তী পদক্ষেপ নেওয়ার আগে একজন এজেন্ট এই প্রশ্নের জন্য অপেক্ষা করছেন।

যদি একটি প্রশ্ন বিশটির মধ্যে সাতটি ধাপ হয়, প্রতিটি অতিরিক্ত সেকেন্ড এটির পিছনের ধাপগুলিকে বিলম্বিত করতে পারে। টাইমআউট একজন গ্রাহকের ইন্টারঅ্যাকশন বা ব্যবসায়িক প্রক্রিয়া বন্ধ করে দিতে পারে, যাতে কেউ ড্যাশবোর্ডের দিকে তাকিয়ে থাকে। সফ্টওয়্যার একই সময়ে অনেকগুলি কাজ চালাতে পারে এবং অবস্থার পরিবর্তনের সাথে একই ডেটা পুনরায় দেখতে পারে।

এটি কিছু বিশ্লেষণাত্মক সিস্টেমে বিভিন্ন প্রত্যাশা রাখে। লেটেন্সি, প্রাপ্যতা, সঙ্গতিএবং কাজের চাপ বিচ্ছিন্নতা এমনভাবে গুরুত্বপূর্ণ হতে শুরু করেছে যা ঐতিহ্যগত বিশ্লেষণের চেয়ে অ্যাপ্লিকেশন পরিকাঠামোর মতো দেখতে।

AI যখন কাজ করে তখন ডেটার গুণমান আরও গুরুত্বপূর্ণ

পুরানো রেকর্ড, সদৃশ, অসামঞ্জস্যপূর্ণ সংজ্ঞা এবং নথিভুক্ত ক্ষেত্র পরিচিত তথ্য সমস্যা. ভাল মডেল তাদের অদৃশ্য করে না. কোন এজেন্ট তাদের উপর কাজ করলে কি হতে পারে তা ভিন্ন।

একটি ডুপ্লিকেট এন্ট্রি ডবল এক্সপোজার বা দ্বিতীয় লেনদেন ট্রিগার করতে পারে। খারাপ সত্তা মিল ভুল অ্যাকাউন্টের বিরুদ্ধে একটি দাবি হতে পারে। একটি নথিভুক্ত ক্ষেত্র নীরবে পরিবর্তন করতে পারে যা একজন এজেন্ট মনে করে যে এটি পরিমাপ করছে।

একটি পরীক্ষায়, প্রোফাইল ইতিহাস এবং ক্যোয়ারী ইতিহাস যোগ করা একটি বিশ্লেষণ এজেন্ট রেখে গেছে প্রায় 40% নির্ভরযোগ্য।. পরিষ্কার করে ডেটা মডেলিং এবং ডকুমেন্টেশন উন্নতি এটি প্রায় 90% এ নিয়ে এসেছে। এটি একটি নির্দিষ্ট ফলাফল, একটি পরিমাপ নয়, তবে পাঠটি দরকারী: মৌলিক ডেটা মডেল এবং ডকুমেন্টেশন আরও প্রসঙ্গ যোগ করার চেয়ে বেশি গুরুত্বপূর্ণ৷

কিছু ব্যর্থতা যা AI ব্যর্থতার মতো দেখায় তা সত্যিই পুরানো ডেটা ব্যর্থতা যার প্রভাব কার্যকর হয়ে উঠেছে।

অনুমতি তথ্য অনুসরণ করা আবশ্যক

এজেন্ট একটি পুরানো অনুমতি সমস্যা জটিল. একটি একক কাজ একটি গুদাম, অনুসন্ধান সূচক, SaaS অ্যাপ্লিকেশন, ভেক্টর স্টোর বা ক্যাশে থেকে তথ্য টেনে আনতে পারে। এই সিস্টেমগুলি অগত্যা একই ভাবে অ্যাক্সেস প্রয়োগ করে না।

ধরুন একটি উত্স সিস্টেম একটি নির্দিষ্ট প্রক্রিয়াকৃত নথি লুকিয়ে রাখে, কিন্তু সেই সিস্টেম থেকে নির্মিত একটি অনুসন্ধান সূচক একই সীমাবদ্ধতা বজায় রাখে না। সূচক থেকে পুনরুদ্ধারকারী এজেন্ট এখন এমন কিছু দেখতে পারে যা কর্মী উৎস থেকে পুনরুদ্ধার করতে পারেনি।

এই কারণেই অনুমতিগুলিকে এমন কিছু হিসাবে বিবেচনা করা যায় না যা কেবলমাত্র যখন ডেটা প্রথম সিস্টেমে প্রবেশ করে তখনই পরীক্ষা করা হয়। যখন তথ্য অনুলিপি করা হয়, ইন্ডেক্স করা হয়, ক্যাশে করা হয় বা অন্য কোথাও পুনরুদ্ধার করা হয়, প্রবেশাধিকার নিয়ম এটি সঙ্গে ভ্রমণ করা উচিত.

ব্যবহারিক প্রশ্নটি সহজ থেকে যায়: যখন একজন এজেন্ট একটি রেকর্ড পড়েন, তখন তিনি কার কর্তৃত্ব প্রয়োগ করেন?

উৎপাদন পুনরুদ্ধারের চেয়ে বেশি প্রয়োজন

কিছু ডাটাবেস আর্কিটেকচার সম্পর্কে আমি গত বছর লিখেছিলাম এই প্রসঙ্গে আরো বোধগম্য করে তোলে. ডেটাব্রিক্স এই ধারণাটিকে আরও একটি আর্কিটেকচারের সাহায্যে এগিয়ে দেয় যা সক্ষম করে লেনদেনমূলক এবং বিশ্লেষণাত্মক কাজের চাপগুলি একটি ইউনিফাইড স্টোরেজ স্তর জুড়ে চলে একটি পৃথক বিশ্লেষণাত্মক সিস্টেমে ক্রমাগত অপারেশনাল ডেটা অনুলিপি করার পরিবর্তে। কম অনুলিপি মানে ব্যবসায় কিছু পরিবর্তন এবং সেই পরিবর্তনটি একটি অ্যাপ বা এজেন্ট হওয়ার মধ্যে কম ব্যবধান হতে পারে।

কিন্তু আমি মনে করি বিস্তৃত পাঠ যেকোনো একটি আর্কিটেকচারের চেয়ে বেশি কার্যকর। একটি প্রোটোটাইপ দেখাতে পারে যে আশেপাশের ডেটা সিস্টেমগুলি এটিকে নির্ভরযোগ্যভাবে সমর্থন করতে পারে তা প্রমাণ না করেই একজন এজেন্ট একটি কাজ সম্পাদন করতে পারে।

উত্পাদন আরো কঠিন প্রশ্নের উত্তর প্রয়োজন. রাষ্ট্র কি স্বৈরাচারী? এজেন্ট কীভাবে শিখবে যে কিছু পরিবর্তন হয়েছে? তথ্য অনুলিপি বা সূচী করা হলে অনুমতি কি বেঁচে থাকে? একটি আংশিক ব্যর্থতার পরে কি হয়? একটি পুনরায় চেষ্টা একটি কর্ম পুনরাবৃত্তি করতে পারেন? একটি কার্যকরী ডেমো লুকিয়ে রাখতে পারে কতটা ডেটা পরিকাঠামো এখনও তৈরি করা দরকার।

বছরের পর বছর ধরে, ডেটা স্ট্যাক প্রাথমিকভাবে কোম্পানিগুলিকে নিজেদের পর্যবেক্ষণ এবং বুঝতে সাহায্য করেছে। এজেন্টরা কাজের সময় একই তথ্য ব্যবহার করে।

এজেন্টরা তাদের পুনরুদ্ধার করা ডেটার উপর কাজ করতে পারলে, ডেটা স্ট্যাকটি অ্যাপ্লিকেশনের অংশ হয়ে যায়।