এআই সুরক্ষা গল্পের অংশটি নিয়ে আমি ভাবতে থাকি

সাইন আপ • আগের সমস্যা

আটটি নিরাপত্তা অনুমান এআই এজেন্টরা নিঃশব্দে ভেঙে দেয়

যদি আপনি চেক করেন নৈতিকতা.দেব নিয়মিত, আপনি হয়তো লক্ষ্য করেছেন কত ঘন ঘন এআই এবং সাইবার সিকিউরিটি এজেন্টদের সংঘর্ষ হয়। কিছু গল্প সরাসরি সিনেমা থেকে শোনা যায়: এজেন্ট পরীক্ষার পরিবেশ থেকে পালিয়ে যায়চ্যানেলগুলিতে যোগাযোগ যা কেউই উদ্দেশ্য করেনি, দুর্বল পয়েন্টগুলি খুঁজে বের করা, শংসাপত্র চুরি করা এবং উৎপাদন ব্যবস্থায় পৌঁছানো।

আমি মনে করি যে অংশটি আরও মনোযোগের যোগ্য তা কম নাটকীয়। AI আক্রমণের অর্থনীতি পরিবর্তন করে। একজন মানুষের আক্রমণকারীর সীমিত সময় এবং মনোযোগ থাকে। একজন এজেন্ট হাজার হাজার রুট চেষ্টা করতে পারে, একসাথে একাধিক পন্থা চালাতে পারে, ব্যর্থতাকে সস্তায় পরিত্যাগ করতে পারে এবং চালিয়ে যেতে পারে। সর্বশেষ হস্তক্ষেপ এক, কাজ মানব অপারেটর নিতে অনুমান করা হয় প্রায় দুই সপ্তাহ দশ ঘণ্টারও কম সময়ে চলে গেছে. আলিঙ্গনের ঘটনার সময়, তদন্তকারীরা ফিরে আসেন প্রায় 17,600 এজেন্ট অ্যাকশন সাড়ে চার দিনের বেশি।

এই নিউজলেটার উপভোগ করছেন? একজন অর্থপ্রদানকারী সমর্থক হওয়ার কথা বিবেচনা করুন

এটি “যথেষ্ট ভাল” নিরাপত্তার অর্থ পরিবর্তন করে, যে কারণে আমি ফ্রন্ট-এন্ড মডেলগুলির সাইবার নিরাপত্তার প্রভাব সম্পর্কে খুব উদ্বিগ্ন। আমি এন্টারপ্রাইজ AI এবং সাইবার সিকিউরিটি টিমের কাছে যে পাঠগুলি উপস্থাপন করব তা নীচে দেওয়া হল৷

1. আক্রমণকারীদের জন্য একটি পরিকল্পনা যারা ব্যর্থ হতে পারে৷

সাম্প্রতিক ঘটনাগুলিতে শোষিত বেশিরভাগ দুর্বলতা বহিরাগত ছিল না। আক্রমণকারীরা ওভার-অ্যাক্সেস করা অ্যাকাউন্ট, অপ্রয়োজনীয়ভাবে অভ্যন্তরীণ সিস্টেমগুলি এবং দৈনন্দিন কনফিগারেশন ত্রুটিগুলি খুঁজে পেয়েছে।

কি পরিবর্তন হয়েছে অধ্যবসায়. পুনরুদ্ধার করা মুখ আলিঙ্গন প্রায় 17,600 অপারেশন. সর্বাধিক প্রচেষ্টা কোথাও যায়নিকিন্তু এটা খুব কমই গুরুত্বপূর্ণ. এজেন্ট অনেক পথ পরীক্ষা করেছে, ব্যর্থতা বাতিল করেছে, অবরুদ্ধ থাকা অবস্থায় চ্যানেল স্যুইচ করেছে এবং পর্যাপ্ত না হওয়া পর্যন্ত আগের লিডগুলিতে ফিরে গেছে সাধারণ দুর্বলতা একটি টেকসই আক্রমণ চেইনের ব্যবস্থা করা হয়েছে।

আমি নিরাপত্তা অনুমানের পুনরাবৃত্তি করব যা আক্রমণকারীর অস্পষ্টতা বা অধৈর্যতার উপর নীরবে নির্ভর করে। একটি অস্পষ্ট অভ্যন্তরীণ এন্ডপয়েন্ট সফ্টওয়্যারের বিরুদ্ধে খুব বেশি সুরক্ষা নয় যা এটির হাত পেতে পারে এমন সবকিছুকে পদ্ধতিগতভাবে তদন্ত করতে পারে।

2. ব্রেকিং আসলে কতক্ষণ লাগে তা পরিমাপ করুন

নিরাপত্তা দলগুলি সাধারণত পরিমাপ করে যে তারা লঙ্ঘন সনাক্ত করতে পারে কিনা। আমি আরেকটি পরিমাপ যোগ করব: সনাক্তকরণ থেকে নিয়ন্ত্রণে কতক্ষণ লাগে?

সাম্প্রতিক উদাহরণ এই প্রশ্নটি কংক্রিট করে তোলে। একটি এআই-সক্ষম এন্টারপ্রাইজ হ্যাক আনুমানিক দুই সপ্তাহের কাজকে সংকুচিত করে দশ ঘন্টার কম. Google অন্য একজন খেলোয়াড়কে একটি আপস করা ক্লাউড রিসোর্স থেকে শংসাপত্র সংগ্রহের জন্য একটি বিশাল প্রচারাভিযানে যেতে দেখেছে ছয় ঘন্টার নিচে.

সাংগঠনিক বাধা প্রযুক্তিগত মতই গুরুত্বপূর্ণ। আলিঙ্গন মুখের ক্ষেত্রে, নিরাপত্তা ব্যবস্থা ফ্ল্যাশ সতর্কতা সংকেত, কিন্তু বৃদ্ধি খুব ধীরে ধীরে চলছে. যদি শংসাপত্র অস্বীকার করার জন্য তিনটি শংসাপত্র এবং একটি মিটিং প্রয়োজন হয়, সংগঠনটি আক্রমণটি পুরোপুরি বুঝতে পারে এবং এখনও রেস হারাতে পারে।

যখন আমি এআই ঘটনার প্রতিক্রিয়া সম্পর্কে লিখেছেন কয়েক বছর আগে, আমার প্রধান সুপারিশগুলির মধ্যে একটি ছিল একটি ঘটনা ঘটার আগে নিয়ন্ত্রণের বিকল্পগুলি অন্বেষণ করা। এজেন্ট আক্রমণ এই পরামর্শ আরো জরুরি করে তোলে. কোন কন্টেনমেন্ট অপারেশনগুলি স্বয়ংক্রিয়ভাবে ঘটতে পারে এবং কোনটি নিরাপত্তা দল আগে থেকে সম্পাদন করতে অনুমোদিত তা আগে থেকেই সিদ্ধান্ত নিন।

3. শুধু মডেল নয়, জোতা সুরক্ষিত করুন

আমি সম্প্রতি যুক্তি দিয়েছিলাম যে দলগুলি উচিত মডেল এবং এর জোতাকে একটি সিস্টেম হিসাবে মূল্যায়ন করুন. সাইবার প্রমাণ এই বিষয়টিকে আরও শক্তিশালী করে।

জোতা হল মডেলের চারপাশে সবকিছু: সরঞ্জাম, মেমরি, শংসাপত্র, নেটওয়ার্ক অ্যাক্সেস, কার্যকর করার পরিবেশ এবং নীতি। আক্রমণকারী হিসাবে AI মডেলগুলি ব্যবহার করা পরীক্ষাগুলিতে৷গবেষকরা খুঁজে পেয়েছেন যে পার্শ্ববর্তী সরঞ্জামগুলি একটি মডেল যা অর্জন করতে পারে তা নাটকীয়ভাবে পরিবর্তন করতে পারে। অস্ট্রেলিয়ার সাইবার সিকিউরিটি এজেন্সি সম্প্রতি রক্ষণাত্মক দিক থেকে একই সিদ্ধান্তে পৌঁছেছে। সংস্থাগুলি জোতা নিয়ন্ত্রণ করেএমনকি যদি তারা অন্তর্নিহিত মডেলটি কীভাবে বিকশিত হয় তা নিয়ন্ত্রণ না করে।

এটি একটি দরকারী ব্যায়াম প্রস্তাব. এক মুহুর্তের জন্য মডেলের নামটি উপেক্ষা করুন এবং এজেন্ট দেখতে, কল করতে, লিখতে বা ইস্যু করতে পারে এমন সবকিছুর তালিকা করুন। তারপর জিজ্ঞাসা করুন: আগামীকাল যদি এজেন্ট খারাপ আচরণ করে তবে এই জোতা তাকে সবচেয়ে খারাপ জিনিসটি কী করতে দেবে?

4. এজেন্টদের পরিকল্পনা করুন

“মুখ আলিঙ্গন” ঘটনা থেকে একটি অদ্ভুত শিক্ষা হল যে এজেন্টরা সহযোগিতা করার উপায় খুঁজে পেতে পারে এমনকি যখন কেউ তাদের পরিকল্পনা করেনি। সেক্ষেত্রে শত শত এজেন্ট তথ্য শেয়ার করুন এবং তাদের নিজস্ব যোগাযোগ পদ্ধতি তৈরি করুন রান জুড়ে যা আলাদা হওয়ার কথা ছিল।

এটি গুরুত্বপূর্ণ কারণ এজেন্টদের একটি গ্রুপ কাজ ভাগ করতে পারে, আবিষ্কারগুলি ভাগ করে নিতে পারে এবং ব্যক্তিগত প্রচেষ্টা ব্যর্থ হওয়ার পরে একটি সমস্যা চালিয়ে যেতে পারে। এর অর্থ হল শেয়ার করা ফোল্ডার, ডাটাবেস, বার্তা সারি, এবং অন্যান্য লেখার যোগ্য সংস্থানগুলি যোগাযোগের চ্যানেল হয়ে উঠতে পারে যা আপনি কখনই চাননি।

আমি অনুমান করব না যে কোনো এজেন্ট এইভাবে আচরণ করবে। কিন্তু আপনি যদি অনেক এজেন্টকে মোতায়েন করেন, তাহলে তাদের মধ্যে যোগাযোগকে নিয়ন্ত্রণ ও নিরীক্ষণের অতিরিক্ত সুবিধা হিসেবে বিবেচনা করুন।

5. এজেন্টদের স্থায়ী অনুমোদন দেওয়া বন্ধ করুন

সম্পর্কে আগে লিখেছিলাম এজেন্টদেরকে মানবেতর সত্ত্বা হিসেবে বিবেচনা করা. ব্যবহারিক দিকনির্দেশনা আরও পরিষ্কার হচ্ছে।

প্রতিটি এজেন্টকে তার ব্যবহারকারীর শংসাপত্রের পিছনে লুকানোর পরিবর্তে তার নিজস্ব পরিচয় দিন৷ ব্যবহার একটি সীমিত সুযোগে সার্টিফিকেট যার মেয়াদ শেষ হয়ে গেছে কাজ শেষ হলে। পড়ার এবং লেখার অনুমতি আলাদা রাখুন। স্ট্যাটিক ক্লাউড কীগুলি এড়িয়ে চলুন যা এজেন্ট পরিবেশের ভিতরে বসে। সাব-এজেন্টগুলিকে তাদের মানব পিতামাতা এবং মালিকের কাছে চিহ্নিত করুন।

এটা স্বাভাবিক ন্যূনতম বিশেষাধিকার সফ্টওয়্যারের সাথে অভিযোজিত যা সক্রিয়ভাবে এর পরিবেশ অন্বেষণ করতে পারে। পার্থক্য গুরুত্বপূর্ণ. একজন মানব কর্মী কখনই আবিষ্কার করতে পারে না যে একটি পুরানো শংসাপত্র কিছু ভুলে যাওয়া সিস্টেমে অ্যাক্সেস দেয়। একটি এজেন্ট পদ্ধতিগতভাবে দেখতে পারেন.

6. অনুমান করুন যে অবিলম্বে ইনজেকশন শেষ পর্যন্ত কাজ করে

র‍্যাপিড ইনজেকশন মূলত একটি আক্রমণকারী উপাদানে রোপণের নির্দেশাবলী যা একজন এজেন্ট পড়ে। আমি যে অনুমান করা হবে কখনও কখনও এজেন্ট তাদের অনুসরণ করবে.

যে প্রশ্ন পরিবর্তন. দূষিত নির্দেশাবলীর মধ্য দিয়ে যেতে পারে কিনা তা জিজ্ঞাসা করার পরিবর্তে, সেগুলি করলে কী হয় তা জিজ্ঞাসা করুন৷

একটি পাঠক এনকোডিং এজেন্ট কোড মন্তব্য এবং কনফিগারেশন ফাইল. একজন নিরাপত্তা এজেন্ট আক্রমণকারীদের দ্বারা তৈরি লগ, হোস্টনাম, দুর্বলতার রিপোর্ট এবং পেলোড পড়ে। এই সমস্ত মডেল প্রভাবিত করার উদ্দেশ্যে পাঠ্য থাকতে পারে. একটি সফলভাবে কারসাজি করা এজেন্টকে এখনও তাদের শংসাপত্র, নেটওয়ার্ক অ্যাক্সেস, সরঞ্জাম এবং ফলস্বরূপ পরিবর্তন করার ক্ষমতার উপর গুরুতর সীমাবদ্ধতার সম্মুখীন হতে হবে।

7. মডেলের বাইরে নিরাপত্তা সীমানা রাখুন

উৎপাদন এজেন্টদের জন্য আমার শেষ নিয়ম ছিল নির্দেশাবলীতে নয় সফ্টওয়্যারে কঠোর সীমাবদ্ধতা রাখুন. সাম্প্রতিক ঘটনাগুলি এই পার্থক্যের সাথে সতর্ক থাকার উপযুক্ত কারণ প্রদান করে।

নির্দেশনা যা বলে “উৎপাদনের কাছে যাবেন না” নির্দেশিকা. একটি API অনুমতি যা উত্পাদনকে অ্যাক্সেসযোগ্য করে তোলে তা একটি নিয়ন্ত্রণ।

যদি একটি ক্রিয়াকলাপের গুরুতর পরিণতি হতে পারে, তাহলে মডেলটিকে এটির পরামর্শ দিন, তবে হতে দিন সিস্টেমের আরেকটি অংশ সিদ্ধান্ত নেয় যে এটি সত্যিই চালানোর অনুমতি দেওয়া হয় কিনা. একই নীতি অডিট লগ প্রযোজ্য. যদি এজেন্ট পারে তার আচরণ তদন্ত করতে ব্যবহৃত রেকর্ড পরিবর্তনআপনি সত্যিই একটি অডিট লেজ নেই.

8. এজেন্টদের বিরুদ্ধে এবং তাদের বিরুদ্ধে রক্ষা করার জন্য প্রস্তুত থাকুন

একটি অস্বস্তিকর প্রতিসাম্য তৈরি হয়। আক্রমণকারীরা AI ব্যবহার করে কারণ এটি গতি এবং স্কেল বাড়ায়। ডিফেন্ডারদের সম্ভবত একই কাজ করতে হবে।

হাজার হাজার মেশিন অপারেশন জড়িত একটি ঘটনা একটি মানব দল রিয়েল টাইমে যুক্তিসঙ্গতভাবে পর্যালোচনা করতে পারে তার চেয়ে বেশি প্রমাণ তৈরি করে। যেমন সরঞ্জাম গ্রাফিস্ট্রেশন বিপুল পরিমাণ নিরাপত্তা ডেটার মধ্যে সংযোগ খুঁজে পেতে গবেষকদের সাহায্য করা। এটি সাহায্য করে, তবে নিরাপত্তা অপারেশন কেন্দ্রগুলিকে সতর্কতা পর্যালোচনা, হুমকিগুলি খুঁজে বের করতে, ঘটনা তদন্ত করতে এবং আক্রমণগুলি নিয়ন্ত্রণে সহায়তা করার জন্য ক্রমবর্ধমান এজেন্টদের প্রয়োজন হবে।

এই এজেন্টরা তাদের নিজস্ব ঝুঁকি নিয়ে আসে। তারা তাদের সময় ব্যয় করে এমন ডেটা পড়ার জন্য যা আক্রমণকারীরা টেম্পার করেছে এবং প্রায়শই অস্বাভাবিকভাবে শক্তিশালী শংসাপত্র ধারণ করে। একটি দ্রুত ইনজেকশন তারা যা করার চেষ্টা করছে তা পুনর্নির্দেশ করতে পারে কোনো সার্টিফিকেট চুরি করা ছাড়া। অতএব, সুরক্ষা এজেন্টদের ভিতরে চালানো উচিত harnesses শক্তভাবে নিয়ন্ত্রিততাদের সত্যিই যা প্রয়োজন তা সীমিত অ্যাক্সেস সহ।

চ্যালেঞ্জ হল কৃত্রিম বুদ্ধিমত্তা ব্যবহার করে আক্রমণকারীদের সাথে তাল মিলিয়ে চলার প্রক্রিয়ায় অন্য নিরাপত্তা সমস্যা তৈরি না করে।

বেটার এআই এর পেছনের ডেটা

আমি সম্প্রতি একটি সাধারণ ধারণা সম্পর্কে অনেক কিছু লিখেছি: আরও ভাল AI মডেলের চারপাশের ডেটার উপর যেমন মডেলের উপর নির্ভর করে। দিবাস্বপ্ন একটি একদিনের শীর্ষ সম্মেলন হয় ৫ নভেম্বর সান ফ্রান্সিসকো স্তূপের ঠিক সেই অংশে ফোকাস করুন। আমি সেখানে থাকব, এবং আমি আশা করি আপনাদের কয়েকজনকে সেখানে দেখতে পাব।