کد خبر:۱۳۳۸۱۲۱
بحران اعتماد در عصر ایجنتها/ وقتی یک هکر میتواند جای دستیار هوش مصنوعی را بگیرد
با رشد سریع ایجنتهای مصنوعی، خطر در حال ظهور است: ربودن هویت ایجنتها. از تراکنشهای مالی تا اطلاعات محرمانه، یک ایجنت جعلی میتواند در چند فاجعه ایجاد کند. متخصصان میکنند تنها راه نجات، ساخت یک پاسپورت رمزنگاریشده برای هر ایجنت است.
به گزارش خبرنگار دانش و فناوری خبرگزاری دانشجو، در آیندهای نزدیک، دستیار هوش مصنوعی شما ممکن است پیش از آنکه حتی از خواب بیدار شوید، برایتان ایمیل بنویسد، قرار ملاقاتها را تنظیم کند، سفر رزرو کند و کارهای اداریتان را مدیریت کند. این سیستمها فقط از دستورها پیروی نخواهند کرد — بلکه بهجای شما تصمیم خواهند گرفت. اما همین سهولت، یک پرسش بسیار دشوار را مطرح میکند: چطور مطمئن میشوید عاملی که از طرف شما عمل میکند، واقعاً متعلق به شماست؟
اگر مهاجمی عامل شما را ربوده، دستورهایش را دستکاری کند یا آن را برای دیگران جعل کند، آسیب میتواند با سرعت ماشین رخ دهد: انتشار اسناد مالی محرمانه، تأیید تراکنشهای غیرمجاز یا تزریق اطلاعات نادرست مستقیم به سیستمهای شرکت.
عصر پیشِ رو، عصر عاملهای هوش مصنوعی، نوید کارایی انقلابی را میدهد، اما همزمان مرز تازهای از خطرات امنیت سایبری را نیز معرفی میکند. بهویژه با حرکت سازمانها و مصرفکنندگان از ابزارهای هوش مصنوعی به سوی نمایندگان تصمیمگیرندهٔ خودکار، کارشناسان صنعت میگویند که «اثبات رمزنگاریشدهٔ مالکیت عامل» به یکی از حیاتیترین — و در عین حال کمتوجهشدهترین — ارکان امنیت تبدیل خواهد شد.
وقتی عاملهای هوش مصنوعی به سطح حمله تبدیل میشوند
چشمانداز کنونی هوش مصنوعی از مدلهایی که فقط به درخواستها پاسخ میدهند، به سمت عاملهایی با قابلیت اقدام خودمختار حرکت میکند؛ و هر چه خودمختاری بیشتر شود، آسیبپذیری نیز بیشتر میشود.
سرگئی شستاکوف، مدیرعامل MPP Insights و کارشناس باسابقهٔ سامانههای داده و NLP میگوید: تزریق پرامپت، فوریترین بردار تهدید است. مهاجمان دستورهای مخرب را در دل دادههای ظاهراً سالم قرار میدهند؛ دادههایی که عاملها پردازش میکنند. این کار باعث میشود عامل بدون نیاز به دستزدن به کدهای زیرساخت، عملاً ربوده شود.
این خطر فرضی نیست. در سال ۲۰۲۴، پژوهشگران امنیتی نشان دادند حتی دستکاریهای کوچک در پرامپت میتواند عاملها را وادار کند که اطلاعات حساس را خارج کنند، سوابق مشتریان را بازنویسی کنند یا پرداختها را تأیید کنند. با افزایش اختیارات عملیاتی این سیستمها، سطح خطر بهطور چشمگیری بالا میرود.
بارس یوهاس، مدیرعامل WorkBeaver، که در حال توسعهٔ سیستمهای عاملی برای کاربران غیرتکنیکال است، این تغییر را از نزدیک دیده است. او هشدار میدهد شرکتهایی که انتظارات غیرواقعبینانه دارند، خود را در مسیر فاجعه قرار میدهند.
او میگوید: شرکتها میخواهند یک عامل را مستقر کنند، آن هم طوری که جادویی کار کند و بتوانند یکباره کل کارکنانشان را تعدیل کنند. بعد که کار خراب میشود، مجبور میشوند دوباره نیرو استخدام کنند — آن هم با هزینهای چندبرابر.»
کارفرمایان بزرگ بهتدریج متوجه شدهاند که خطر اصلی، هزینهٔ نیروی انسانی نیست، بلکه ایمنی عملیاتی است.
«سیتیگروپ دید واقعبینانهتری دارد. آنها قصد دارند ۱۱۰ تا ۱۲۰ هزار نفر را برای استفاده از ابزارهای مبتنی بر هوش مصنوعی آموزش دهند. انسان را از چرخه حذف نخواهید کرد. این از نظر واقعیت عملیاتی ممکن نیست.»
الگوی امنیتی WorkBeaver بر پایهٔ اعتماد به یک لایه نیست، بلکه بر پایهٔ لایههای متعدد و محدودسازی آسیب ساخته شده است.
یوهاس میگوید: هیچ راهحل کاملاً بینقصی وجود ندارد؛ بنابراین ما تا جای ممکن لایههای محافظ اضافه میکنیم. باید فرض کنیم مدل محافظ شکست خورده است. باید فرض کنیم مدل دوباره شکست خورده. اگر یک پرامپت مخرب عبور کند چه؟ ما باید آماده باشیم.»
WorkBeaver از لیست سفید برنامهها، محدودیت سختگیرانهٔ دسترسی به پوشهها و حلقههای کنترل کیفیت رفتار عامل استفاده میکند تا شعاع آسیب را به حداقل برساند. زیرا وقتی اوضاع خراب شود، واقعاً «خیلی» خراب میشود.
یوهاس میگوید: سیستمهای عاملی واقعی فقط این نیستند که اطلاعات بانکی از کاربر بگیرند. یک بردار حملهٔ جدی، بدافزار است. این سیستمها رؤیای مهاجمان هستند.»
اثبات مالکیت: مرز تازهٔ امنیت سایبری
امروز هیچ روش جهانی برای تشخیص اینکه یک عامل هوش مصنوعی داخل سیستم، همان هویتی را دارد که ادعا میکند، وجود ندارد. بیشتر سازمانها به تأییدهای دستی، اعتبارنامههای ثابت یا اعتماد به فروشنده اتکا میکنند — روشهایی که بهراحتی قابل جعل یا نفوذ هستند.
شستاکوف میگوید راهحل بلندمدت، اعتمادپایهٔ رمزنگاریشده از ابتدا تا انتهای زنجیره است.
«بهترین کار، مالکیت کامل زیرساخت است. سازمانهایی که مدلهای زبانی، زنجیرههای ابزار و خطوط استقرار را کاملاً در اختیار دارند، میتوانند تأیید انتهابهانتها پیادهسازی کنند. وزنهای مدل امضای هشدار میگیرند، ابزارها بررسی یکپارچگی میشوند و بستههای استقرار مدرکهای تأیید اصالت حمل میکنند.».
اما او میپذیرد که چنین مالکیت کاملی برای اغلب سازمانها ممکن نیست.
«مدل مالکیت ترکیبی، که سازمانها ابزارهای داخلی خود را دارند ولی از APIهای LLM بیرونی استفاده میکنند، آسیبپذیر است. مهاجمان میتوانند بستههایی شبیه ابزارهای توسعهٔ معتبر بسازند و دستیارهای کدنویسی هوش مصنوعی را آلوده کنند.
برای کاهش خطر، او پیشنهادی با نام بهداشت منشأ (provenance hygiene) ارائه میکند.
«هر عامل باید اعتبارنامههای امضاشدهٔ رمزنگاریشده داشته باشد که منشأ آن را ثابت میکند. بهترین رویکرد، سه لایهٔ تأیید است: تأیید اجزا، تأیید رفتاری و تأیید مداوم در زمان اجرا.»
به بیان دیگر، پشتهٔ هوش مصنوعی باید چیزی شبیه چارچوب امنیت زنجیرهٔ تأمین فناوری پیدا کند.
گذرنامهٔ بلاکچینی برای عاملهای هوش مصنوعی
جی اسمیت، رئیس Genialt، معتقد است سازمانها باید بزرگتر فکر کنند: هر عامل هوش مصنوعی باید یک هویت رمزنگاریشدهٔ مستقل داشته باشد، شبیه یک گذرنامهٔ دیجیتال.
او میگوید: در حال حاضر سازمانها در یک وضعیت بیاعتمادی عمل میکنند. آنها نمیتوانند منشأ یک عامل هوش مصنوعی را جز با روشهای دستی و موقت — که مستعد خطای انسانی و دستکاری هستند — تأیید کنند.»
Genialt این مشکل را با صدور یک شناسهٔ دیجیتال (ADI) برای هر عامل، مبتنی بر بلاکچین Accumulate حل میکند.
اسمیت توضیح میدهد: ADI هویت امنیتی مبتنی بر رمزنگاری روی بلاکچین است که یک پیوند تغییرناپذیر بین عامل، سازندهٔ آن و دادههای آموزشی آن ایجاد میکند. سازمانها میتوانند فوراً «زنجیرهٔ مالکیت» هر عامل را تأیید کنند — شامل هش فایل مدل، هویت توسعهدهنده و مجموعهدادههای آموزشی.»
برای جلوگیری از جعل، Genialt اعتماد را به تاریخچهٔ تراکنشهای بلاکچین گره میزند — نه فقط امضاها.
«یک عامل جعلی تاریخچهٔ تراکنشهای معتبر — همان اعتبار — را ندارد. حتی اگر مدل را کپی کنید، همچنان کلیدهای خصوصی لازم برای امضای تراکنشها به نام آن هویت را ندارید.»
اگر عاملی به خطر بیفتد، Genialt امکان دفاع بلادرنگ ارائه میکند: ما چرخش فوری کلید یا ابطال هویت را فعال میکنیم. میتوانید نسخهٔ آلوده را قفل کنید، بدون اینکه هویت سرویس را از بین ببرید.»
آیا باید عاملهای هوش مصنوعی را مثل وبسایتها با گواهیهای SSL تنظیم کرد؟ اسمیت معتقد است پاسخ مثبت است—اما با یک تفاوت مهم: وقتی هوش مصنوعی از ابزارهای منفعل به تصمیمگیرندگان خودمختار حرکت میکند، به هویتهایی نیاز دارد که بسیار قویتر از گواهیهای استاندارد SSL/TLS باشند. آنها به هویتهای پویا و مستقل نیاز دارند که بتوانند اعتبار کسب کنند، دارایی مدیریت کنند و منطق اجرا کنند.»
او آیندهای را تصور میکند که در آن یک چارچوب نظارتی با نظارت مشترک عمل میکند. در این چشمانداز، Genialt ریشهٔ اعتماد است—چیزی مانند VeriSign برای هوش مصنوعی—که هویتهای پایه را تنها پس از فرایند دقیق KYC صادر میکند.
بالای این سطح، یک لایهٔ حکمرانی گستردهتر — شبیه شبکههای DAO — شکل میگیرد که استانداردهای هویتی را تعیین میکند؛ و در سطح سازمانی، هر شرکت زیرشبکههای خصوصی و مجاز خود را نگه میدارد تا بتواند انطباقهایی مانند HIPAA یا GDPR را در ناوگان داخلی عاملهایش enforce کند.
نتیجه، سیستمی است که هویت در آن تضمین میشود، اما مالکیت متمرکز نیست.
تحول تدریجی، نه انقلاب ناگهانی
اگر قرار است عاملهای هوش مصنوعی به مباشران مورد اعتماد امور انسانی و تجاری تبدیل شوند، باید یک تغییر بزرگ پیش از آن رخ دهد که مهاجمان فضای بازی را کاملاً در دست بگیرند. شستاکوف میگوید این چالش بیشتر تحول تدریجی است تا انقلاب.
«محیطهای چندعاملی مدرن نیاز به یک رویکرد نظاممند دارند که کنترلهای پیشگیرانه، کشفگر و اصلاحی را با هم ترکیب کند. باید فرض کنیم کنترلهای منفرد ممکن است شکست بخورند و سیستمها را با دفاع چندلایه طراحی کنیم.»
یوهاس هشدار میدهد این گذار فقط فنی نیست — اجتماعی هم هست.
«حتی وقتی سیستمهای ایمنی را میسازیم، کاربران راهی برای دور زدنشان پیدا میکنند. حال باید دوباره بیندیشیم که چطور مردم را از خودشان محافظت کنیم.»
اسمیت هم تأکید میکند که خودمختاری بدون هویت قابلاثبات، بهجای ایمنی، به هرجومرج میانجامد.
او میگوید: عاملها باید در اکوسیستمی با هویتهای رمزنگاریشدهٔ قابلاثبات وجود داشته باشند. در غیر این صورت، جعل نهتنها ممکن، بلکه در مقیاس وسیع اجتنابناپذیر خواهد بود.»
در حالی که کارشناسان معتقدند شتاب رشد خودمختاری هوش مصنوعی توقفپذیر نیست، پرسش اصلی این نیست که آیا این عاملها برای ما عمل خواهند کرد؛ بلکه این است که آیا میتوانیم ثابت کنیم تنها برای ما عمل میکنند؟
و فعلاً تنها راه امن ماندن این جهان دیجیتالی آن است که بتوانیم با روشهای رمزنگاری و بهصورت پیوسته هویت، منشأ و نیت عاملهای هوشمندی را که به آنها تکیه میکنیم، تأیید کنیم.
لینک کپی شد
گزارش خطا
۰