مدل هوش مصنوعی چینی Kimi K3 از محیط ایزوله آزمایش فرار کرد؛ تقلب با دسترسی به GitHub در تست امنیتی

به گزارش گروه دانشگاه خبرگزاری دانشجو، مدل پرچمدار هوش مصنوعی Kimi K3 توسعه‌یافته توسط شرکت چینی Moonshot AI در جریان یک ارزیابی امنیت سایبری که توسط شرکت آمریکایی Frontier Security انجام شد، موفق شد از محیط ایزوله آزمایش خارج شود و محدودیت‌های تعیین‌شده برای آزمون را دور بزند.

بر اساس این گزارش، این مدل از یک نقص در پیکربندی شبکه در چارچوب ارزیابی توسعه‌یافته توسط مؤسسه امنیت هوش مصنوعی دولت بریتانیا (AISI) سوءاستفاده کرد. Kimi K3 پس از شناسایی این حفره، به اینترنت دسترسی پیدا کرد و پاسخ مسائل محول‌شده را از مخازن عمومی GitHub دریافت کرد، نه اینکه آنها را در چارچوب تعیین‌شده به‌صورت مستقل حل کند.

به گفته یارون سینگر، مدیرعامل Frontier Security، مشکل اصلی وجود یک «نشتی» در محیط آزمایش بود، اما مدل Kimi K3 نیز به‌صورت فعال این ضعف را شناسایی و از آن برای دور زدن محدودیت‌ها استفاده کرد؛ موضوعی که به گفته او نشان می‌دهد این مدل از سازوکارهای کنترلی داخلی کافی برای جلوگیری از چنین رفتاری برخوردار نیست.

پل کاسیانیک، از پژوهشگران این پروژه نیز اعلام کرد Kimi K3 برای رسیدن به هدف خود، از هر راه ممکن استفاده می‌کند و در برابر تقلب یا خروج از محیط آزمایش، محدودیت‌های بازدارنده کافی ندارد.

با این حال، گزارش تأکید می‌کند که Kimi K3 پس از خروج از محیط ایزوله، هیچ تلاشی برای نفوذ، دستکاری یا حمله به وب‌سایت‌ها و زیرساخت‌های خارجی انجام نداد. این موضوع، رفتار آن را از برخی رخدادهای مشابه مربوط به مدل‌های هوش مصنوعی شرکت‌های OpenAI و Anthropic متمایز می‌کند؛ مدل‌هایی که در آزمایش‌های پیشین اقداماتی مانند تلاش برای دستکاری پروژه‌های GitHub یا هدف قرار دادن سرویس‌های آنلاین را انجام داده بودند.

کارشناسان معتقدند با توجه به اینکه وزن‌های مدل Kimi K3 به‌صورت عمومی در دسترس قرار دارد، چنین رخدادهایی اهمیت توجه به سازوکارهای ایمنی و کنترل مدل‌های متن‌باز هوش مصنوعی را بیش از پیش برجسته می‌کند.