پژوهشگران روش حملهای جدید را شناسایی کردهاند که میتواند اطلاعات نادرست را بهطور مخفیانه در حافظه بلندمدت دستیارهای هوش مصنوعی ثبت کند و رفتار آنها را در گفتگوهای آینده تحت تأثیر قرار دهد.
همشهری آنلاین، فرخنده رفائی: با گسترش قابلیت حافظه بلندمدت در دستیارهای هوش مصنوعی، پژوهشگران نسبت به ظهور تهدیدی تازه در امنیت این سامانهها هشدار دادهاند؛ تهدیدی که این بار نه خود مدل هوش مصنوعی، بلکه حافظه آن را هدف قرار میدهد.
به گزارش دیجیتال ترندز، محققان دانشگاه ایالتی نیومکزیکو در پژوهشی از امکان وجود تهدیدی با نام «نویسنده شبح» (GhostWriter) خبر دادهاند که به جای نفوذ مستقیم به مدل یا سرقت اطلاعات، دادههای جعلی و دستکاریشده را از طریق دستورهای پنهان یا محتوای غیرقابل اعتماد وارد حافظه بلندمدت دستیار هوش مصنوعی میکند. این اطلاعات ممکن است برای مدتی بدون استفاده باقی بمانند، اما زمانی که دستیار در پاسخ به یک درخواست عادی به حافظه خود مراجعه کند، همان دادههای آلوده مبنای تصمیمگیری یا پاسخ آن قرار میگیرند.
به گفته پژوهشگران، این حمله در دو مرحله انجام میشود. در مرحله نخست، اطلاعات مخرب بهصورت پنهانی در حافظه ذخیره میشوند و در مرحله دوم، هوش مصنوعی هنگام پاسخ به درخواستهای واقعی کاربر، همان اطلاعات را بازیابی کرده و بر اساس آنها عمل میکند.
برای مثال، اگر کاربری از دستیار هوش مصنوعی بخواهد ایمیلهای بانکی او را خلاصه کند، حافظه آلوده میتواند باعث شود دستیار بهطور مخفیانه نسخهای از این ایمیلها را برای مهاجم ارسال کند یا اطلاعات نادرستی مانند شماره تماس، مهلت انجام کارها، ترجیحات کاربر یا حتی واقعیتهای ساختگی را به خاطر داشته باشد.
برخلاف حملات رایج موسوم به «تزریق دستور» که معمولا تنها یک گفتوگو را تحت تأثیر قرار میدهند، GhostWriter اثری ماندگار دارد و تا زمانی که اطلاعات آلوده از حافظه حذف نشوند، میتواند رفتار دستیار را در جلسات بعدی نیز تغییر دهد.
آزمایشهای این پژوهش نشان میدهد این حمله در حدود ۹۸ درصد موارد توانسته اطلاعات مخرب را با موفقیت وارد حافظه عاملهای هوش مصنوعی کند و در حدود ۶۰ درصد مواقع نیز این اطلاعات در زمان مناسب فعال شده و بر عملکرد آنها اثر گذاشتهاند.
بیشتر بخوانید:
- مطالعات جدید هشدار میدهند؛ مشاوره گرفتن از هوش مصنوعی را متوقف کنید!
- کشف نگرانکننده محققان | مدلهای هوش مصنوعی رفتارهای خطرناک را از هم یاد میگیرند
- وقتی هوش مصنوعی طرف شما را میگیرد | خطر پنهان چتباتهای «بلهقربانگو»!
پژوهشگران همزمان راهکاری دفاعی با نام Agentic Memory Sentry (AM-Sentry نیز معرفی کردهاند که با بررسی اطلاعات پیش از ذخیرهسازی و اعمال سیاستهای سختگیرانهتر برای مدیریت حافظه، توانسته احتمال موفقیت این حمله را به میزان قابل توجهی کاهش دهد. به اعتقاد آنها، با تبدیل شدن دستیارهای هوش مصنوعی به ابزارهایی برای مدیریت ایمیل، برنامهریزی، تولید محتوا و تصمیمگیری، حفاظت از حافظه این سامانهها به یکی از مهمترین چالشهای امنیتی آینده تبدیل خواهد شد.
کد خبر 1054144 منبع: همشهری آنلاین
-
فناوریهای عجیب ژاپنی برای مقابله با گرمای تابستان
-
این گوشیهای ژاپنی در دل کویر و کوهستان و بدون آنتن هم پیام میفرستند
-
باگ تازه در هوش مصنوعی | این عامل پنهان حافظه بلندمدت چتباتها را آلوده میکند
-
مسی ۱۰ بار دیگر قهرمان شود باز هم پدر من بهتر است | پدرم موجودی فضایی بود!
-
در صورت گسترش جنگ مستقیما به نفع ایران وارد نبرد خواهیم شد
-
تهدید ژنرال عربستانی علیه ایران در گفتوگو با شبکه اسرائیلی | ایران نمیخواهد سقوط کند، مگر..
-
۶۳ سالگی بازیگر نقش «علی» در سریال «آینه عبرت» را ببینید + عکس
-
ببینید | دویدن اینفانتینو سمت ترامپ برای پایین کشیدنش از سکوی قهرمانی | اصرار رییسجمهور آمریکا برای شادی کنار اسپانیاییها
-
اگر افرادی در ایران کنترل نظام را به دست بگیرند، امکان گفتگو و توافق با آنها وجود دارد!
-
تمام روزهای جنگ را در ویلای آلانیا گذراندی | افشاگری بی سابقه عادل فردوسی پور درباره قلعهنویی
-
۶۳ سالگی بازیگر نقش «علی» در سریال «آینه عبرت» را ببینید + عکس
-
فوری؛ دستور تخلیه این شهر صادر شد؟ | توضیحات مهم فرماندار
-
مسی ۱۰ بار دیگر قهرمان شود باز هم پدر من بهتر است | پدرم موجودی فضایی بود!
-
ترامپ توئیت مسیح علینژاد را بازنشر کرد!
-
پاتک استقلال به پرسپولیس؛ هافبک سرخها در آستانه یاغی شدن
-
فوری؛ ترور یک امام جمعه در سحرگاه امروز + عکس و جزئیات | توضیحات فرماندار
-
خاگینه تبریزی؛ نامش را زیاد شنیدهاید اما مطمئنم فوت و فن پختش را نمیدانید
-
گوشواره طلای ۱۸ عیار سه هزارساله ایرانی بر صورت خانم بازیگر
-
فورا خاورمیانه را ترک کنید؛ تشدید تنشها میان ایران و آمریکا
-
عباس جمشیدی فر: من کاندید شدم، پارسا پیروزفر جایزه گرفت | جمله من رضا عطاران را ناراحت میکند اما باز هم میگویم | ببینید