داده های مسموم در آموزش هوش مصنوعی خطری برای دستکاری سیستم به همراه دارد

مسمومیت داده ها یک حمله سایبری است که در آن دشمنان داده های مخرب یا گمراه کننده را به مجموعه داده های آموزشی هوش مصنوعی تزریق می کنند. هدف این است که رفتار آنها را فاسد کرده و نتایج ناهنجار، جانبدارانه یا مضر را به دنبال داشته باشد. یک خطر مرتبط ایجاد درهای پشتی برای بهره برداری مخرب از سیستم های AI/ML است.

این حملات نگرانی قابل توجهی برای توسعه دهندگان و سازمان هایی است که فناوری های هوش مصنوعی را به کار می گیرند، به ویژه زمانی که سیستم های هوش مصنوعی در زیرساخت های حیاتی و زندگی روزمره ادغام می شوند.

حوزه امنیت هوش مصنوعی به سرعت در حال تکامل است، با تهدیدهای نوظهور و مکانیسم های دفاعی نوآورانه که به طور مداوم چشم انداز مسمومیت داده ها و اقدامات متقابل آن را شکل می دهند. بر اساس گزارشی که ماه گذشته توسط شرکت اطلاعاتی مدیریت شده Nisos منتشر شد، بازیگران بد از انواع مختلفی از حملات مسمومیت داده استفاده می‌کنند، از برچسب‌گذاری نادرست و تزریق داده تا رویکردهای پیچیده‌تر مانند مسمومیت با دید تقسیم‌شده و دستکاری در پشتی.

گزارش Nisos پیچیدگی فزاینده‌ای را نشان می‌دهد، با عوامل تهدید که تکنیک‌های هدفمندتر و غیرقابل کشف را توسعه می‌دهند. این مقاله بر نیاز به یک رویکرد چند وجهی برای امنیت هوش مصنوعی شامل استراتژی‌های فنی، سازمانی و سطح سیاست تاکید می‌کند.

به گفته پاتریک لافلین، تحلیلگر ارشد اطلاعاتی Nisos، حتی مسمومیت در مقیاس کوچک که 0.001 درصد از داده های آموزشی را تحت تأثیر قرار می دهد، می تواند به طور قابل توجهی بر رفتار مدل های هوش مصنوعی تأثیر بگذارد. حملات مسمومیت داده ها می تواند پیامدهای گسترده ای در بخش های مختلف مانند مراقبت های بهداشتی، مالی و امنیت ملی داشته باشد.

لافلین به TechNewsWorld گفت: «این امر بر ضرورت ترکیبی از اقدامات فنی قوی، سیاست‌های سازمانی و هوشیاری مستمر برای کاهش مؤثر این تهدیدات تأکید می‌کند.

اقدامات امنیتی فعلی هوش مصنوعی ناکافی است

او پیشنهاد کرد که شیوه‌های فعلی امنیت سایبری بر نیاز به نرده‌های محافظ بهتر تأکید می‌کند. در حالی که شیوه‌های امنیت سایبری موجود پایه و اساس را فراهم می‌کند، این گزارش پیشنهاد می‌کند که استراتژی‌های جدیدی برای مبارزه با تهدیدات در حال توسعه مسمومیت داده‌ها مورد نیاز است.

لافلین گفت: «این نیاز به سیستم‌های تشخیص تهدید به کمک هوش مصنوعی، توسعه الگوریتم‌های یادگیری ذاتاً قوی و پیاده‌سازی تکنیک‌های پیشرفته مانند بلاک چین برای یکپارچگی داده‌ها را برجسته می‌کند».

این گزارش همچنین بر اهمیت حفظ حریم خصوصی ML و سیستم‌های دفاعی تطبیقی ​​که می‌توانند یاد بگیرند و به حملات جدید پاسخ دهند، تأکید می‌کند. او هشدار داد که این مسائل فراتر از مشاغل و زیرساخت ها است.

این حملات خطرات گسترده‌تری را در حوزه‌های مختلف ایجاد می‌کنند که می‌توانند زیرساخت‌های حیاتی مانند سیستم‌های مراقبت بهداشتی، وسایل نقلیه خودران، بازارهای مالی، امنیت ملی و برنامه‌های نظامی را تحت تأثیر قرار دهند.

وی افزود: «علاوه بر این، این گزارش نشان می‌دهد که این حملات می‌توانند اعتماد عمومی به فناوری‌های هوش مصنوعی را از بین ببرند و مسائل اجتماعی مانند انتشار اطلاعات نادرست و سوگیری‌ها را تشدید کنند.»

مسمومیت داده ها سیستم های بحرانی را تهدید می کند

لافلین هشدار می دهد که تصمیم گیری به خطر افتاده در سیستم های حیاتی یکی از جدی ترین خطرات مسمومیت داده ها است. به موقعیت‌هایی فکر کنید که شامل تشخیص مراقبت‌های بهداشتی یا وسایل نقلیه خودران هستند که می‌توانند مستقیماً جان انسان‌ها را تهدید کنند.

پتانسیل زیان های مالی قابل توجه و بی ثباتی بازار به دلیل سیستم های هوش مصنوعی در معرض خطر در بخش مالی نگران کننده است. علاوه بر این، این گزارش هشدار می‌دهد که خطر کاهش اعتماد در سیستم‌های هوش مصنوعی می‌تواند پذیرش فناوری‌های سودمند هوش مصنوعی را کاهش دهد.

وی خاطرنشان کرد: «پتانسیل خطرات امنیت ملی شامل آسیب‌پذیری زیرساخت‌های حیاتی و تسهیل کمپین‌های اطلاعات نادرست در مقیاس بزرگ است».

در این گزارش به چندین نمونه از مسمومیت داده ها اشاره شده است، از جمله حمله سال 2016 به فیلتر هرزنامه جیمیل گوگل که به دشمنان اجازه می داد فیلتر را دور بزنند و ایمیل های مخرب ارسال کنند.

نمونه قابل توجه دیگر، مصالحه در سال 2016 چت ربات مایکروسافت Tay است که پس از قرار گرفتن در معرض داده های آموزشی مخرب، پاسخ های توهین آمیز و نامناسب ایجاد کرد.

این گزارش همچنین به آسیب‌پذیری‌های نشان‌داده‌شده در سیستم‌های خودروی خودمختار، حملات به سیستم‌های تشخیص چهره، و آسیب‌پذیری‌های بالقوه در طبقه‌بندی‌کننده‌های تصویربرداری پزشکی و مدل‌های پیش‌بینی بازار مالی اشاره می‌کند.

استراتژی هایی برای کاهش حملات مسمومیت داده ها

گزارش Nisos چندین استراتژی را برای کاهش حملات مسمومیت داده توصیه می کند. یکی از بردارهای دفاعی کلیدی، اجرای تکنیک‌های اعتبارسنجی و پاک‌سازی داده‌های قوی است. دیگری استفاده از نظارت و ممیزی مستمر سیستم های هوش مصنوعی است.

لافلین گفت: «همچنین استفاده از آموزش نمونه مخالف برای بهبود استحکام مدل، تنوع بخشیدن به منابع داده، اجرای شیوه‌های مدیریت امن داده‌ها، و سرمایه‌گذاری در برنامه‌های آگاهی و آموزش کاربر را پیشنهاد می‌کند.»

او پیشنهاد کرد که توسعه‌دهندگان هوش مصنوعی منابع داده را کنترل و جدا کرده و روی دفاع‌های برنامه‌ای و سیستم‌های تشخیص تهدید به کمک هوش مصنوعی سرمایه‌گذاری کنند.

چالش های آینده

بر اساس این گزارش، روندهای آتی باید باعث نگرانی شدید شود. همانند سایر استراتژی‌های حمله سایبری، بازیگران بد، سریع یاد می‌گیرند و در نوآوری بسیار مفید هستند.

این گزارش پیشرفت‌های مورد انتظار، مانند تکنیک‌های پیچیده‌تر و سازگارتر مسمومیت را که می‌تواند از روش‌های تشخیص فعلی فرار کند، برجسته می‌کند. همچنین به آسیب‌پذیری‌های بالقوه در پارادایم‌های در حال ظهور، مانند یادگیری انتقالی و سیستم‌های یادگیری فدرال اشاره می‌کند.

لافلین مشاهده کرد: “اینها می توانند سطوح حمله جدیدی را معرفی کنند.”

این گزارش همچنین در مورد پیچیدگی روزافزون سیستم‌های هوش مصنوعی و چالش‌های ایجاد تعادل در امنیت هوش مصنوعی با سایر ملاحظات مهم مانند حفظ حریم خصوصی و انصاف ابراز نگرانی می‌کند.

او در پایان گفت که صنعت باید نیاز به استانداردسازی و چارچوب های نظارتی را برای رسیدگی به امنیت هوش مصنوعی به طور جامع در نظر بگیرد.