امنیت سایبری و مقالات علمی

پیاده‌سازی کنترل‌های هوش مصنوعی در استاندارد ISO/IEC 42001؛ چرا کنترل‌ها در عمل شکست می‌خورند؟

شرکت امنیت اطلاعات و شبکه XNET با بهره گیری ازمتخصصان حوزه امنیت اطلاعات و با استفاده از استانداردهای بین المللی مرتبط، معتبرترین و باسابقه ترین شرکت ایرانی در زمینه ارائه خدمات سایبری برای سازمان ها وادارات میباشد.

8 دقیقه مطالعه
  • پشتیبانی شبکه
  • هوش مصنوعی
  • هوش
  • مصنوعی
  • ارزیابی
  • مدیریت
  • کنترل‌های
  • کنترل
پیاده‌سازی کنترل‌های هوش مصنوعی در استاندارد ISO/IEC 42001؛ چرا کنترل‌ها در عمل شکست می‌خورند؟

خلاصه تخصصی مقاله

شرکت امنیت اطلاعات و شبکه XNET با بهره گیری ازمتخصصان حوزه امنیت اطلاعات و با استفاده از استانداردهای بین المللی مرتبط، معتبرترین و باسابقه ترین شرکت ایرانی در زمینه ارائه خدمات سایبری برای سازمان ها وادارات میباشد.

موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، هوش، مصنوعی، ارزیابی، مدیریت

آیا تدوین سیاست، ثبت ریسک‌ها و تکمیل مستندات به این معناست که سازمان واقعاً بر سامانه‌های هوش مصنوعی خود کنترل دارد؟

بیایید با هم مثالی واقعی را مرور کنیم؛ بانکی از هوش مصنوعی برای ارزیابی درخواست‌های تسهیلات استفاده می‌کند. در راستای بکارگیری هوش مصنوعی در حوزه تسهیلات با رعایت أصول زیر صورت پذیرفته است

  • سیاست استفاده مسئولانه از هوش مصنوعی تصویب شده.
  • مسئولیت‌ها تعیین شده‌اند.
  • مدل پیش از بهره‌برداری آزمون شده است.

بااین‌حال، تأمین‌کننده نسخه مدل را تغییر می‌دهد و الگوی تصمیم‌گیری آن دستخوش تغییر می‌شود؛ بدون آنکه بانک ارزیابی مجددی انجام دهد.

در این شرایط، مشکل لزوماً نبود سیاست یا مستندات نیست؛ بلکه فاصله میان طراحی کنترل، اجرای عملیاتی و سنجش اثربخشی آن است. این مسئله یکی از چالش‌های اصلی پیاده‌سازی کنترل‌های هوش مصنوعی در استاندارد ISO/IEC 42001:2023 به شمار می‌رود.

کنترل‌های پیوست الف استاندارد ISO/IEC 42001 چه کاربردی دارند؟

استاندارد ISO/IEC 42001:2023 چارچوبی برای ایجاد، اجرا، نگهداری و بهبود سیستم مدیریت هوش مصنوعی ارائه می‌کند. پیوست الف این استاندارد، کنترل‌های مرجع را در ۹ گروه، از A.2 تا A.10، سازمان‌دهی کرده است.

این کنترل‌ها حوزه‌هایی مانند سیاست‌گذاری، تعیین مسئولیت‌ها، مدیریت منابع، ارزیابی پیامدهای هوش مصنوعی، چرخه عمر سامانه، مدیریت داده، اطلاع‌رسانی، استفاده مسئولانه و روابط با تأمین‌کنندگان را پوشش می‌دهند.

بااین‌حال، اجرای کنترل‌های پیوست الف به معنای تهیه یکسان مجموعه‌ای از فرم‌ها و دستورالعمل‌ها برای تمام سازمان‌ها نیست. کنترل‌های مناسب باید براساس کاربرد سامانه، نقش سازمان، نتایج ارزیابی ریسک و پیامدها انتخاب شوند.

چالش اصلی، تبدیل کنترل‌های انتخاب‌شده به اقدامات قابل اجرا، قابل ردیابی و قابل ارزیابی است.

چهار دلیل اصلی شکست کنترل‌های هوش مصنوعی در سازمان‌ها و عدم اجرای کامل آن‌ها

۱. سیاست‌گذاری بدون تعیین اختیار و مسئولیت اجرایی

گروه‌های کنترل A.2 و A.3 بر سیاست‌های مرتبط با هوش مصنوعی و سازمان‌دهی نقش‌ها و مسئولیت‌ها تمرکز دارند.

برای مثال، ممکن است سازمان سیاستی برای جلوگیری از تصمیمات تبعیض‌آمیز تصویب کرده باشد؛ اما مشخص نباشد چه کسی مسئول بررسی موارد مشکوک است، چه واحدی اختیار توقف سامانه را دارد و تصمیم اصلاحی چگونه ثبت می‌شود.

در چنین شرایطی، سیاست وجود دارد، اما سازوکار اجرای آن کامل نیست.

راهکارتعیین مالک کنترل، حدود اختیار تصمیم‌گیری، مسیر گزارش‌دهی و مسئول رسیدگی به موارد نقض سیاست.

۲. شناسایی منابع بدون مدیریت وابستگی‌ها و پیامدها

در سامانه‌های هوش مصنوعی، منابع تنها به زیرساخت و داده محدود نمی‌شوند. مدل‌های بیرونی، خدمات ابری، ابزارهای متصل و بازبین‌های انسانی نیز می‌توانند بر عملکرد سامانه تأثیر بگذارند.

گروه‌های A.4 و A.5 به مدیریت منابع و ارزیابی پیامدهای سامانه‌های هوش مصنوعی می‌پردازند.

برای مثال، تغییر یک مدل بیرونی ممکن است بر دقت تصمیمات، رفتار سامانه در برابر گروه‌های مختلف مشتریان یا کیفیت خدمات تأثیر بگذارد.

راهکارشناسایی وابستگی‌های مؤثر، تعیین مسئولیت مدیریت منابع و بازنگری ارزیابی پیامد پس از تغییرات مهم.

۳. اتکا به آزمون اولیه و نادیده گرفتن تغییرات عملیاتی

گروه‌های A.6 و A.7 به چرخه عمر سامانه و مدیریت داده‌های هوش مصنوعی مرتبط‌اند.

یکی از خطاهای رایج، اتکا به نتایج آزمون پیش از استقرار است؛ درحالی‌که کیفیت داده‌های ورودی، الگوی استفاده و رفتار مدل ممکن است در طول زمان تغییر کند.

برای مثال، مدلی که در مرحله آزمایش عملکرد قابل قبولی داشته است، ممکن است پس از تغییر ویژگی‌های داده‌های واقعی با افزایش خطا مواجه شود.

راهکارتعیین معیارهای پذیرش، کنترل تغییرات نسخه مدل و داده، پایش عملکرد و تعریف شرایط ارزیابی مجدد.

۴. استفاده از خدمات بیرونی بدون کنترل کافی بر تأمین‌کننده

بسیاری از سازمان‌ها از مدل‌ها یا خدمات هوش مصنوعی تأمین‌کنندگان بیرونی استفاده می‌کنند. در این شرایط، بخشی از تغییرات فنی و عملیاتی خارج از کنترل مستقیم سازمان قرار می‌گیرد.

گروه A.10 به مدیریت روابط و تقسیم مسئولیت‌ها با طرف‌های ثالث می‌پردازد.

قراردادی که صرفاً هزینه و سطح دسترس‌پذیری خدمت را مشخص کند، ممکن است برای مدیریت مخاطرات هوش مصنوعی کافی نباشد.

راهکارتعیین تعهدات اطلاع‌رسانی تغییرات، محدودیت استفاده از داده‌ها، شواهد ارزیابی موردنیاز و شرایط تداوم یا جایگزینی خدمت.

چگونه اثربخشی کنترل‌های هوش مصنوعی را ارزیابی کنیم؟

برای ارزیابی کنترل‌های انتخاب‌شده، سه سطح باید از یکدیگر تفکیک شوند

سطح ارزیابیپرسش کلیدیمثال سازمانی
طراحی کنترلآیا هدف، معیارهای اجرایی، مسئولیت‌ها و حدود اختیارات مرتبط با کنترل به وضوح تعریف شده‌اند؟تعیین شرایط ارجاع خروجی‌های پرمخاطره مدل به ناظر انسانی و مشخص‌کردن اختیار تأیید، اصلاح یا رد آن‌ها
اجرای کنترلآیا کنترل مطابق سازوکار تعیین‌شده اجرا می‌شود و شواهد قابل ردیابی از اجرای آن وجود دارد؟ثبت سوابق بازبینی انسانی، دلایل مداخله و نتایج تصمیمات اصلاح یا ردشده
اثربخشی کنترلآیا اجرای کنترل در دستیابی به هدف تعیین‌شده و کاهش مخاطرات مرتبط مؤثر بوده است؟ارزیابی میزان شناسایی و پیشگیری از تصمیمات نادرست دارای پیامد جدی از طریق نظارت انسانی

برای مثال، تعداد بازبینی‌های انسانی به‌تنهایی نشان‌دهنده اثربخشی نظارت انسانی نیست. سازمان باید بررسی کند این بازبینی‌ها تا چه اندازه در شناسایی خطاها و پیشگیری از تصمیمات نامناسب مؤثر بوده‌اند.

همچنین معیارهای پذیرش باید متناسب با نوع کاربرد، اهمیت تصمیمات و سطح مخاطرات هر سامانه تعیین شوند.

ارتباط کنترل‌های هوش مصنوعی با مدیریت ریسک و انطباق سازمانی

یکی از نکات مهم در استقرار استاندارد ISO/IEC 42001، جلوگیری از ایجاد فرایندهای موازی و جزیره‌ای است. سازمانی که پیش‌تر سیستم مدیریت امنیت اطلاعات یا فرایندهای مدیریت ریسک و ممیزی داخلی را پیاده‌سازی کرده است، می‌تواند از بخشی از ظرفیت‌های موجود برای استقرار سیستم مدیریت هوش مصنوعی استفاده کند. البته استفاده از فرایندهای مشترک نباید موجب نادیده گرفتن معیارهای تخصصی هوش مصنوعی، مانند ارزیابی پیامد، کیفیت داده و نظارت انسانی شود.

برای آشنایی بیشتر با رویکرد یکپارچه‌سازی حاکمیت، ریسک و انطباق، مطالعه مقاله «ایزوافزار، راهکار یکپارچه GRC در حاکمیت فناوری اطلاعات» پیشنهاد می‌شود.

پیاده‌سازی موفق کنترل‌های هوش مصنوعی صرفاً به تعداد سیاست‌ها، فرم‌ها یا گزارش‌های تولیدشده وابسته نیست. سازمان باید بتواند نشان دهد هر کنترل با چه هدفی انتخاب شده، چه کسی مسئول اجرای آن است، چگونه در چرخه عمر سامانه اعمال می‌شود و چه شواهدی اثربخشی آن را تأیید می‌کنند.
تفاوت اصلی میان انطباق مستنداتی و مدیریت مؤثر هوش مصنوعی، در قابلیت اثبات عملکرد کنترل‌ها در شرایط واقعی است.

در فصل پنجم کتابراهنمای جامع و ابزارهای کاربردی استقرار ISO/IEC 42001:2023کنترل‌های ۹گانه پیوست الف، راهنمای پیاده‌سازی پیوست ب، مثال‌های سازمانی و روش‌های ارزیابی شواهد و اثربخشی کنترل‌ها بررسی شده‌اند. این فصل برای مدیران، مشاوران سیستم‌های مدیریتی، متخصصان امنیت اطلاعات و مسئولان استقرار هوش مصنوعی طراحی شده است تا بتوانند کنترل‌های استاندارد را به اقدامات اجرایی و قابل ممیزی تبدیل کنند.

برای آشنایی با کتاب و اطلاعات انتشار آن، به وب‌سایتXNETمراجعه کنید.
منابع
• ISO/IEC 42001:2023 — پیوست‌های الف و ب و بند ۹.۱
• ISO/IEC 23894:2023 — راهنمای مدیریت ریسک هوش مصنوعی
• ISO/IEC 5338:2023 — فرایندهای چرخه عمر سامانه هوش مصنوعی

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.