امنیت سایبری و مقالات علمی

هوش مصنوعی تصمیم می‌گیرد؛ مسئولیت با چه کسی است؟

بررسی چالش‌های حاکمیت هوش مصنوعی و نظارت اثربخش بر تصمیم‌های سازمانی بر اساس استاندارد ISO/IEC 42001:2023؛ راهنمای جامع تفکیک مسئولیت، مدیریت ریسک و کنترل‌های اجرایی.

13 دقیقه مطالعه
  • پشتیبانی شبکه
  • هوش مصنوعی
  • مصنوعی
  • هوش
  • ریسک
  • سازمان
  • سامانه
  • می‌کند
هوش مصنوعی تصمیم می‌گیرد؛ مسئولیت با چه کسی است؟

خلاصه تخصصی مقاله

بررسی چالش‌های حاکمیت هوش مصنوعی و نظارت اثربخش بر تصمیم‌های سازمانی بر اساس استاندارد ISO/IEC 42001:2023؛ راهنمای جامع تفکیک مسئولیت، مدیریت ریسک و کنترل‌های اجرایی.

موضوعات اصلی: پشتیبانی شبکه، هوش مصنوعی، مصنوعی، هوش، ریسک، سازمان

فهرست مطالب

وقتی خروجی الگوریتم به تصمیم سازمانی تبدیل می‌شود
۱. حاکمیت هوش مصنوعی؛ فراتر از سیاست‌گذاری و تشکیل کمیته
۲. چرا سیاست استفاده از هوش مصنوعی برای کنترل ریسک کافی نیست؟
۳. استاندارد (ISO/IEC 42001) چه مسئله‌ای را حل می‌کند؟
۴. مدیریت ریسک و نظارت انسانی؛ از ارزیابی تا اختیار مداخله
۵. سناریوی عملی؛ چه زمانی باید یک سامانه هوش مصنوعی متوقف شود؟
۶. از الزامات استاندارد تا شواهد قابل اتکا
حاکمیت زمانی معنا دارد که بتوان تصمیم را توضیح داد و اصلاح کرد

از حاکمیت هوش مصنوعی تا نظارت اثربخش بر تصمیم‌های سازمانی بر اساس استاندارد (ISO/IEC 42001:2023)

وقتی خروجی الگوریتم به تصمیم سازمانی تبدیل می‌شود

تصور کنید یک بانک از هوش مصنوعی برای شناسایی تراکنش‌های مشکوک، یک شرکت از آن برای غربال رزومه‌ها و یک سازمان خدماتی برای اولویت‌بندی درخواست‌های مشتریان استفاده می‌کند. در هر سه نمونه، هوش مصنوعی می‌تواند سرعت و ظرفیت تصمیم‌گیری را افزایش دهد؛ اما مسئله زمانی آغاز می‌شود که خروجی مدل، بدون کنترل کافی، مبنای تصمیمی قرار گیرد که بر حقوق افراد، کیفیت خدمات یا منافع سازمان تأثیر می‌گذارد.

اگر مدل پس از به‌روزرسانی رفتار متفاوتی نشان دهد، داده‌های مورد استفاده نمونه‌ای از شرایط واقعی نباشند یا نرخ خطا به‌تدریج افزایش یابد؛

  • چه کسی مسئول تشخیص و رسیدگی است؟
  • آیا مالک سامانه اختیار توقف آن را دارد؟
  • چه کسی پیامد تصمیم اشتباه را بررسی می‌کند؟
  • چگونه می‌توان اثبات کرد که سازمان پیش از وقوع خطا، کنترل‌های متناسبی برقرار کرده است؟

این پرسش‌ها نشان می‌دهند که چالش اصلی حاکمیت هوش مصنوعی، صرفاً کنترل فناوری نیست؛ بلکه ایجاد ارتباط شفاف میان اختیار تصمیم‌گیری، مسئولیت‌پذیری و شواهد نظارتی است.

استاندارد (ISO/IEC 42001:2023) با ارائه الزامات سیستم مدیریت هوش مصنوعی، چارچوبی برای سامان‌دهی این مسئولیت‌ها فراهم می‌کند. بااین‌حال، ارزش واقعی آن زمانی آشکار می‌شود که الزامات استاندارد به تصمیم‌ها و کنترل‌های قابل اجرا در فرایندهای سازمان تبدیل شوند.

۱. حاکمیت هوش مصنوعی؛ فراتر از سیاست‌گذاری و تشکیل کمیته

حاکمیت هوش مصنوعی مجموعه‌ای از اصول، ساختارهای تصمیم‌گیری، مسئولیت‌ها و سازوکارهای نظارتی است که تعیین می‌کند سازمان تحت چه شرایطی مجاز به توسعه، خرید، استقرار و استفاده از سامانه‌های هوش مصنوعی است. تفاوت مهم حاکمیت با مدیریت عملیاتی در این است که حاکمیت صرفاً نمی‌پرسد «سامانه چگونه کار می‌کند؟»؛ بلکه مشخص می‌کند «چه کسی مجاز است درباره کاربرد، پذیرش ریسک، تغییر یا توقف سامانه تصمیم بگیرد و بر چه اساسی باید پاسخ‌گو باشد؟» برای مثال، در سامانه‌ای که درخواست‌های مشتریان را اولویت‌بندی می‌کند، تیم فنی ممکن است مسئول عملکرد مدل باشد؛ اما تعیین معیارهای اولویت‌بندی، پذیرش پیامدهای تجاری و رسیدگی به اعتراض مشتریان الزاماً در اختیار این تیم نیست.

بنابراین، سازمان باید میان مسئولیت‌های مالک کسب‌وکار، مالک فنی، مسئول مدیریت ریسک، امنیت اطلاعات، واحد حقوقی و سایر ذی‌نفعان تفکیک ایجاد کند. این تفکیک نباید صرفاً در شرح وظایف باقی بماند؛ بلکه لازم است در مجوز استقرار، پذیرش ریسک، تأیید تغییرات و تصمیم‌های مربوط به توقف یا محدودسازی سامانه قابل مشاهده باشد.

حاکمیت همچنین به زمان خرید یا راه‌اندازی محدود نیست. تصمیم‌های حاکمیتی باید در تمام چرخه عمر سامانه، از انتخاب داده و تأمین‌کننده تا آزمون، بهره‌برداری، تغییر و بازنشستگی، قابلیت بازنگری داشته باشند.

۲. چرا سیاست استفاده از هوش مصنوعی برای کنترل ریسک کافی نیست؟

بسیاری از سازمان‌ها نخستین اقدام خود را با تدوین سیاست استفاده از هوش مصنوعی آغاز می‌کنند؛ برای مثال، ورود اطلاعات محرمانه به ابزارهای عمومی را ممنوع می‌کنند یا بررسی انسانی خروجی‌ها را الزامی می‌دانند. این اقدامات ضروری‌اند، اما به‌تنهایی نشان نمی‌دهند که ریسک‌های واقعی تحت کنترل قرار گرفته‌اند.

ممکن است سازمان سیاست حفاظت از اطلاعات داشته باشد، اما نداند کدام واحدها از ابزارهای هوش مصنوعی استفاده می‌کنند. ممکن است مسئولیت بررسی خروجی به کاربر واگذار شده باشد، اما کاربر معیار مشخصی برای تشخیص خروجی نامعتبر نداشته باشد. همچنین ممکن است یک سامانه هنگام خرید ارزیابی شده باشد، اما پس از تغییر مدل، داده یا تأمین‌کننده، ارزیابی آن تکرار نشود. در چنین شرایطی، مسئله اصلی فقدان مستندات نیست؛ فاصله میان سیاست مصوب و رفتار واقعی سامانه در محیط عملیاتی است. برای کاهش این فاصله، هر الزام مدیریتی باید حداقل به چهار پرسش پاسخ دهد

  • مسئول: چه کسی اجرای کنترل و تصمیم‌گیری درباره نتایج آن را بر عهده دارد؟
  • محرک اجرا: کنترل در چه شرایطی باید اعمال یا بازنگری شود؟
  • معیار پذیرش: چه نتیجه‌ای قابل قبول است و چه وضعیتی نیازمند اقدام اصلاحی خواهد بود؟
  • شواهد: سازمان چگونه اجرای کنترل و اثربخشی آن را اثبات می‌کند؟

برای نمونه، الزام «بررسی انسانی خروجی‌های حساس» زمانی قابلیت اجرا پیدا می‌کند که نوع تصمیم‌های حساس، معیار ارجاع، نقش بررسی‌کننده، حدود اختیار و نحوه ثبت نتیجه مشخص شده باشد.

۳. استاندارد (ISO/IEC 42001) چه مسئله‌ای را حل می‌کند؟

استاندارد (ISO/IEC 42001:2023) الزامات ایجاد، اجرا، نگهداری و بهبود مستمر سیستم مدیریت هوش مصنوعی را تعیین می‌کند. ساختار آن موضوعاتی مانند شناخت زمینه سازمان، رهبری، برنامه‌ریزی، پشتیبانی، عملیات، ارزیابی عملکرد و بهبود را در بر می‌گیرد.

این استاندارد برخلاف تصور رایج، مجموعه‌ای ثابت از تنظیمات فنی برای تمام مدل‌های هوش مصنوعی نیست. سازمان باید با توجه به دامنه کاربرد، نوع فناوری، اهمیت تصمیم‌ها، ذی‌نفعان و سطح ریسک، کنترل‌های مناسب را انتخاب و اجرا کند.

از منظر اجرایی، سه موضوع اهمیت ویژه‌ای دارند

  • نخست، ارزیابی ریسک و اثرات هوش مصنوعی. سازمان باید علاوه بر تهدیدهای امنیتی، پیامدهای احتمالی استفاده از سامانه بر افراد، گروه‌ها و فرایندهای کسب‌وکار را نیز بررسی کند.
  • دوم، مدیریت چرخه عمر سامانه. ارزیابی نباید به مرحله استقرار محدود شود؛ تغییر داده، مدل، هدف استفاده یا وابستگی‌های بیرونی ممکن است اعتبار ارزیابی‌های قبلی را تغییر دهد.
  • سوم، ارزیابی اثربخشی کنترل‌ها. وجود سیاست، فرم یا گزارش به‌تنهایی کافی نیست؛ سازمان باید بتواند نشان دهد کنترل‌ها در شرایط واقعی، عملکرد مورد انتظار را دارند.

نکته مهم آن است که انطباق با استاندارد، تضمین بی‌خطا بودن مدل یا حذف کامل ریسک نیست. گواهی سیستم مدیریتی نیز به دامنه ارزیابی‌شده مربوط است و نباید با تأیید امنیت یا صحت تمام خروجی‌های محصولات هوش مصنوعی یکسان تلقی شود.

برای مطالعه ساختار الزامات، ارزیابی ریسک و اثرات و کنترل‌های پیوست الف، می‌توان به بخش‌های مرتبط کتاب «راهنمای جامع و ابزارهای کاربردی استقرار (ISO/IEC 42001:2023)؛ از شناخت الزامات تا طراحی مسیر استقرار» مراجعه کرد.

۴. مدیریت ریسک و نظارت انسانی؛ از ارزیابی تا اختیار مداخله

مدیریت ریسک یکی از اجزای اصلی حاکمیت هوش مصنوعی است، اما جایگزین آن نیست. مدیریت ریسک به شناسایی، تحلیل، ارزیابی، رسیدگی وپایشریسک‌ها می‌پردازد؛ درحالی‌که حاکمیت مشخص می‌کند چه کسانی مجاز به پذیرش ریسک هستند و تصمیم‌های آن‌ها چگونه نظارت و بازنگری می‌شود.

ریسک‌های هوش مصنوعی نیز بهآسیب‌پذیری‌های فنی محدود نیستند. افشای اطلاعات، سوگیری، افت عملکرد مدل، اتکای بیش از حد کاربران به خروجی، وابستگی به تأمین‌کننده و پیامدهای حقوقی یا اعتباری می‌توانند به یک اندازه برای سازمان اهمیت داشته باشند. یکی از مهم‌ترین پیامدهای این رویکرد، بازتعریف مفهوم نظارت انسانی است.

نظارت انسانی به معنای حضور فردی برای تأیید ظاهری خروجی مدل نیست. نظارت زمانی اثربخش است که فرد مسئول، اطلاعات کافی برای قضاوت، معیار مشخص برای تشخیص وضعیت غیرعادی و اختیار واقعی برای اصلاح، رد، ارجاع یا توقف تصمیم داشته باشد. برای مثال، در سامانه پیشنهاد اعتبار، اگر کارشناس انسانی تنها بتواند پیشنهاد مدل را مشاهده کند، اما دلایل تصمیم، محدودیت‌های مدل یا مسیر بررسی و درخواست بازنگری پاسخ مدل مشخص نباشد، وجود مرحله تأیید انسانی لزوماً به معنای کنترل مؤثر نیست. در مقابل، برای کاربردهای کم‌خطر نیز بررسی دستی تمام خروجی‌ها ممکن است هزینه و تأخیر غیرضروری ایجاد کند. بنابراین، سطح نظارت باید بر اساس شدت پیامد، قابلیت بازگشت تصمیم، میزان خودکارسازی و امکان تشخیص خطا تعیین شود.

۵. سناریوی عملی؛ چه زمانی باید یک سامانه هوش مصنوعی متوقف شود؟

سازمانی از هوش مصنوعی برای طبقه‌بندی درخواست‌های مشتریان و پیشنهاد پاسخ استفاده می‌کند. سامانه در زمان استقرار، نتایج قابل قبولی داشته است؛ اما پس از تغییر محصولات و خدمات سازمان، موضوعات جدیدی وارد درخواست‌ها می‌شوند که در داده‌های ارزیابی اولیه پوشش کافی نداشته‌اند.

در ظاهر، سامانه همچنان فعال است و زمان پاسخ‌گویی کاهش یافته است. بااین‌حال، تعداد پاسخ‌های اصلاح‌شده توسط کارشناسان افزایش پیدا می‌کند و برخی درخواست‌های حساس در اولویت نادرست قرار می‌گیرند. اگر تنها شاخص سازمان سرعت پاسخ‌گویی باشد، این افت کیفیت ممکن است تا زمان افزایش شکایت‌ها یا وقوع یک رخداد مهم شناسایی نشود.

در یک نظام حاکمیتی اثربخش، باید پیش از استقرار مشخص شده باشد که

  • چه کسی مسئول کیفیت خروجی مدل است؟
  • نتیجه مدل با چه شاخص‌هایی پایش می‌شود؟
  • آستانه نیاز به بررسی چطور مشخص می‌شود؟
  • چه نقشی اختیار محدودسازی سامانه را دارد؟

برای این سناریو، سازمان می‌تواند نرخ اصلاح پاسخ، درصد ارجاع به کارشناس، خطاهای دارای پیامد مهم و شکایت‌های مرتبط با تصمیم سامانه را پایش کند. عبور از آستانه‌های مصوب نیز باید به اقدام مشخصی مانند افزایش نظارت انسانی، محدودسازی قابلیت خودکار، بازگشت به نسخه قبلی یا توقف موقت منجر شود. تفاوت حاکمیت واقعی با حاکمیت صرفاً مستند در همین نقطه آشکار می‌شود: «آیا نتایج پایش می‌توانند یک تصمیم عملیاتی را تغییر دهند؟»

۶. از الزامات استاندارد تا شواهد قابل اتکا

یکی از چالش‌های مهم در استقرار سیستم‌های مدیریتی، تبدیل الزامات به شواهدی است که بتوان بر اساس آن‌ها درباره اثربخشی تصمیم گرفت. وجود فهرست سامانه‌های هوش مصنوعی، سیاست مصوب یا گزارش ارزیابی ریسک ضروری است؛ اما به‌تنهایی اثبات نمی‌کند که سازمان بر رفتار واقعی سامانه‌ها کنترل دارد.

برای ارزیابی اثربخشی حاکمیت، شواهد باید ارتباط میان ریسک شناسایی‌شده، کنترل انتخاب‌شده، مسئول اجرا، نتیجه پایش و اقدام اصلاحی را نشان دهند. برای نمونه، اگر یکی از ریسک‌های سامانه افشای اطلاعات حساس باشد، سازمان باید بتواند نشان دهد چه محدودیت‌هایی بر دسترسی به داده اعمال شده، کنترل‌ها چگونه آزمون شده‌اند، چه رخدادهایی ثبت شده و در صورت مشاهده ضعف، چه اقدامی انجام گرفته است.

همچنین در مدیریت تغییر مدل، ثبت نسخه جدید به‌تنهایی کافی نیست؛ لازم است اثر تغییر بر عملکرد، امنیت و ریسک‌های پیشین بررسی و تصمیم استقرار مستند شود. شاخص‌هایی مانند نرخ خطاهای بحرانی، تعداد موارد افشای اطلاعات، درصد تغییرات دارای ارزیابی ریسک و زمان رسیدگی به رخدادهای مرتبط با هوش مصنوعی می‌توانند به سنجش اثربخشی کمک کنند. بااین‌حال، انتخاب شاخص باید متناسب با هدف و ریسک کاربرد باشد؛ افزایش تعداد شاخص‌ها بدون ارتباط با تصمیم‌های مدیریتی، الزاماً نظارت را بهبود نمی‌دهد.

حاکمیت زمانی معنا دارد که بتوان تصمیم را توضیح داد و اصلاح کرد

با گسترش استفاده از هوش مصنوعی در فرایندهای سازمانی، مسئله اصلی دیگر صرفاً دقت یا سرعت مدل‌ها نیست. سازمان باید بتواند توضیح دهد

  • چرا از یک سامانه استفاده می‌کند؟
  • چه ریسک‌هایی را پذیرفته است؟
  • چه کسی مسئول پیامدهای آن است؟
  • مسئول مربوطه در صورت مشاهده خطا چگونه مداخله می‌کند؟

استاندارد (ISO/IEC 42001:2023) چارچوبی مدیریتی برای سامان‌دهی این مسئولیت‌ها ارائه می‌دهد و در کنار استانداردامنیت اطلاعات(ISO/IEC 27001) و چارچوب مدیریت ریسک هوش مصنوعی (NIST AI RMF)، می‌تواند به ایجاد نظامی هماهنگ برای کنترل و نظارت کمک کند. بااین‌حال، موفقیت حاکمیت هوش مصنوعی را نباید صرفاً با تعداد سیاست‌ها، جلسات یا مستندات سنجید. معیار اصلی آن است که سازمان بتواند میان ریسک، مسئولیت، کنترل، شواهد و تصمیم اصلاحی ارتباطی شفاف و قابل پیگیری برقرار کند.

در همین راستاشرکت XNETبا ارائه خدمات مشاوره تخصصی در حوزه سیستم‌های مدیریتی و سامانه یکپارچه مدیریت استانداردها «ایزوافزار»، رویکردی برای هماهنگ‌سازی الزامات، کنترل‌ها و فعالیت‌های مدیریتی ارائه می‌کند. این رویکرد می‌تواند به سازمان‌ها کمک کند استقرار حاکمیت هوش مصنوعی را در ارتباط با نظام‌های موجود مدیریت ریسک و امنیت اطلاعات دنبال کنند و از ایجاد ساختارهای موازی و جزیره‌ای فاصله بگیرند.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمایپشتیبانی شبکهرا نیز مطالعه کنید.