ارزیابی ریسک ناشی از پاسخ‌های نادرست هوش مصنوعی در سیستم‌های خودکار

این روزها AI (از ML تا LLM) از «ابزار کمکی» رد شده و نشسته وسط تصمیم‌گیری‌های حساس: از SOC و SIEM/SOAR بگیر تا Fraud Detection، ICS/SCADA و حتی چت‌بات‌های بانکی. مشکل اینجاست کهپاسخ غلطِ مدلدیگه مثل یک ارور ساده‌ی نرم‌افزاری نیست؛ وقتی خروجی مدل مستقیم به اتوماسیون وصل باشد، خیلی راحت می‌تواند تبدیل شود به یکرخداد امنیتی واقعییا بدتر، یک بحران عملیاتی.

صورت‌مسئله: پاسخ غلط AI به‌عنوان ریسک امنیتی

1.1) چرا مهم است؟

در معماری‌های جدید، خروجی مدل ممکن است همین کارها را انجام دهد

یوزر را لاک کند یا دسترسی را ببندد

یک سرور/کلاینت را قرنطینه (Isolate) کند

تراکنش را تأیید/رد کند

پارامتر عملیاتی حساس را در OT تغییر دهد

وقتی این تصمیم‌هاAuto-Executeمی‌شوند، «اشتباه مدل» تبدیل می‌شود بهتصمیم امنیتی با اثر واقعی روی سرویس.

1.2) اتوماسیون بیشتر = ریسک بیشتر

هرچه Automation Level بالاتر و Human-in-the-Loop ضعیف‌تر باشد، دامنه‌ی خسارت بزرگ‌تر است. توی بعضی سازمان‌ها تأیید انسانی صرفاً تشریفاتی است؛ خروجی مدل می‌رود برای اجرا و تمام.

چند پیامد رایج

DoS داخلی به‌خاطر False Positive

باز ماندن مسیر نفوذ به‌خاطر False Negative

اجرای Playbook اشتباه در SOC

تغییر غلط Thresholdهای ایمنی در محیط صنعتی

1.3) انواع خطای خروجی

1)False Positive (مثبت کاذب)
تهدید دیدنِ رفتار سالم؛ نتیجه: قطع سرویس، بلاک کردن یوزر، توقف فرآیند.

2)False Negative (منفی کاذب)
ندیدن تهدید واقعی؛ نتیجه: نفوذ، باج‌افزار، Fraud مالی.

3)Hallucination (توهم مدل)
تولید جواب ظاهراً معتبر اما جعلی؛ مخصوصاً در LLMها می‌تواند پیشنهاد کانفیگ ناامن، دستور عملیاتی غلط یا تحلیل اشتباه بسازد.

2) ارتباط با CVEها و حملات واقعی در فضای AI Security

2.1) باگ‌ها و آسیب‌پذیری‌های رایج در سیستم‌های AI

در ۲۰۲۴ و ۲۰۲۵ گزارش‌ها نشان می‌دهد علاوه بر خود مدلکل استک AI(از سروینگ تا APIها) کلی سطح حمله جدید ساخته است.

2.1.1) Prompt Injection و Jailbreak
در محصولات سازمانی مبتنی بر LLM، Prompt Injection به یک بردار حمله جدی تبدیل شده. مهاجم با یک ورودی دستکاری‌شده می‌تواند

Policyهای ایمنی را دور بزند

مدل را مجبور به تولید خروجی ناامن کند

یا حتی خروجی را به شکل «دستور اجرایی» قالب‌بندی کند

اگر LLM به APIهای عملیاتی (IAM، مدیریت زیرساخت، تغییر رول‌ها، فایروال) وصل باشد، این سناریو می‌تواند مستقیم به تغییر تنظیمات امنیتی منجر شود.

2.1.2) Data Poisoning و حملات Supply Chain مدل

Data Poisoningتزریق دیتای آلوده به دیتاست آموزش/بازآموزی برای تغییر رفتار مدل. برای IDS/EDRهای مبتنی بر ML خیلی خطرناک است.

Model Supply Chainدستکاری وزن‌ها/آرتیفکت مدل در مسیر تحویل یا استقرار؛ نتیجه می‌تواند Backdoor باشد که فقط در شرایط خاص فعال می‌شود.

2.1.3) Adversarial Examples
ورودی‌هایی با تغییرات ظریف که مدل را فریب می‌دهند

تغییر کوچک در الگوی ترافیک برای عبور از IDS مبتنی بر ML

دستکاری دیتای سنسور در OT برای پنهان کردن وضعیت خطرناک

تغییرات نامحسوس تصویر برای فریب بینایی ماشین

این‌ها در MITRE ATLAS هم به‌عنوان بردارهای رسمی مطرح شده‌اند.

2.1.4) باگ‌های کلاسیک در زیرساخت AI
خیلی وقت‌ها مشکل از «خود مدل» نیست؛ از زیرساخت اطرافش است. در سال‌های اخیر برای مواردی مثل

TensorFlow، PyTorch، ONNX Runtime

Model Serving مثل MLflow و Kubeflow

API Gatewayها و پنل‌های مدیریتی

انواع باگ امنیتی مثل RCE، SSRF، Auth Bypass و دسترسی غیرمجاز به فایل گزارش شده. اگر این‌ها اکسپلویت شوند، مهاجم می‌تواند خروجی/کانفیگ تصمیم‌گیری را دستکاری کند یا کلاً روی محیط سروینگ سوار شود.

3) پاسخ غلط AI چطور تبدیل به حمله واقعی می‌شود؟

3.1) در SOC و سیستم‌های امنیتی خودکار

3.1.1) یک سناریوی قابل لمس

فرض کنید SIEM با ML رخدادها را امتیازدهی می‌کند و در صورت تشخیص Threat، پلی‌بوک ایزوله‌سازی را اتومات اجرا می‌کند. کنار آن هم یک دستیار LLM دارید که به APIهای عملیاتی وصل است.

3.1.2) بردارهای حمله

Log Manipulationتولید/تزریق لاگ‌های شبه‌عادی برای پنهان کردن حمله یا گمراه کردن مدل.

Prompt Injection داخل تیکت یا ایمیلطوری متن را می‌نویسند که LLM دستور اشتباه بسازد یا مسیر تحلیل را منحرف کند.

اکسپلویت باگ امنیتی در زیرساخت ML/Servingتغییر config یا آرتیفکت‌ها برای کاهش حساسیت تشخیص یا تولید خروجی دستکاری‌شده.

نتیجه؟ یا نفوذ را نمی‌بینید (FN) یا خودتان سرویس را می‌خوابانید (FP).

3.2) در OT / SCADA

در OT، AI برای Predictive Maintenance یا کنترل پارامترها استفاده می‌شود. پاسخ غلط می‌تواند

Threshold ایمنی را اشتباه ست کند

خرابی قریب‌الوقوع را نادیده بگیرد

فرمان کنترل خطرناک صادر کند

اینجا خسارت فقط مالی نیست؛ می‌تواند فیزیکی و ایمنی‌محور باشد.

3.3) در مالی و Fraud Detection

مدل‌های ضدتقلب با ML کار می‌کنند و مهاجم می‌تواند با تراکنش‌های کوچک و آزمون‌وخطا

مدل را به الگوی تقلب خودش عادت دهد

بعد یک تراکنش بزرگ را رد کند و بدون هشدار عبور دهد

در چت‌بات‌های بانکی هم Prompt Injection می‌تواند کاربر را به مسیر فیشینگ هل بدهد یا باعث افشای اطلاعات حساس شود.

4) روندها و رخدادهای 2026–2025

4.1) افزایش استفاده مجرمانه از AI

ترندهای عمومی 2025

فیشینگ با کیفیت بالا به کمک LLM

Deepfake صوتی برای دور زدن احراز هویت تلفنی

خودکارسازی تولید بدافزار/اسکریپت‌های مخرب با ابزارهای AI

4.2) خطای AI در تصمیم‌گیری حساس

در حوزه‌های پزشکی و امنیت سایبری گزارش‌هایی بوده که مدل‌ها

تفسیر اشتباه داده‌های حساس انجام داده‌اند

خانواده‌های جدید بدافزار را با نرخ FN بالا از دست داده‌اند

مشکل اصلی معمولاً «اعتماد کور» به خروجی مدل و نبود کنترل جبرانی بوده.

4.3) نشت داده و حریم خصوصی

در ابزارهای LLM، ضعف در Data Isolation می‌تواند باعث افشای داده کاربران شود. در سازمان، این یعنی احتمال لو رفتن

لاگ‌های امنیتی

Credentialها

اطلاعات عملیاتی و تیکت‌ها

5) چارچوب عملی برای ارزیابی ریسک «پاسخ‌های غلط AI» در اتوماسیون

5.1) نقاط AI-Critical را دقیق مشخص کنید

اول شفاف کنید

کجا AI فقط پیشنهاد می‌دهد؟

کجا AI تصمیم رااجرامی‌کند؟

هرجا خروجی مستقیم روی امنیت/پول/زیرساخت اثر می‌گذارد، AI-Critical است.

5.2) سناریو-پیامد را ماتریسی کنید

برای هر نقطه تصمیم

پیامد False Negative چیست؟

پیامد False Positive چیست؟

Hallucination چه چیزی را منحرف می‌کند؟

بعد Impact را دسته‌بندی کنید: مالی، عملیاتی، ایمنی، حقوقی، شهرت.

5.3) احتمال خطا و عوامل تشدیدکننده را بسنجید

چک کنید

دقت مدل روی داده واقعی Production (نه دیتای آزمایشگاهی)

احتمال Drift و تغییر الگوها

میزان دسترسی مهاجم به ورودی‌ها (لاگ، تیکت، ایمیل، API)

وضعیت Patch و باگ امنیتی در استک ML/Serving

5.4) کنترل‌های فنی پیشنهادی

Human-in-the-Loop اجباری برای تصمیم‌های High Impact

Guardrail مستقل از مدلبرای اجرای Policy (قوانین قطعی، allowlist/denylist، محدودیت سطح دسترسی)

Red Teaming و Adversarial Testing دوره‌ای

Model Telemetryو مانیتورینگ توزیع ورودی/خروجی و Drift

Data Governance و Privacy-by-Design

Secure MLOpsبه‌روزرسانی کتابخانه‌ها، وصله امنیتی به‌موقع، امضای آرتیفکت‌ها و کنترل زنجیره تأمین

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.