هوش مصنوعی کدهایی می‌نویسد که حتی مهندسان هم آنها را درک نمی‌کنند

استفاده گسترده از هوش مصنوعی مولد در توسعه نرم‌افزار باعث شده است که برخی مهندسان دیگر نتوانند کدهای تولیدشده توسط این سیستم‌ها را به‌طور کامل درک کنند.

سرویسهوش مصنوعیتک‌ناکدر همین راستا کارشناسان درباره کاهش نظارت انسانی، افزایش خطاهای پنهان و تضعیف مهارت‌های برنامه‌نویسی هشدار می‌دهند.

با افزایش استفاده شرکت‌ها از ابزارهای هوش مصنوعی، نقش برنامه‌نویسان نیز به‌ سرعت در حال تغییر است. بسیاری از توسعه‌دهندگان به‌جای آنکه محصولات نرم‌افزاری را از ابتدا طراحی و کدنویسی کنند، اکنون بخش مهمی از زمان خود را صرف بررسی و مدیریت کدهایی می‌کنند که مدل‌های زبانی بزرگ تولید کرده‌اند.

جرمی نیکسون، بنیان‌گذار شرکت Infinity که در زمینه نرم‌افزارهای بهینه‌سازی تراشه فعالیت می‌کند، گفته است که برخی مهندسان دیگر نمی‌توانند خروجی کد تولیدشده توسط هوش مصنوعی را به‌طور کامل توضیح دهند. این مسئله در شرایطی مطرح می‌شود که پژوهشگران نسبت به تأثیر استفاده گسترده از هوش مصنوعی بر توانایی‌های شناختی و مهارت‌های تخصصی نیز هشدار داده‌اند.

توسعه‌دهندگان نگران هستند که مهندسان نرم‌افزار به‌ تدریج از فرایند واقعی کدنویسی فاصله بگیرند. شرکت‌ها نیز هم‌زمان استفاده از اتوماسیون مبتنی بر هوش مصنوعی را افزایش داده‌اند. این وضعیت می‌تواند فرصت یادگیری مهارت‌های لازم را برای طراحی و معماری پروژه‌های بزرگ‌تر کاهش دهد.

بیشتر بخوانیدسم آلتمن: پذیرش خطرات هوش مصنوعی بهای پیشرفت آن است

مهندسانی که کدهای هوش مصنوعی را نمی‌فهمند

نگرانی درباره دشوار شدن درک کدهای تولیدشده توسط هوش مصنوعی حتی به شرکت‌ها و آزمایشگاه‌های پیشروی این حوزه نیز رسیده است.

جردن نانوس، عضو فنی مؤسسه تحقیقاتی SemiAnalysis، اوایل امسال اعلام کرد که برخی مهندسان OpenAI هنگام بررسی کد یکی از کرنل‌های پردازنده گرافیکی نمی‌توانستند عملکرد دقیق آن را توضیح دهند. این نوع نرم‌افزار در استفاده بهینه‌تر از سخت‌افزار برای آموزش و اجرای مدل‌های هوش مصنوعی نقش مهمی دارد.

به گفته نانوس، مهندسانی که همراه او کد مربوط به یک کرنل MLA را برای DeepSeek بررسی می‌کردند، اطلاعات زیادی درباره سخت‌افزار و مفاهیم سیستم داشتند، اما نمی‌دانستند کد مورد نظر دقیقا چگونه کار می‌کند.

او توضیح داد که بررسی خط‌به‌خط کد نیز به درک کامل آن منجر نمی‌شد، اما هوش مصنوعی می‌توانست کد را تولید و آزمایش کند و خروجی صحیح و سریع ارائه دهد.

نانوس معتقد است که در مدل جدید توسعه نرم‌افزار، انسان همیشه مجبور نیست جزئیات تمام خطوط کد را عمیقا درک کند. هوش مصنوعی می‌تواند نحوه جابه‌جایی داده و استفاده از واحدهای پردازشی سخت‌افزار را مدیریت کند و توسعه‌دهنده بیشتر بر نتیجه نهایی تمرکز داشته باشد.

بیشتر بخوانیدهوش مصنوعی جایگزین مدیرانBMWمی‌شود

افزایش نگرانی درباره خطاهای پنهان

کاهش درک انسانی از کد در عین حال خطرهای مهمی ایجاد می‌کند. یکی از اصلی‌ترین نگرانی‌ها این است که خطاها یا توهمات هوش مصنوعی در مراحل بررسی شناسایی نشوند و مستقیما وارد محیط عملیاتی شوند.

آمازون اوایل امسال پس از وقوع چند اختلال که بر سفارش‌های مشتریان تأثیر گذاشتند، یک برنامه ۹۰ روزه برای بازتنظیم ایمنی کد اجرا کرد. این شرکت ادعاها ار درباره نقش مستقیم هوش مصنوعی در این اختلالات رد کرد، اما یادداشت‌های داخلی جلسات نشان داد که مدیران درباره گستردگی پیامدهای تغییراتی که با کمک هوش مصنوعی مولد انجام می‌شوند، نگرانی داشته‌اند.

تحلیل شرکت نرم‌افزاری Undo نیز ابعاد این مسئله را نشان می‌دهد. بر اساس یافته‌های این شرکت، تیم‌های مهندسی حدود ۳۵ درصد از کدهای تولیدشده توسط هوش مصنوعی را پیش از انتقال به محیط عملیاتی به‌طور کامل درک نکرده‌اند.

همچنین ۲۹ درصد از مهندسان نرم‌افزار شرکت‌کننده در این بررسی اعلام کردند که چند بار در ماه شاهد کاهش بهره‌وری ناشی از تلاش توسعه‌دهندگان برای فهمیدن و اصلاح کد تولیدشده توسط هوش مصنوعی بوده‌اند.

حدود ۹۴ درصد از پاسخ‌دهندگان نیز گفته‌اند که طی شش ماه گذشته حداقل یک بار با چنین اتفاقی روبه‌رو شده‌اند.

این آمار پرسشی اساسی را مطرح می‌کند. اگر مهندسان مجبور باشند زمان زیادی را صرف بررسی و بازسازی کدی کنند که هوش مصنوعی تولید کرده است، ممکن است بخشی از مزیت افزایش سرعت توسعه نرم‌افزار از بین برود.

تغییر پارادایم یا تضعیف مهارت برنامه‌نویسان؟

برخی کارشناسان این وضعیت را الزاما نشانه ضعف مهندسان نمی‌دانند. آنها معتقد هستند که توسعه نرم‌افزار وارد مرحله‌ جدیدی شده است که نقش انسان در آن تغییر می‌دهد.

سرگئی کلفتسو، پژوهشگر هوش مصنوعی، این روند را نمونه‌ای از تغییر پارادایم در توسعه نرم‌افزار توصیف کرده است. از دید او، پیشرفت هوش مصنوعی باعث شده است که توسعه‌دهندگان دیگر مجبور نباشند بسیاری از جزئیات فنی را مستقیما مدیریت کنند.

بر اساس این دیدگاه، برنامه‌نویس می‌تواند معماری سیستم و معیارهای صحت عملکرد را تعیین کند و شبکه عصبی بخش بزرگی از فرایند تولید کد را بر عهده بگیرد.

این مدل می‌تواند روش سنتی توسعه نرم‌افزار را تغییر دهد. مهندس در چنین شرایطی کمتر نقش نویسنده مستقیم کد را دارد و بیشتر به طراح، ناظر و ارزیاب عملکرد سیستم تبدیل می‌شود.

با وجود این، هنوز مشخص نیست که این رویکرد در بلندمدت چه پیامدهایی خواهد داشت. هرچه کدهای تولیدشده توسط هوش مصنوعی پیچیده‌تر شوند، احتمال فاصله گرفتن انسان از منطق داخلی نرم‌افزار نیز افزایش پیدا می‌کند.

پژوهشگران به‌ویژه درباره نسل جدید مهندسان نگران هستند. برنامه‌نویسان جوان ممکن است از ابتدای فعالیت حرفه‌ای خود به ابزارهایی وابسته شوند که بخش زیادی از فرایند نوشتن و اصلاح کد را به‌ صورت خودکار انجام می‌دهند.

در چنین شرایطی، انگیزه و نیاز برای درک عمیق ساختار کد، الگوریتم‌ها و معماری نرم‌افزار می‌تواند کاهش پیدا کند. این مسئله زمانی اهمیت بیشتری پیدا می‌کند که سیستم‌های دیجیتال و مبتنی بر هوش مصنوعی در بخش‌های بیشتری از اقتصاد و زیرساخت‌های جهان استفاده شوند.

هوش مصنوعی در حال تبدیل شدن به یکی از ابزارهای اصلی توسعه نرم‌افزار است، اما پرسش اصلی همچنان باقی مانده است. اگر انسان دیگر نتواند کدی را که ماشین تولید می‌کند به‌طور کامل درک کند، مسئولیت شناسایی خطاها، تضمین ایمنی و کنترل سیستم‌های نرم‌افزاری در آینده چگونه تعریف خواهد شد؟

نوشتههوش مصنوعی کدهایی می‌نویسد که حتی مهندسان هم آنها را درک نمی‌کننداولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.