حذف اشیای ناخواسته از نماهای شهری با فناوری بینایی ایکس‌ری

گروهی از محققان واحدمهندسی محیط زیست و انرژی پایدارDivision of Sustainable Energy and Environmental Engineeringاز دانشگاه اوساکا موفق شدند با استفاده از شبکه‌های مولد تخاصمی که روی دیتاستی سفارشی آموزش دیده بودند، اشیای ناخواسته را به صورت مجازی از تصاویر گرفته شده از نمای ساختمان‌ها حذف کنند. این دستاورد علاوه بر برنامه‌ریزی شهری، در حوزه‌ بینایی کامپیوتری نیز کاربرد دارد.

حذف اشیای مزاحم از نمای شهر مفید است؛ اما به توان محاسباتی بالایی نیاز دارد. الگوریتم‌های یادگیری ماشینی که در گذشته بدین منظور استفاده می‌شدند، بر روی دیتاست‌های تصویری استاندارد آموزش می‌دیدند؛ اما پژوهشگران دانشگاه اوساکا دیتاستی سفارشی ساخته‌اند؛ این دیتاست از مهم‌ترین اجزای این چارچوب جدید است، چارچوبی که به صورت خودکار، اشیای ناخواسته (عابران پیاده، دوچرخه‌سوارها، گیاهان، ماشین‌ها و…) را از تصاویر گرفته‌شده از نمای ساختمان‌ها حذف می‌کند. آن قسمت‌هایی از تصویر که حذف شده‌اند، از طریق بازسازی دیجیتال جایگزین می‌شوند، تا در نهایت، نمایی کامل و دلخواه از منظره‌ موردنظر به دست آید.

این الگوریتم، بر خلاف مدل‌های استانداردی که در برنامه‌ریزی نمای شهری به کار می‌روند، بر روی دیتاست متن‌بازی از منطقه‌ کانسای ژاپن آموزش دیده است. این دیتاست به شبکه‌ مولد تخاصمی (GAN) می‌آموزد، نواحی پوشیده‌شده با اشیای مزاحم را با دقت بالا بازسازی کند.

نویسنده‌ اول مقاله، جیاکسین ژانگ، می‌گوید: «برای بازسازی نمای بیرونی ساختمان‌ها، از یک مدل یکپارچه‌ مبتنی بر یادگیری عمیق استفاده کردیم که روی دیتاست سفارشی مخصوص همین پروژه آموزش دیده بود.»

قطعه‌بندی معنایی

این پژوهشگران با به کارگیری فناوریقطعه‌بندی معناییSemantic Segmentationچندین دسته اشیای مزاحم را تشخیص داده‌اند که از جمله‌ آن‌ها می‌توان به عابران پیاده، گلکاری‌ها و خودروها اشاره کرد. شبکه‌های GAN نواحی مشخص‌شده را با بافت پس‌زمینه جایگزین می‌کنند، تا تصویری یکپارچه از خیابان ارائه دهند. این گردش‌کار جدید به صورت خودکار، ساختمان‌هایی را که نمای بیرونی‌شان دست‌نخورده است، مشخص می‌کند. به همین دلیل، دیتاست به نحوی طراحی شده که هم تصاویر اصلی و هم تصاویر ماسک‌شده را در برداشته و برای آموزش الگوریتم‌های دیگر نیز قابل‌کاربرد باشد.

این فناوری تصویری راهی برای برقراری تعامل بین متخصصان و عموم مردم فراهم کرده و به آن‌ها اجازه می‌دهد، با زبانی مشترک، در خصوص طراحی‌های آینده‌ محیط شهری به توافق نظر برسند. تومایرو فوکودا، سرپرست نویسندگان، توضیح می‌دهد: «نتایج حاکی از اثربخشی این سیستم در مقایسه با روش‌هایی بوده‌اند که تاکنون برای برنامه‌ریزی نمای شهری به کار رفته‌اند، چون آن پروژه‌ها قبل از شروع کار، به اطلاعات پس‌زمینه‌ای دسترسی نداشتند.» در آینده می‌توان از این رویکرد در طراحی سیستم‌های واقعیت افزوده‌ای استفاده کرد که به صورت خودکار، ساختمان‌های فعلی را حذف می‌کنند و ساختمان‌ها و محیط‌های پیشنهادی را نشان می‌دهند.

این پژوهش در ژورنال IEEE Access به چاپ رسیده است.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.