فصل پنجم: تفاوت یادگیری عمیق با یادگیری ماشین

قسمت شانزدهم: تولید صدا و ویدئو با هوش مصنوعی؛ وقتی ماشین شروع به دیدن و شنیدن می‌کند

تولید ویدئو با هوش مصنوعییکی از جذاب‌ترین کاربردهای هوش مصنوعی مولد است که به مدل‌ها اجازه می‌دهد بر اساس متن یا تصویر، محتوای ویدئویی تولید کنند. در این قسمت با فناوری‌های تبدیل متن به گفتار، شبیه‌سازی صدا، Text-to-Video و Image-to-Video آشنا می‌شویم و بررسی می‌کنیم چرا تولید ویدئو از تصویر پیچیده‌تر است. همچنین به مفهوم Deepfake، هوش مصنوعی چندوجهی و فرصت‌ها و چالش‌های محتوای مصنوعی در آینده می‌پردازیم.

تحقیق و تدوینمهدی گمرکی

در قسمت چهاردهم دربارهTransformerصحبت کردیم؛ معماری‌ای که مسیر توسعه بسیاری از مدل‌های زبانی مدرن را تغییر داد.

در قسمت پانزدهم نیز وارد دنیایتولید تصویر با هوش مصنوعیشدیم و دیدیم که چگونه مدل‌های مولد می‌توانند از یک توضیح متنی، تصویری جدید ایجاد کنند.

اما حالا سؤال بزرگ‌تری مطرح می‌شود

اگر هوش مصنوعی می‌تواند متن و تصویر تولید کند، آیا می‌تواند صدا و ویدئو هم بسازد؟

اگر به یک سیستم بگوییم

«یک گوینده در یک استودیوی خبری در حال صحبت کردن درباره آینده هوش مصنوعی است.»

آیا می‌تواند صدای گوینده را بسازد؟

آیا می‌تواند چهره و حرکت او را ایجاد کند؟

و حتی مهم‌تر

آیا می‌تواند یک ویدئوی کامل را فقط از روی یک جمله تولید کند؟

پاسخ امروز، «بله» است.

و این همان جایی است که وارد یکی از جذاب‌ترین شاخه‌هایهوش مصنوعی مولدمی‌شویم.

تولید صدا با هوش مصنوعی چگونه انجام می‌شود؟

بیایید ابتدا سراغ صدا برویم.

برای انسان، خواندن یک جمله کار ساده‌ای است.

مثلاً جمله

«هوش مصنوعی در حال تغییر دنیای فناوری است.»

را می‌خوانیم و به‌صورت طبیعی آن را بیان می‌کنیم.

اما برای یک ماشین، تولید صدای طبیعی بسیار پیچیده‌تر است.

صدا فقط مجموعه‌ای از کلمات نیست.

مدل باید مواردی مانند

🎙️ تلفظ کلمات
🔊 شدت صدا
⏱️ سرعت صحبت کردن
🎵 لحن
😮 احساس
⏸️ مکث‌ها

را نیز در نظر بگیرد.

بنابراین یک سیستم تولید صدا باید بتواندمتن را به یک سیگنال صوتی طبیعی تبدیل کند.

به این فناوری معمولاًText-to-Speech یا TTSگفته می‌شود.

یعنی

متن → گفتار

TTS چیست؟

TTS مخففText-to-Speechاست.

در ساده‌ترین حالت، شما متنی را به سیستم می‌دهید و سیستم آن را به صدای گفتاری تبدیل می‌کند.

مثلاً

ورودی

«امروز هوا بسیار خوب است.»

خروجی

🔊 یک صدای انسانی که این جمله را بیان می‌کند.

نسل‌های قدیمی فناوری تبدیل متن به گفتار، گاهی صدایی بسیار ماشینی داشتند.

جمله‌ها ممکن بود درست تلفظ شوند، اما لحن آن‌ها مصنوعی به نظر می‌رسید.

امروزه مدل‌های پیشرفته‌تر می‌توانند ویژگی‌های بیشتری از گفتار انسان را یاد بگیرند و صدایی طبیعی‌تر تولید کنند.

هوش مصنوعی چگونه صدای انسان را یاد می‌گیرد؟

اینجا دوباره با همان ایده‌ای روبه‌رو می‌شویم که در قسمت‌های قبلی داشتیم

یادگیری از داده‌ها.

فرض کنید یک مدل به هزاران ساعت فایل صوتی همراه با متن متناظر آن دسترسی داشته باشد.

مدل می‌تواند از این داده‌ها الگوهایی مربوط به

• نحوه تلفظ کلمات
• ریتم گفتار
• تغییرات زیر و بمی صدا
• مکث‌ها
• ساختار جمله
• ویژگی‌های گوینده

را یاد بگیرد.

در نتیجه، مدل می‌تواند رابطه میانمتن و گفتاررا یاد بگیرد.

به شکل ساده

متن → مدل هوش مصنوعی → ویژگی‌های گفتار → صدای تولیدشده

البته مدل‌های واقعی بسیار پیچیده‌تر از این تصویر ساده هستند.

آیا هوش مصنوعی می‌تواند صدای یک انسان واقعی را تقلید کند؟

اینجا به یکی از جذاب‌ترین و در عین حال حساس‌ترین کاربردهای هوش مصنوعی می‌رسیم

Voice Cloning یا شبیه‌سازی صدا

در این فناوری، مدل می‌تواند ویژگی‌های صدای یک فرد را از نمونه‌های صوتی یاد بگیرد و سپس گفتاری جدید با صدایی مشابه تولید کند.

یعنی ممکن است شما متنی بنویسید که یک فرد هرگز آن را نگفته است، اما سیستم آن متن را با صدایی شبیه صدای او تولید کند.

این فناوری کاربردهای مثبت زیادی دارد؛ برای مثال

🎧 تولید کتاب صوتی
🎮 ساخت شخصیت‌های بازی
🎬 دوبله
♿ کمک به افرادی که توانایی صحبت کردن خود را از دست داده‌اند
📚 تولید محتوای آموزشی

اما یک خطر مهم نیز وجود دارد.

اگر از این فناوری بدون رضایت فرد استفاده شود، می‌تواند برایجعل هویت، فریب یا تولید محتوای جعلیمورد سوءاستفاده قرار گیرد.

بنابراین پیشرفت فنی همیشه باید در کنار مسئولیت اخلاقی و حقوقی دیده شود.

از صدا به تصویر متحرک

حالا یک مرحله جلوتر برویم.

فرض کنید هوش مصنوعی می‌تواند یک تصویر تولید کند.

همچنین می‌تواند یک صدا بسازد.

اما ویدئو چیست؟

ویدئو در واقع فقط یک تصویر نیست.

یک ویدئو شامل مجموعه‌ای از تصاویر یا فریم‌هاست که در طول زمان تغییر می‌کنند و معمولاً همراه با صدا هستند.

پس یک مدل تولید ویدئو باید بتواند نه‌تنهاظاهر یک صحنهبلکهتغییر آن در طول زمانرا نیز مدل کند.

این موضوع کار را بسیار پیچیده‌تر می‌کند.

تولید ویدئو با هوش مصنوعی چگونه انجام می‌شود؟

فرض کنید پرامپت زیر را به یک مدل بدهیم

«یک اسب سفید در ساحل دریا می‌دود و امواج در پس‌زمینه حرکت می‌کنند.»

مدل باید فقط یک اسب زیبا ایجاد نکند.

باید مطمئن شود که

🐎 اسب در فریم‌های مختلف ظاهر مشابهی داشته باشد.

🌊 امواج به شکل منطقی حرکت کنند.

🏖️ محیط ساحل در طول ویدئو ناگهان تغییر نکند.

🎥 حرکت دوربین طبیعی باشد.

💡 نور و سایه‌ها نیز تا حد امکان سازگار باقی بمانند.

این مسئله را می‌توان یکی از چالش‌های اصلی تولید ویدئو دانست

حفظ سازگاری در طول زمان

چرا تولید ویدئو سخت‌تر از تولید تصویر است؟

فرض کنید یک مدل یک تصویر عالی تولید کند.

این کار یک مسئله است.

اما اگر بخواهیم از همان تصویر یک ویدئوی ۱۰ ثانیه‌ای بسازیم، مدل باید ده‌ها یا صدها فریم را طوری تولید کند که همه آن‌ها به یکدیگر مرتبط باشند.

اگر در فریم اول

🐎 اسب چهارپا باشد

اما چند فریم بعد

🐎 شکل بدن یا تعداد پاهای آن تغییر کند

ویدئو غیرطبیعی به نظر می‌رسد.

بنابراین مدل باید علاوه برفضای تصویرمفهومزمانرا نیز در نظر بگیرد.

به زبان ساده

تصویر = چه چیزی در صحنه وجود دارد؟

ویدئو = چه چیزی در صحنه وجود دارد + در طول زمان چه اتفاقی می‌افتد؟

مدل‌های مولد ویدئو چه چیزی را یاد می‌گیرند؟

مدل‌های تولید ویدئو تلاش می‌کنند الگوهایی را از حجم زیادی از داده‌های تصویری و ویدئویی یاد بگیرند.

برای مثال، مدل می‌تواند الگوهای مربوط به

🚶 حرکت انسان
🚗 حرکت خودرو
🌊 حرکت آب
🌳 حرکت برگ‌ها
🎥 حرکت دوربین

را یاد بگیرد.

البته این به معنی آن نیست که مدل قوانین فیزیک را دقیقاً مانند یک دانشمند یاد گرفته است.

مدل عمدتاً الگوهای موجود در داده‌های آموزشی را یاد می‌گیرد.

به همین دلیل است که هنوز در برخی ویدئوهای تولیدشده، ممکن است حرکت اشیا، تعامل آن‌ها یا قوانین فیزیکی کاملاً درست نباشد.

از متن تا ویدئو

یکی از جذاب‌ترین قابلیت‌های مدل‌های مولد امروزیText-to-Videoاست.

در این روش، کاربر به جای ساخت دستی ویدئو، یک توضیح متنی ارائه می‌کند.

مثلاً

«یک فضانورد روی سطح مریخ راه می‌رود، دوربین به‌آرامی به سمت او حرکت می‌کند و زمین در آسمان دیده می‌شود.»

مدل تلاش می‌کند این توضیح را به یک توالی ویدئویی تبدیل کند.

فرایند مفهومی را می‌توان این‌گونه نمایش داد

متن >> درک مفاهیم >>ساخت نمایش بصری >>مدل‌سازی حرکت >>ویدئوی نهایی

در واقع مدل باید میانزبان، تصویر و زمانارتباط برقرار کند.

Image-to-Video چیست؟

تولید ویدئو فقط از متن انجام نمی‌شود.

یکی دیگر از روش‌های جذابImage-to-Videoاست.

در این حالت، شما ابتدا یک تصویر دارید و از مدل می‌خواهید آن را متحرک کند.

مثلاً تصویری از یک خیابان به مدل می‌دهید و درخواست می‌کنید

«دوربین به‌آرامی به جلو حرکت کند و مردم در خیابان راه بروند.»

مدل باید تصویر اولیه را حفظ کند و در عین حال حرکت مناسب را به آن اضافه کند.

هوش مصنوعی چندوجهی وارد می‌شود

حالا تمام قطعات پازل را کنار هم بگذاریم.

ما داریم

📝 متن

🖼️ تصویر

🎙️ صدا

🎥 ویدئو

مدل‌های جدید هوش مصنوعی تلاش می‌کنند بتوانند با چند نوع داده به‌صورت هم‌زمان کار کنند.

به این سیستم‌هاMultimodal AI یا هوش مصنوعی چندوجهیگفته می‌شود.

مثلاً تصور کنید بتوانید

یک تصویر را به مدل بدهید

از آن درباره تصویر سؤال کنید

پاسخ را به صورت صوتی دریافت کنید

و سپس از مدل بخواهید بر اساس همان تصویر، یک ویدئو ایجاد کند.

اینجا دیگر با یک ابزار ساده تولید محتوا روبه‌رو نیستیم.

بلکه با سیستمی مواجهیم که می‌تواندچند شکل مختلف از اطلاعات را دریافت، تحلیل و تولید کند.

آیا آینده سینما تغییر خواهد کرد؟

این سؤال دیگر فقط علمی نیست؛ بلکه یک سؤال جدی در صنعت سرگرمی است.

تصور کنید یک نویسنده بتواند ایده داستان خود را وارد یک سیستم هوش مصنوعی کند و سیستم

🎬 صحنه‌ها را طراحی کند.

🧑‍🎤 شخصیت‌ها را بسازد.

🎙️ صدا تولید کند.

🎥 ویدئو ایجاد کند.

🎵 موسیقی پیشنهاد دهد.

و در نهایت، یک نمونه اولیه از فیلم را آماده کند.

البته این به معنای حذف فوری فیلم‌سازان، بازیگران یا هنرمندان نیست.

در بسیاری از کاربردها، هوش مصنوعی بیشتر شبیه یکابزار قدرتمند برای افزایش توانایی انسانعمل می‌کند.

اما بدون شک، روش تولید محتوا در حال تغییر است.

خطر دیپ‌فیک چیست؟

در کنار تمام این قابلیت‌ها، یک تهدید جدی نیز وجود دارد

Deepfake یا دیپ‌فیک

دیپ‌فیک به محتوای مصنوعی بسیار واقع‌گرایانه‌ای گفته می‌شود که می‌تواند تصویر، صدا یا ویدئوی یک فرد را دست‌کاری یا شبیه‌سازی کند.

برای مثال، ممکن است ویدئویی ساخته شود که در آن فردی ظاهراً جمله‌ای را بیان می‌کند که هرگز نگفته است.

این موضوع می‌تواند در

• ⚠️ کلاهبرداری
• ⚠️ جعل هویت
• ⚠️ انتشار اطلاعات نادرست
• ⚠️ آسیب به اعتبار افراد

مورد سوءاستفاده قرار گیرد.

بنابراین هرچه تولید محتوای مصنوعی آسان‌تر می‌شودتوانایی تشخیص و اعتبارسنجی محتوا نیز اهمیت بیشتری پیدا می‌کند.

آیا دیگر نمی‌توانیم به ویدئوها اعتماد کنیم؟

نه.

اما باید یک عادت مهم را یاد بگیریم

هر چیزی که می‌بینیم، لزوماً همان چیزی نیست که واقعاً اتفاق افتاده است.

در عصر هوش مصنوعی مولد، بررسی منبع محتوا اهمیت بیشتری پیدا می‌کند.

اگر یک ویدئو ادعایی بسیار عجیب یا حساس مطرح می‌کند، بهتر است فقط به خود ویدئو اعتماد نکنیم.

باید بپرسیم

منبع چیست؟

چه کسی آن را منتشر کرده؟

آیا منابع معتبر دیگری نیز این اتفاق را تأیید کرده‌اند؟

این مهارت، بخشی ازسواد رسانه‌ای در عصر هوش مصنوعیخواهد بود.

از یادگیری ماشین تا جهان مصنوعی

اگر مسیر این فصل را دنبال کنیم، حالا می‌توانیم تحول را بهتر ببینیم.

در ابتدا، ماشین‌ها تلاش می‌کردندداده‌ها را طبقه‌بندی و پیش‌بینی کنند.

سپس مدل‌های یادگیری عمیق توانستند الگوهای پیچیده‌تری را یاد بگیرند.

بعد Transformer و مدل‌های زبانی بزرگ آمدند و توانایی تولید و پردازش زبان را متحول کردند.

سپس مدل‌های مولد تصویر نشان دادند که ماشین می‌تواند از متن، تصویر بسازد.

حالا مدل‌های صوتی و ویدئویی در حال گسترش این توانایی هستند.

یعنی مسیر تقریباً چنین شده است

داده >>یادگیری >>درک الگو >>تولید محتوا

و این شاید یکی از مهم‌ترین تغییرات تاریخ فناوری باشد.

آینده به کدام سمت می‌رود؟

احتمالاً آینده فقط درباره یک مدل تولید متن یا یک ابزار تولید تصویر نخواهد بود.

مدل‌ها به سمت سیستم‌هایی حرکت می‌کنند که بتوانند

ببینند، بشنوند، بخوانند، صحبت کنند و تولید کنند.

یعنی یک سیستم هوش مصنوعی بتواند یک تصویر را ببیند، درباره آن توضیح بدهد، صدای مرتبط تولید کند و حتی یک ویدئو بر اساس آن بسازد.

این همان جایی است که مفهومهوش مصنوعی چندوجهیاهمیت پیدا می‌کند.

اما در قسمت بعد، باید یک سؤال بنیادی‌تر را بررسی کنیم

آیا این مدل‌ها واقعاً «هوشمند» هستند؟

آیا وقتی یک مدل شعر می‌نویسد، تصویر می‌سازد یا به سؤال ما پاسخ می‌دهد، واقعاً چیزی را می‌فهمد؟

یا فقط در حال پیش‌بینی و ترکیب الگوهایی است که در داده‌های آموزشی یاد گرفته است؟

قسمت هفدهم: آیا هوش مصنوعی واقعاً می‌فهمد؟

در قسمت بعدی وارد یکی از جذاب‌ترین و بحث‌برانگیزترین موضوعات هوش مصنوعی می‌شویم

تفاوت «هوش» و «شبیه‌سازی هوش» چیست؟

آیا یک مدل زبانی واقعاً زبان را می‌فهمد؟

آیا یک مدل تصویری واقعاً تصویر را می‌بیند؟

و آیا می‌توانیم بگوییم ماشین‌ها روزی به چیزی شبیهدرک انسانیخواهند رسید؟

از اینجا به بعد، سفر ما فقط فنی نیست؛ بلکه وارد مرز میانهوش مصنوعی، علوم شناختی و فلسفه ذهنمی‌شویم.

جمع‌بندی قسمت شانزدهم

در این قسمت یاد گرفتیم

• 🔹TTSفناوری تبدیل متن به گفتار است.
• 🔹 مدل‌های صوتی می‌توانند الگوهای پیچیده گفتار انسان را از داده‌های آموزشی یاد بگیرند.
• 🔹Voice Cloningامکان تولید صدایی شبیه صدای یک فرد را فراهم می‌کند و در کنار کاربردهای مفید، خطر سوءاستفاده نیز دارد.
• 🔹 تولید ویدئو از تصویر پیچیده‌تر است؛ زیرا مدل بایدزمان و حرکترا نیز در نظر بگیرد.
• 🔹Text-to-Videoمتن را به محتوای ویدئویی تبدیل می‌کند.
• 🔹Image-to-Videoمی‌تواند یک تصویر ثابت را به یک صحنه متحرک تبدیل کند.
• 🔹 مدل‌های چندوجهی تلاش می‌کنند متن، تصویر، صدا و ویدئو را در یک سیستم واحد پردازش کنند.
• 🔹Deepfakeیکی از چالش‌های مهم عصر محتوای مصنوعی است.

و مهم‌تر از همه

هرچه هوش مصنوعی در ساخت محتوای واقعی‌تر قدرتمندتر می‌شود، تشخیص محتوای واقعی از مصنوعی نیز اهمیت بیشتری پیدا می‌کند.

پرسش‌های متداول

تولید ویدئو با هوش مصنوعی چیست؟

تولید ویدئو با هوش مصنوعی به استفاده از مدل‌های یادگیری ماشین برای ایجاد یا تغییر محتوای ویدئویی گفته می‌شود. یکی از روش‌های شناخته‌شده، تولید ویدئو بر اساس توضیحات متنی است.

تولید صدا با هوش مصنوعی چگونه انجام می‌شود؟

مدل‌های صوتی با یادگیری الگوهای موجود در داده‌های گفتاری می‌توانند متن را به گفتار تبدیل کنند یا محتوای صوتی جدید تولید کنند.

TTS چیست؟

TTS مخفف Text-to-Speech است و به فناوری تبدیل متن به گفتار گفته می‌شود.

Voice Cloning چیست؟

Voice Cloning یا شبیه‌سازی صدا، فناوری‌ای است که می‌تواند ویژگی‌های صوتی یک گوینده را از نمونه‌های صوتی یاد بگیرد و گفتار جدیدی با صدایی مشابه تولید کند.

Text-to-Video چیست؟

Text-to-Video فناوری‌ای است که به مدل اجازه می‌دهد بر اساس یک توضیح متنی، محتوای ویدئویی تولید کند.

Deepfake چیست؟

دیپ‌فیک محتوای مصنوعی یا دست‌کاری‌شده‌ای است که می‌تواند تصویر، صدا یا ویدئوی یک فرد را به شکل بسیار واقع‌گرایانه تغییر دهد یا شبیه‌سازی کند.

چرا تولید ویدئو از تولید تصویر سخت‌تر است؟

زیرا مدل ویدئو علاوه بر ظاهر یک صحنه باید تغییرات آن را در طول زمان نیز مدل کند و تا حد امکان سازگاری میان فریم‌های مختلف را حفظ کند.

تحقیق و تدوینمهدی گمرکی

مشاوره تجارت الکترونیکی

نوشتهتولید ویدئو با هوش مصنوعی؛ از متن تا ویدئو | قسمت ۱۶اولین بار درپایگاه خبری ارتباطات و فناوری اطلاعات. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.