مدل‌های جدید Nemotron 3.5 انویدیا با نیاز حافظه کمتر از راه رسیدند

انویدیا سه مدل هوش مصنوعیNemotron 3.5را با وزن‌های باز معرفی کرد؛ مدل‌هایی با نیاز حافظه کمتر که برای اجرای عامل‌های هوش مصنوعی طراحی شده‌اند.

تک‌ناکانویدیا در ماه‌های اخیر تمرکز خود را بر توسعه مدل‌های دارای وزن باز افزایش داده است. این شرکت با معرفی محصولات جدید نماترون، می‌کوشد امکان استفاده، تنظیم و استقرار مدل‌های هوش مصنوعی را در زیرساخت‌های مختلف فراهم کند. وزن‌های باز به توسعه‌دهندگان اجازه می‌دهند پارامترهای آموزش‌دیده مدل را دریافت کنند و آن را متناسب با نیازهای خود به کار بگیرند.

نماترون ۳.۵ سوپر وی‌ال؛ مدل ۱۲۰ میلیارد پارامتری برای عامل‌های هوش مصنوعی

مدل Nemotron 3.5 Super VL با ۱۲۰ میلیارد پارامتر برای اجرای عامل‌های تخصصی و دائماً فعال توسعه یافته است. انویدیا ادعا می‌کند این مدل در وظایف چندوجهی عامل‌های هوش مصنوعی، از جمله پیروی از دستورها، استفاده از ابزارها، درک تصاویر و اجرای گردش‌کارهای تجاری چندمرحله‌ای، دقت بالایی دارد. به گفته شرکت، عملکرد آن با بزرگ‌ترین مدل استدلالی انویدیا قابل مقایسه است، درحالی‌که تعداد پارامترهایش حدود یک‌پنجم آن مدل است.

انویدیا همچنین این محصول را سریع‌ترین مدل عامل‌محور دارای وزن باز در رده خود معرفی می‌کند و می‌گوید سرعت آن حدود پنج برابر نزدیک‌ترین رقیب است. این ویژگی می‌تواند اجرای سریع حجم زیادی از وظایف سازمانی را امکان‌پذیر کند.

قابلیت‌های بصری مدل به‌طور ویژه برای تشخیص متن در تصاویر، خواندن جدول‌ها و نمودارها و استخراج داده‌های ساختاریافته از اسناد تصویری، صفحات وب و فایل‌های PDF طراحی شده‌اند. ترکیب درک متن و تصویر به عامل‌ها اجازه می‌دهد اطلاعات را مستقیماً از اسناد استخراج کنند و بدون انتقال وظایف میان سامانه‌های جداگانه، به تحلیل و نتیجه‌گیری بپردازند.

سازمان‌ها می‌توانند این مدل را با داده‌ها، ابزارها و گردش‌کارهای اختصاصی خود تنظیم کنند و سپس آن را روی زیرساخت دلخواهشان اجرا کنند. انویدیا اعلام کرده است که این مدل با بیش از ۲۵ تریلیون توکن و حدود چهار میلیون نمونه پساآموزش آموزش دیده است. وزن‌های مدل، مجموعه‌داده‌ها و دستورالعمل‌های آموزش نیز در اختیار توسعه‌دهندگان قرار می‌گیرند.

سوپر وی‌ال روی طیف گسترده‌ای از سخت‌افزارهای انویدیا، از جمله DGX Spark، DGX Station، Jetson و محیط‌های ابری قابل اجرا است. این مدل همچنین به‌صورت ریزخدمت آماده تولید از طریق پلتفرم NVIDIA NIM ارائه می‌شود.

بیشتر بخوانیدسهم انویدیا از بازار تراشه‌های هوش مصنوعی چین سقوط کرد

دو مدل بولت برای اجرای محلی و دستگاه‌های لبه‌ای

مدل Nemotron 3.5 Bolt 74B-A9B با نیاز حافظه ۲۴ گیگابایتی برای اجرای محلی وظایف عامل‌محور بهینه شده است. این مدل بر معماری سوپر وی‌ال تکیه دارد و از ساختار ترکیبی متخصصان (MoE) استفاده می‌کند. با وجود ۷۴ میلیارد پارامتر، در هر مرحله تنها ۹ میلیارد پارامتر آن فعال می‌شوند.

این مدل از کوانتیزه‌سازی ۲ بیتی بهره می‌برد تا در حافظه ۲۴ گیگابایتی جا بگیرد و میان سرعت و توانایی پردازش تعادل برقرار کند. وظایف موردنظر آن شامل استدلال چندمرحله‌ای، مرور وب و فراخوانی ابزارهاست. کاربران می‌توانند از آن برای تحقیق درباره قطعات رایانه یا نوشتن و اشکال‌زدایی کد استفاده کنند، بدون آنکه پردازش‌ها به فضای ابری فرستاده شوند.

انویدیا این مدل را برای سخت‌افزارهای RTX Spark و DGX Spark با ۶۴ گیگابایت حافظه بهینه کرده است. مدل از طریق Hugging Face در دسترس قرار دارد و از ابزارهایی مانند vLLM، Ollama، LM Studio و llama.cpp پشتیبانی می‌کند.

مدل دیگر، Nemotron 3.5 Bolt E4B با نیاز حافظه ۴ گیگابایتی است که برای عامل‌های فیزیکی و مکالمه‌ای سریع طراحی شده است. این مدل روی سخت‌افزارهای GeForce RTX، Jetson و خانواده RTX/DGX Spark اجرا می‌شود و از مکالمه طبیعی، استفاده چندمرحله‌ای از ابزارها، پیروی از دستورها و درک وضعیت برنامه‌ها پشتیبانی می‌کند. این قابلیت‌ها می‌توانند در رابط‌های تعبیه‌شده، شخصیت‌های تعاملی و دستیارهای صوتی محلی به کار گرفته شوند.

بیشتر بخوانیدارزش سهام انویدیا در آستانه ۶ تریلیون دلاری شدن

معماری مشترک با نماترون لایتنینگ

مدل‌های جدید از بخش‌های مهم معماری Nemotron 3.5 Lightning استفاده می‌کنند که انویدیا در ماه اوت معرفی کرده بود. این معماری شامل ساختار ترکیبی Mamba و ترنسفورمر، پیش‌بینی چندتوکنی، ساختار نهفته متخصصان و رمزگشایی حدسی است.

انویدیا هنگام معرفی لایتنینگ اعلام کرده بود که این مدل توکن‌ها را با سرعتی چهار برابر مدل‌های هم‌اندازه تولید می‌کند. بااین‌حال، این افزایش سرعت فقط وظایف واقعی عامل‌های هوش مصنوعی را حدود ۳۰ درصد سریع‌تر کرده بود. این تفاوت نشان می‌دهد افزایش سرعت تولید توکن لزوماً به همان میزان، عملکرد کلی عامل‌ها را بهبود نمی‌دهد.

با معرفی سوپر وی‌ال و دو مدل بولت، انویدیا گزینه‌هایی برای اجرای وظایف سازمانی پیچیده، پردازش محلی و ساخت دستیارهای سریع روی سخت‌افزارهای مختلف ارائه کرده است. میزان موفقیت این مدل‌ها در کاربردهای واقعی به عملکرد آن‌ها در سناریوهای عملی و نیازهای متفاوت توسعه‌دهندگان بستگی خواهد داشت.

بیشتر بخوانیدترکش‌های رونق هوش مصنوعی به سخت‌افزار محبوب انویدیا رسید

نوشتهمدل‌های جدید Nemotron 3.5 انویدیا با نیاز حافظه کمتر از راه رسیدنداولین بار درTechnoc. پدیدار شد.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.