گوگل امکان اجرای بومی مدل‌های Gemma را روی پردازنده‌های گرافیکی انویدیا فراهم کرد

گوگل با همکاری انویدیا، امکان استقرار و اجرای بهینه مدل‌های خانواده Gemma را روی اکوسیستم انویدیا فراهم کرده است. این مدل‌ها که بر پایه همان فناوری‌های مدل قدرتمند Gemini ساخته شده‌اند، اکنون از طریق ابزار NVIDIA TensorRT-LLM برای کاربران خانگی و توسعه‌دهندگان در دسترس هستند.

استفاده از شتاب‌دهنده‌های گرافیکی سری RTX (به ویژه سری ۳۰ و ۴۰) جهش قابل‌توجهی در سرعت پاسخ‌دهی و پردازش این مدل‌ها ایجاد می‌کند. این یعنی کاربران می‌توانند از قابلیت‌هایی نظیر خلاصه‌سازی متن، تولید محتوا و کدنویسی، با سرعتی بسیار بالا و با حفظ کامل حریم خصوصی (به دلیل پردازش آفلاین در سیستم شخصی) بهره‌مند شوند.

کارشناسان معتقدند این اقدام، رقابت در بازار مدل‌های زبانی کوچک (SLMs) را تشدید کرده و به توسعه‌دهندگان جهانی این امکان را می‌دهد که بدون هزینه‌های سنگین سرورهای ابری، اپلیکیشن‌های هوش مصنوعی خود را مستقیماً روی سخت‌افزارهای مصرفی توسعه دهند. انویدیا همچنین اعلام کرده است که این مدل‌ها در پلتفرم «AI Workbench» نیز ادغام شده‌اند تا فرآیند شخصی‌سازی و آموزش مجدد آن‌ها برای پروژه‌های خاص تسهیل شود.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.