نسل‌های مختلف PCIe و نقش آن در تعیین پهنای باند و سرعت انتقال داده در سرور HP | XNET

PCIeشریان حیاتی دیتاسنتر

گذرگاه PCI Express (Peripheral Component Interconnect Express) شریان حیاتی هر سرور و ورک‌استیشن مدرن است. این گذرگاه وظیفه اتصال پرسرعت پردازنده مرکزی (CPU) به تمام اجزای مهم جانبی (Peripherals) از جمله کارت‌های شبکه، کنترلرهای ذخیره‌سازی، درایوهای NVMe و مهم‌تر از همه، پردازنده‌های گرافیکی (GPU) را بر عهده دارد. در محیط‌های دیتاسنتر که هر میکروثانیه اهمیت دارد، پهنای باند و تأخیر (Latency) گذرگاه PCIe به طور مستقیم بر عملکرد کل سیستم تأثیر می‌گذارد. به همین دلیل، هنگام بررسیقیمت سرور اچ پیهزینه قطعات سرور مانند GPUها یا NVMeهای پرسرعت، ارتباط مستقیمی با پشتیبانی سرور از جدیدترین نسل‌های PCIe دارد. درک تفاوت میان نسل‌های مختلف PCIe، کلید طراحی یک زیرساخت مقیاس‌پذیر و آماده برای پذیرش Workloadهای آینده مانند هوش مصنوعی و تحلیل کلان داده است.

نسل‌هایPCIeو قانون دو برابر شدن پهنای باند

تکامل PCIe با هدف مستمر دو برابر کردن پهنای باند (Throughput) در هر نسل، نسبت به نسل قبلی، صورت گرفته است. این امر تضمین می‌کند که سرعت پیشرفت CPUها و GPUها دچار گلوگاه نشود.

۱. مکانیزم محاسبه سرعت و پهنای باند

سرعت انتقال داده در PCIe با دو معیار کلیدی اندازه‌گیری می‌شود

• نرخ انتقال (Transfer Rate – GT/s)این معیار تعداد گیگا انتقال در ثانیه را نشان می‌دهد و شامل بیت‌های داده واقعی و بیت‌های سربار (Overhead) پروتکل است.
• پهنای باند (Bandwidth – GB/s): این معیار مقدار داده مفید قابل انتقال در ثانیه را نشان می‌دهد و بر اساس فرمول

{پهنای باند} = نرخ انتقال (GT/s) x تعداد Lane x راندمان رمزگذاری

در نسل‌هایPCIe Gen1تاGen3راندمان رمزگذاری ٪۸۰ بود (رمزگذاری 8b/10b). یعنی از هر ۱۰ بیت ارسال شده، فقط ۸ بیت داده مفید بود. اما با شروعPCIe Gen 4راندمان با استفاده از رمزگذاری 128b/130bبه بیش از ٪۹۸ افزایش یافت که این جهش بزرگی در بهره‌وری سیگنال‌دهی ایجاد کرد.

۲. مقایسه سرعتPCIeنسل‌های کلیدی (در یکLane)

۳. مفهومLaneو اسلات (x1x8x16)

پهنای باند کلی گذرگاه PCIe با تعداد Laneها (خطوط انتقال موازی) تعیین می‌شود.

• x16اسلاتی که از ۱۶ خط انتقال به صورت همزمان استفاده می‌کند. این بالاترین پیکربندی است و معمولاً برای کارت‌های گرافیک یا آداپتورهای شبکه۴۰۰Gدر نظر گرفته می‌شود.
• x8اسلاتی که از ۸ خط استفاده می‌کند، رایج برای کارت‌های شبکه ۲۰۰G یا کنترلرهای RAID پرسرعت.
• x4رایج برای درایوهای NVMe M.2 و برخی کارت‌های شبکه ۱۰۰G.

به عنوان مثال، پهنای باند یک اسلاتx16در نسل ۵، 3.94GB/s x 16 یعنی حدودا 63 گیگابایت بر ثانیهاست.

اهمیت این موضوع زمانی مشخص می‌شود که یک کارت شبکه ۴۰۰ گیگابیت بر ثانیه (Gbps)به پهنای باندی در حدود ۵۰ گیگابایت بر ثانیه (GB/s)نیاز دارد. این کارت برای کارکرد با راندمان کامل، نیازمند یک اسلاتPCIe Gen 5 x16است. اگر همین کارت رویPCIe Gen 4 x16نصب شود، پهنای باند به نصف کاهش یافته و عملکرد کارت شبکه دچار گلوگاه (Bottleneck)جدی می‌شود.

ویژگی‌های کلیدیPCIeنسل‌های ۵، ۶ و ۷

فراتر از افزایش صرف سرعت، هر نسل ویژگی‌های نوینی را برای افزایش کارایی و پاسخگویی به نیازهای جدید دیتاسنتر معرفی می‌کند.

۱.PCIe Gen 5استاندارد فعلی سرورهای رده‌بالا

• نقطه عطفاولین استاندارد ۳۲ GT/s است که پهنای باند ۶۴ گیگابایت بر ثانیه را در x16 فراهم می‌کند.
• کاربرد حیاتیاین نسل برای پشتیبانی از نسل‌های جدید درایوهای NVMe Gen 5 که قادر به ارائه سرعت خواندن ۱۴ تا ۱۶ گیگابایت بر ثانیه هستند، ضروری است. همچنین برای تغذیه GPUهای آموزشی با حجم داده بالا، حیاتی است.

یکی از مهم‌ترین ویژگی‌هایGen 5بهبود پروتکل برای سناریوهایMulti-Hostاست. در این نسل، کنترلرPCIeبا قابلیت‌های پیشرفته‌ترQoS (Quality of Service)وEnd-to-End Reliabilityارائه می‌شود که برای محیط‌های مجازی‌سازی با تراکم بالا و همچنین معماری‌هایی که ازCXL (Compute Express Link)استفاده می‌کنند، یکپارچگی سیگنال و داده‌ها را تضمین می‌کند.

۲.PCIe Gen 6 وجهش به سمتPAM4وLatencyپایین

• تکنولوژی کلیدیسیگنال‌دهیPAM4 (Pulse Amplitude Modulation 4-Level).

PAM4به جای انتقال یک بیت در هر چرخه (مانند سیگنال‌دهیNRZدرGen 5)، دو بیت را در هر چرخه انتقال می‌دهد. این امر، بدون نیاز به دو برابر کردن فرکانس سیگنال، پهنای باند را دو برابر می‌کند. این تغییر باعث می‌شودGen 6برای معماری‌های جدیدCXL (Compute Express Link)که نیازمند تأخیر بسیار پایین برای دسترسی به حافظه مشترک هستند، ایده‌آل باشد.

• مکانیزم تصحیح خطا (FEC)برای مدیریت خطاهایی که به طور ذاتی در سیگنال‌دهیPAM4وجود دارندGen 6ازForward Error Correction (FEC)سبک استفاده می‌کند. این مکانیزم تضمین می‌کند که سرعت انتقال افزایش یابد در حالی که نرخ خطای بیت (BER) در محدوده قابل قبول باقی بماند. این یک تغییر عمده نسبت به نسل‌های قبل است.

۳.PCIe Gen 7 وآینده محاسبات پر سرعت (پیش‌بینی شده)

• هدفدستیابی به نرخ انتقال ۱۲۸ GT/s، معادل ۱۲۸ گیگابایت بر ثانیه در یک اسلات x8 و ۲۵۶ گیگابایت بر ثانیه در یک اسلات x16.
• کاربرد مورد انتظاراین نسل برای پشتیبانی از شبکه‌های ۸۰۰G و ۱۶۰۰G و همچنین ارتباطات Multi-GPU در مقیاس بسیار بزرگ (برای هوش مصنوعی مولد) که نیازمند تبادل حجم عظیمی از داده با کمترین تأخیر هستند، طراحی خواهد شد.

Gen 7احتمالاً بر بهبود بیشتر کارایی انرژی و کاهش پیچیدگی و هزینه کابل‌کشی در فواصل کوتاه تمرکز خواهد کرد. این سطح از پهنای باند، امکان ایجاد یکFabric(شبکه داخلی) برای اتصال مستقیم ده‌هاGPUوNVMeرا فراهم می‌کند و وابستگی به معماری‌های سنتیCPU-Centricرا کاهش می‌دهد.

چالش‌های پیاده‌سازی و ملاحظات سروری

اگرچه افزایش پهنای باند یک مزیت بزرگ است، پیاده‌سازی آن در محیط سرورهای رک‌مونت چالش‌های متعددی را به همراه دارد.

۱. چالش‌های سیگنال‌دهی و سخت‌افزاری

• افت سیگنال (Signal Degradation)در فرکانس‌های بالاتر (مانند ۳۲ GT/s در Gen 5 و بالاتر)، سیگنال الکتریکی در طول مسیرهای طولانی (مثل مسیر بین CPU و اسلات PCIe روی رایزر کارت) به سرعت کیفیت خود را از دست می‌دهد.

برای غلبه بر این مشکل، سرورهای مدرن از تکنیک‌هایی مانندRe-timersوRe-driversاستفاده می‌کنند.Re-driversسیگنال را تقویت کرده وRe-timersسیگنال را قبل از ارسال مجدد، بازسازی می‌کنند تا از صحت آن در سراسر کانالPCIeاطمینان حاصل شود. این قطعات در مسیرهای طولانی گذرگاه و روی رایزر کارت‌ها ضروری هستند. کیفیت موادPCB (Board Material)در مادربردها و رایزر کارت‌هایGen 5باید به مراتب بالاتر (مانند موادLow-Loss) باشد تا افت سیگنال به حداقل برسد.

۲. مدیریت حرارتی و توان (Power and Thermal Management)

• مصرف برقبا افزایش سرعت، مصرف برق تراشه‌های کنترلر PCIe و همچنین کارت‌های توسعه‌ای که از این پهنای باند استفاده می‌کنند (مانند GPUها)، به شدت افزایش می‌یابد.
• خنک‌کنندگیسرور باید سیستم خنک‌کننده قوی‌تری داشته باشد تا بتواند گرمای تولید شده توسط مسیرهای پرسرعت و کارت‌های پرمصرف را مدیریت کند.

استانداردPCIeتوان مصرفی هر اسلات (Slot Power) را تعریف می‌کند. با این حال، کارت‌هایGen 5و بالاتر، اغلب نیاز به توان بیشتری از اسلات‌های خود دارند، که مدیریت آن از طریق پین‌های برق کمکی (Auxiliary Power Pins)روی مادربرد یا رایزر کارت‌ها انجام می‌شود. سیستم‌های مدیریت سرور (مانندHPE iLO)توان مصرفیPCIeرا به طور دقیق پایش می‌کنند و در صورت مصرف بیش از حد یا افزایش دمای غیرمجاز، می‌توانندPower Throttlingرا فعال کنند.

۳. تخصیص انعطاف‌پذیرLaneها

در سرورهای سازمانی، تخصیص Laneهای PCIe دیگر ثابت نیست و به صورت پویا مدیریت می‌شود.

• Bifurcationبایوس (BIOS) سرور می‌تواند Laneهای یک اسلات x16 را تقسیم (Bifurcate) کند (مثلاً به دو اسلات x8 یا چهار اسلات x4) تا بتواند دو NVMe یا چند کارت شبکه را روی یک اسلات فیزیکی نصب کرد.
• وابستگی بهCPUتعداد کل Laneهای PCIe قابل استفاده مستقیماً به مدل CPU (Intel Xeon/AMD EPYC) و پشتیبانی مادربرد بستگی دارد. حداکثر تعداد Laneها بین CPU و چیپ‌ست، تعیین‌کننده اصلی ظرفیت توسعه پذیری سرور است.

جدیدترین معماری‌ها ازDynamic Lane Bifurcationپشتیبانی می‌کنند که می‌تواند بر اساس نیازWorkloadدر لحظه، تخصیصLaneرا تغییر دهد. همچنین، مفهومPCIe Hot-Plugاهمیت بیشتری پیدا می‌کند؛ به این معنا که کارت‌های توسعه می‌توانند بدون نیاز به خاموش شدن سیستم، اضافه یا حذف شوند، و این فرآیند توسط مدیریتLaneهایPCIeدر سطح نرم‌افزار (OS) و سخت‌افزار (Chipset) پشتیبانی می‌شود.

خلاصه و نتیجه‌گیری

تکامل گذرگاه PCIe از Gen 3 تا Gen 7 نه تنها یک روند خطی افزایش سرعت نیست، بلکه یک تحول مهندسی است که پایداری، راندمان سیگنال‌دهی و مدیریت توان را بهبود بخشیده است. مهاجرت به PCIe Gen 5 و بالاتر برای هر سازمان که قصد پیاده‌سازی Workloadهای AI Training، حافظه فلش پرسرعت (NVMe) یا شبکه‌بندی ۴۰۰G/۸۰۰G را دارد، ضروری است. در غیر این صورت، کارت‌های گران‌قیمت پرسرعت دچار گلوگاه پهنای باند خواهند شد.
در نهایت، موفقیت در به کارگیری جدیدترین نسل‌های PCIe به انتخاب سخت‌افزار مناسب (سرور، CPU و کارت‌های توسعه) و همچنین استفاده از قطعات با کیفیت (مانند رایزر کارت‌ها و کابل‌های پرسرعت) بستگی دارد.XNETبا تمرکز بر این جزئیات فنی دقیق، اطمینان می‌دهد که زیرساخت‌های سروری که تأمین می‌کند، به طور کامل از توان عملیاتی مورد نیاز شما برای سال‌های آینده پشتیبانی می‌کنند.

برای ارزیابی پایداری، امنیت و نگهداری این زیرساخت، راهنمای پشتیبانی شبکه را نیز مطالعه کنید.