سرور گرافیکی NVIDIA DGX H100 8-GPU

سرور گرافیکی NVIDIA DGX H100: استاندارد طلایی زیرساخت هوش مصنوعی

NVIDIA DGX H100 یک سرور گرافیکی پیشرفته است که به عنوان “استاندارد طلایی زیرساخت هوش مصنوعی” شناخته می‌شود. این سیستم با بهره‌گیری از جدیدترین فناوری‌های NVIDIA، از جمله پردازنده‌های گرافیکی H100 Tensor Core و معماری Hopper، عملکرد بی‌نظیری را در زمینه آموزش مدل‌های هوش مصنوعی، پردازش داده‌های حجیم و اجرای برنامه‌های محاسباتی سنگین ارائه می‌دهد.

ویژگی‌های کلیدی

• پردازنده‌های گرافیکی H100 Tensor Core: این پردازنده‌های گرافیکی با معماری Hopper، جهشی بزرگ در عملکرد و کارایی محاسبات هوش مصنوعی ایجاد کرده‌اند.
• معماری Hopper: این معماری با ارائه قابلیت‌های جدید مانند Transformer Engine و NVLink-C2C، سرعت و مقیاس‌پذیری بی‌نظیری را برای آموزش مدل‌های هوش مصنوعی فراهم می‌کند.
• سیستم NVLink-C2C: این سیستم ارتباطی پرسرعت، امکان اتصال چندین DGX H100 را به یکدیگر فراهم می‌کند و امکان ایجاد خوشه‌های محاسباتی بزرگ را فراهم می‌کند.
• حافظه HBM3: این حافظه پرسرعت، پهنای باند و ظرفیت بالایی را برای پردازش داده‌های حجیم فراهم می‌کند.
• نرم‌افزار DGX: این نرم‌افزار جامع، ابزارها و کتابخانه‌های لازم برای توسعه و اجرای برنامه‌های هوش مصنوعی را فراهم می‌کند.

کاربردها

DGX H100 در زمینه‌های مختلفی کاربرد دارد که در زیر به برخی از آنها اشاره می‌کنیم:

• آموزش مدل‌های هوش مصنوعی: DGX H100 با ارائه عملکرد بی‌نظیر، امکان آموزش مدل‌های پیچیده هوش مصنوعی را در زمان کوتاه‌تر فراهم می‌کند. به عنوان مثال یک شرکت تحقیقاتی در حال توسعه یک مدل پیچیده یادگیری عمیق برای تشخیص سرطان است. DGX H100 با ارائه عملکرد بالا، امکان آموزش این مدل را در زمان کوتاه‌تر فراهم می‌کند و به محققان کمک می‌کند تا سریع‌تر به نتایج برسند.
• پردازش داده‌های حجیم: این سرور با قابلیت‌های پردازش موازی بالا، برای پردازش و تحلیل داده‌های حجیم بسیار مناسب است. به عنوان مثال یک شرکت مالی در حال تحلیل حجم عظیمی از داده‌های مالی برای شناسایی الگوها و پیش‌بینی بازارهای مالی است. DGX H100 با قابلیت‌های پردازش موازی بالا، امکان پردازش و تحلیل این داده‌ها را در زمان کوتاه‌تر فراهم می‌کند و به شرکت کمک می‌کند تا تصمیمات بهتری بگیرد.
• محاسبات با عملکرد بالا (HPC): DGX H100 با ارائه توان محاسباتی بالا، برای اجرای برنامه‌های HPC مانند شبیه‌سازی‌های علمی و مهندسی مناسب است. برای مثال یک شرکت مهندسی در حال انجام شبیه‌سازی‌های پیچیده برای طراحی یک هواپیمای جدید است. DGX H100 با ارائه توان محاسباتی بالا، امکان اجرای این شبیه‌سازی‌ها را با دقت و سرعت بالا فراهم می‌کند و به مهندسان کمک می‌کند تا طرح‌های بهتری ارائه دهند.
• هوش مصنوعی مولد: NVIDIA DGX H100 با ارائه عملکرد بی‌نظیر و مقیاس‌پذیری بالا، بستر مناسبی را برای آموزش و اجرای مدل‌های هوش مصنوعی مولد فراهم می‌کند. برای نمونه یک شرکت رسانه‌ای در حال استفاده از هوش مصنوعی مولد برای تولید محتوای جذاب و خلاقانه است. DGX H100 با ارائه عملکرد بالا، امکان اجرای مدل‌های مولد پیچیده را فراهم می‌کند و به شرکت کمک می‌کند تا محتوای با کیفیت بالا تولید کند.
• پردازش زبان طبیعی (NLP): NVIDIA DGX H100 با ارائه عملکرد بی‌نظیر و مقیاس‌پذیری بالا، بستر مناسبی را برای توسعه و اجرای برنامه‌های NLP فراهم می‌کند. این سرور با بهره‌گیری از جدیدترین فناوری‌های NVIDIA، از جمله پردازنده‌های گرافیکی H100 Tensor Core و معماری Hopper، امکان پردازش داده‌های حجیم و اجرای مدل‌های پیچیده NLP را با سرعت و کارایی بالا فراهم می‌کند. برای مثال یک شرکت خدمات مشتریان در حال استفاده از NLP برای خودکارسازی پاسخگویی به سوالات مشتریان است. DGX H100 با ارائه عملکرد بالا، امکان پردازش حجم زیادی از متن را فراهم می‌کند و به شرکت کمک می‌کند تا خدمات مشتریان خود را بهبود بخشد.

مزایا

• عملکرد بی‌نظیر: DGX H100 با بهره‌گیری از جدیدترین فناوری‌های NVIDIA، عملکردی بی‌نظیر را در زمینه هوش مصنوعی و HPC ارائه می‌دهد.
• مقیاس‌پذیری بالا: این سرور با قابلیت اتصال به یکدیگر، امکان ایجاد خوشه‌های محاسباتی بزرگ را فراهم می‌کند.
• قابلیت اطمینان بالا: DGX H100 با استفاده از قطعات با کیفیت بالا و طراحی مقاوم، قابلیت اطمینان بالایی را ارائه می‌دهد.
• پشتیبانی جامع: NVIDIA با ارائه پشتیبانی جامع، کاربران را در استفاده از این سرورها یاری می‌کند.

انودیا DGX H100 سنگ بنای مرکز تعالی هوش مصنوعی شما

هوش مصنوعی به رویکردی اصلی برای حل چالش‌های دشوار کسب‌وکار تبدیل شده است. خواه بهبود خدمات مشتری، بهینه‌سازی زنجیره‌های تأمین، استخراج هوش تجاری، یا طراحی محصولات و خدمات پیشرو با هوش مصنوعی مولد و سایر مدل‌های ترانسفورمر باشد، هوش مصنوعی به سازمان‌ها در تقریباً هر صنعتی مکانیزمی برای تحقق نوآوری می‌دهد. و به عنوان پیشگام در زیرساخت هوش مصنوعی، NVIDIA DGX™ قدرتمندترین و کامل‌ترین پلتفرم هوش مصنوعی را برای تحقق این ایده‌های ضروری فراهم می‌کند.

NVIDIA DGX H100 به نوآوری و بهینه‌سازی کسب‌وکار قدرت می‌بخشد. DGX H100 که بخشی از پلتفرم DGX و جدیدترین تکرار سیستم‌های افسانه‌ای NVIDIA DGX است، نیروگاه هوش مصنوعی است که پایه و اساس NVIDIA DGX SuperPOD را تشکیل می‌دهد و توسط عملکرد بی‌نظیر پردازنده گرافیکی NVIDIA H100 Tensor Core شتاب می‌گیرد. این سیستم به گونه‌ای طراحی شده است که توان عملیاتی هوش مصنوعی را به حداکثر برساند و پلتفرمی بسیار پالایش‌شده، سیستماتیک و مقیاس‌پذیر را برای شرکت‌ها فراهم می‌کند تا به پیشرفت‌هایی در پردازش زبان طبیعی، سیستم‌های توصیه‌گر، تحلیل داده‌ها و موارد دیگر دست یابند. DGX H100 که به صورت محلی و از طریق طیف گسترده‌ای از گزینه‌های دسترسی و استقرار در دسترس است، عملکرد مورد نیاز شرکت‌ها را برای حل بزرگترین چالش‌ها با هوش مصنوعی ارائه می‌دهد.
(NVIDIA DGX SuperPOD یک زیرساخت محاسباتی پیشرفته است که به طور خاص برای پاسخگویی به نیازهای منحصر به فرد و چالش‌برانگیز هوش مصنوعی در مقیاس بزرگ طراحی شده است. این سیستم با ترکیب چندین سرور NVIDIA DGX (مانند DGX H100) با شبکه پرسرعت و ذخیره‌سازی بهینه، بستری قدرتمند را برای آموزش مدل‌های پیچیده هوش مصنوعی، پردازش داده‌های عظیم و اجرای برنامه‌های محاسباتی سنگین فراهم می‌کند. DGX SuperPOD به شرکت‌ها و سازمان‌ها کمک می‌کند تا با غلبه بر موانع فنی، به سرعت و به طور موثر از هوش مصنوعی در پروژه‌های خود بهره ببرند و به نوآوری‌های چشمگیری در زمینه‌های مختلف دست یابند.)

هوش مصنوعی شکاف بین علم و تجارت را پر کرده است. هوش مصنوعی که دیگر حوزه آزمایش نیست، هر روز توسط شرکت‌های بزرگ و کوچک برای تقویت نوآوری و بهینه‌سازی کسب‌وکارشان مورد استفاده قرار می‌گیرد. DGX H100 به عنوان نسل چهارم اولین زیرساخت هوش مصنوعی ساخته‌شده برای این منظور در جهان، به گونه‌ای طراحی شده است که محور اصلی یک مرکز تعالی هوش مصنوعی سازمانی باشد. این یک پلتفرم سخت‌افزاری و نرم‌افزاری کاملاً بهینه‌شده است که شامل پشتیبانی کامل از طیف جدیدی از راه‌حل‌های نرم‌افزاری NVIDIA AI، یک اکوسیستم غنی از پشتیبانی شخص ثالث و دسترسی به مشاوره تخصصی از خدمات حرفه‌ای NVIDIA است. DGX H100 قابلیت اطمینان اثبات‌شده‌ای را ارائه می‌دهد، به طوری که پلتفرم DGX توسط هزاران مشتری در سراسر جهان که تقریباً همه صنایع را پوشش می‌دهند، استفاده می‌شود.

موانع توسعه هوش مصنوعی در مقیاس بزرگ را از بین ببرید

NVIDIA DGX H100 به عنوان اولین سیستم در جهان با پردازنده گرافیکی NVIDIA H100 Tensor Core، محدودیت‌های مقیاس و عملکرد هوش مصنوعی را از بین می‌برد. این سیستم دارای ۹ برابر عملکرد بیشتر، ۲ برابر شبکه سریع‌تر با کارت‌های رابط شبکه هوشمند NVIDIA ConnectX-7 (SmartNICs) و مقیاس‌پذیری با سرعت بالا برای NVIDIA DGX SuperPOD است. معماری نسل بعدی برای بزرگترین و پیچیده‌ترین کارهای هوش مصنوعی، مانند هوش مصنوعی مولد، پردازش زبان طبیعی و مدل‌های توصیه یادگیری عمیق، تقویت شده است.

نیرو گرفته از NVIDIA Base Command

NVIDIA Base Command پلتفرم DGX را تقویت می‌کند و سازمان‌ها را قادر می‌سازد تا از بهترین نوآوری نرم‌افزاری NVIDIA بهره ببرند. شرکت‌ها می‌توانند پتانسیل کامل زیرساخت DGX خود را با یک پلتفرم اثبات‌شده که شامل هماهنگ‌سازی و مدیریت خوشه‌ای درجه سازمانی، کتابخانه‌هایی که زیرساخت محاسباتی، ذخیره‌سازی و شبکه را تسریع می‌کنند و یک سیستم عامل بهینه‌شده برای بارهای کاری هوش مصنوعی است، آزاد کنند. علاوه بر این، زیرساخت DGX شامل NVIDIA AI Enterprise است که مجموعه‌ای از نرم‌افزارهای بهینه‌شده برای ساده‌سازی توسعه و استقرار هوش مصنوعی را ارائه می‌دهد.

مشخصات فنی، قدرت و قابلیت‌های چشمگیر NVIDIA DGX H100:

• ۸ پردازنده گرافیکی NVIDIA H100 با مجموع حافظه ۶۴۰ گیگابایت: این حجم عظیم حافظه GPU، امکان پردازش داده‌های بزرگ و اجرای مدل‌های پیچیده هوش مصنوعی را فراهم می‌کند.

• ۱۸ اتصال NVIDIA NVLink در هر GPU، پهنای باند دوطرفه ۹۰۰ گیگابایت در ثانیه بین پردازنده‌های گرافیکی: این اتصال پرسرعت، ارتباط و هماهنگی بین GPUها را برای انجام محاسبات موازی بهینه می‌کند و سرعت آموزش مدل‌ها را به طور چشمگیری افزایش می‌دهد.

• ۴ سوئیچ NVIDIA NVSWITCHES: این سوئیچ‌ها پهنای باند دوطرفه ۷.۲ ترابایت در ثانیه را برای اتصال بین GPUها فراهم می‌کنند که ۱.۵ برابر بیشتر از نسل قبلی است. این امر، عملکرد و مقیاس‌پذیری سیستم را بهبود می‌بخشد.

• ۱۰ رابط شبکه NVIDIA ConnectX-7 با سرعت ۴۰۰ گیگابیت در ثانیه: این رابط‌های شبکه، پهنای باند شبکه دوطرفه ۱ ترابایت در ثانیه را ارائه می‌دهند که امکان انتقال سریع داده‌ها را فراهم می‌کند و از عملکرد بالای سیستم در پردازش داده‌های حجیم پشتیبانی می‌کند.

• پردازنده‌های دوگانه Intel Xeon Platinum 8480C، در مجموع ۱۱۲ هسته و ۲ ترابایت حافظه سیستم: این CPUهای قدرتمند، برای انجام وظایف فشرده هوش مصنوعی و مدیریت سیستم، عملکرد بالایی ارائه می‌دهند.

• ۳۰ ترابایت NVMe SSD: این حافظه ذخیره‌سازی پرسرعت، دسترسی سریع به داده‌ها را برای حداکثر عملکرد تضمین می‌کند و از گلوگاه‌های احتمالی در پردازش داده‌ها جلوگیری می‌کند.

به طور خلاصه، این مشخصات نشان می‌دهد که DGX H100 یک سیستم بسیار قدرتمند و پیشرفته است که برای انجام پیچیده‌ترین و چالش‌برانگیزترین وظایف هوش مصنوعی و محاسبات با عملکرد بالا (HPC) طراحی شده است.

اتصالات و کنترل‌های پنل جلویی DGX H100

پنل جلویی DGX H100 شامل موارد زیر است:

دکمه پاور:

• برای روشن یا خاموش کردن سیستم DGX H100 فشار دهید.
• چشمک‌زن سبز (۱ هرتز): حالت آماده به کار (BMC بوت شده)
• چشمک‌زن سبز (۴ هرتز): در حال انجام POST (خودآزمایی روشن شدن)
• سبز ثابت روشن: روشن

دکمه UID:

• فشار دهید تا LED آبی روشن یا چشمک بزند (قابل تنظیم از طریق BMC) به عنوان یک شناسه در طول سرویس.
• همچنین باعث می‌شود یک LED در پشت دستگاه به عنوان یک شناسه در طول سرویس چشمک بزند.

LED خطا:

• کهربایی روشن: سیستم یا یکی از اجزای آن دچار خطا شده است.

BMC (کنترل کننده مدیریت برد)

BMC یک پردازنده مستقل است که روی مادربرد DGX H100 قرار دارد و وظایف مدیریتی سیستم را انجام می‌دهد. BMC حتی زمانی که سیستم خاموش است (البته به برق متصل باشد) فعال است و امکاناتی مانند کنترل از راه دور، نظارت بر وضعیت سخت‌افزار و عیب‌یابی را فراهم می‌کند. تنظیمات مربوط به دکمه ID و سایر موارد مدیریتی از طریق BMC قابل انجام است.

اتصالات و کنترل‌های پنل جلویی DGX H100 بدون درپوش

نمای جلویی سرور NVIDIA DGX H100 را بدون درپوش، در این حالت اجزای داخلی سیستم قابل مشاهده هستند. در زیر توضیحات مربوط به هر یک از نوشته‌های روی تصویر زیر آورده شده است:

• • Power button / Status LED: دکمه پاور و LED وضعیت سیستم را نشان می‌دهد. وضعیت‌های مختلف LED (خاموش، روشن، چشمک‌زن) نشانگر وضعیت‌های مختلف سیستم (خاموش، روشن، آماده به کار، در حال بوت و غیره) هستند.
  • Unit Identification (UID) button / LED: دکمه و LED شناسایی واحد. این دکمه برای شناسایی سیستم در مراکز داده شلوغ استفاده می‌شود. با فشردن آن، LED مربوطه روشن یا شروع به چشمک زدن می‌کند.
  • Fault LED indicator: نشانگر LED خطا. در صورت بروز هرگونه مشکل یا خطا در سیستم، این LED روشن می‌شود و نشان می‌دهد که سیستم نیاز به بررسی دارد.
  • 12x Fan Modules: تعداد ۱۲ عدد ماژول فن. این فن‌ها برای خنک کردن سیستم و جلوگیری از افزایش دما استفاده می‌شوند.
  • 6x Rack attachment screws: تعداد ۶ عدد پیچ اتصال به رک. این پیچ‌ها برای نصب سرور در رک استفاده می‌شوند.
  • 8x 3.84 TB U.2 NVMe Self-Encrypting Drives (SED): تعداد ۸ عدد درایو NVMe با ظرفیت ۳.۸۴ ترابایت که قابلیت رمزگذاری خودکار دارند. این درایوها برای ذخیره‌سازی داده‌های سیستم و برنامه‌ها استفاده می‌شوند.
  • Front Console board: برد کنسول جلویی. این برد شامل پورت‌های USB، VGA و سایر اتصالات است.
  • 2x USB 3.1, 1x VGA: دو پورت USB 3.1 و یک پورت VGA. این پورت‌ها برای اتصال دستگاه‌های جانبی مانند کیبورد، ماوس و مانیتور استفاده می‌شوند.

Ambient temperature sensor: سنسور دمای محیط. این سنسور دمای محیط اطراف سرور را اندازه‌گیری می‌کند و برای کنترل فن‌ها و جلوگیری از افزایش دما استفاده می‌شود.

ماژول پنل پشتی DGX H100

تصویر زیر نمای پشتی سیستم NVIDIA DGX H100 را نشان می‌دهد. در بخش های مشخص شده روی تصویر را توضیح می‌دهیم:

• GPU tray (محفظه GPU): این بخش محل قرارگیری واحدهای پردازش گرافیکی (GPU) سیستم است. “tray” به این معنی است که احتمالاً ماژولار است و می‌توان آن را برای تعمیر و نگهداری یا ارتقاء به داخل و خارج کشویی حرکت داد. GPUها هسته اصلی قدرت پردازش DGX H100، به ویژه برای وظایف هوش مصنوعی و محاسبات با عملکرد بالا هستند.
• Motherboard tray (محفظه مادربرد): این بخش شامل مادربرد سیستم است. مادربرد مدار اصلی کامپیوتر است و CPU، حافظه و سایر اجزای ضروری را در خود جای داده است. مانند محفظه GPU، احتمالاً برای سرویس‌دهی آسان‌تر ماژولار است.
• ۶ x 3.3kW Power Supplies (6 منبع تغذیه ۳.۳ کیلووات): این نشان می‌دهد که سیستم از شش منبع تغذیه استفاده می‌کند که هر کدام قادر به ارائه ۳.۳ کیلووات برق هستند. این ظرفیت بالای برق برای پشتیبانی از نیازهای انرژی GPUهای قدرتمند و سایر اجزای داخل DGX H100 ضروری است. این واقعیت که چندین منبع تغذیه وجود دارد، نشان دهنده افزونگی است – اگر یکی از آنها خراب شود، بقیه می‌توانند به تامین برق سیستم ادامه دهند.
• Pull out tab with System Serial Number (زبانه کشویی با شماره سریال سیستم): این یک زبانه است که می‌توان آن را بیرون کشید تا شماره سریال سیستم نمایان شود. این برای شناسایی، ادعای گارانتی و پیگیری سیستم مهم است.

به طور خلاصه، این نمای پشتی DGX H100 طراحی ماژولار آن (محفظه GPU، محفظه مادربرد)، الزامات برق قابل توجه آن (۶ منبع تغذیه ۳.۳ کیلووات) و گنجاندن کاربردی یک شماره سریال سیستم به راحتی در دسترس را برجسته می‌کند. این ویژگی‌ها همگی به منظور مدیریت‌پذیر، قدرتمند و قابل اعتماد ساختن DGX H100 در یک محیط مرکز داده هستند.

اتصالات و کنترل‌های مادربرد سیستم NVIDIA DGX H100

تصویر زیر نمای اتصالات و کنترل‌های مادربرد سرور NVIDIA DGX H100 را نشان می‌دهد. در زیر بخش های مشخص شده روی تصویر را توضیح می‌دهیم:

• Slot 1: Dual port ConnectX-7 card: اسلات ۱: کارت دو پورت ConnectX-7. این اسلات برای کارت شبکه پرسرعت ConnectX-7 با دو پورت (برای اتصال redundancy یا پهنای باند بیشتر) در نظر گرفته شده.
• 4x OSFP ports, each provides connectivity to two ConnectX-7 cards for a total of 8 x 400Gb/s ports: چهار پورت OSFP، هر کدام اتصال را به دو کارت ConnectX-7 فراهم می‌کنند که در مجموع ۸ پورت ۴۰۰ گیگابیت بر ثانیه می‌شود. پورت‌های OSFP برای اتصال‌های پرسرعت نوری استفاده می‌شوند و هر کدام از این پورت‌ها به دو کارت ConnectX-7 متصل شده‌اند تا پهنای باند بسیار بالایی فراهم کنند.
• Slot 2: Dual port ConnectX-7 card: اسلات ۲: کارت دو پورت ConnectX-7. مشابه اسلات ۱، این اسلات هم برای کارت شبکه ConnectX-7 با دو پورت در نظر گرفته شده.
• Slot 3: 100 Gb/s Ethernet NIC: اسلات ۳: کارت NIC اترنت ۱۰۰ گیگابیت بر ثانیه. این اسلات برای یک کارت شبکه (Network Interface Card) با سرعت ۱۰۰ گیگابیت بر ثانیه است.
• Slot 4: M.2 PCIe carrier for Dual 1.92TB NVMe boot drives: اسلات ۴: حامل M.2 PCIe برای دو درایو بوت NVMe با ظرفیت ۱.۹۲ ترابایت. این اسلات برای نصب درایوهای NVMe پرسرعت M.2 که برای بوت سیستم عامل استفاده می‌شوند، در نظر گرفته شده.
• 2x USB 3.1 ports (keyboard or storage): دو پورت USB 3.1 (صفحه کلید یا ذخیره‌سازی). این پورت‌ها برای اتصال دستگاه‌های USB مانند صفحه کلید، ماوس یا حافظه‌های جانبی استفاده می‌شوند.
• VGA port (monitor): پورت VGA (مانیتور). پورت استاندارد VGA برای اتصال مانیتور.
• Serial I/O port: پورت سریال I/O. این پورت برای اتصال دستگاه‌های قدیمی‌تر که از پورت سریال استفاده می‌کنند یا برای دسترسی به کنسول سیستم کاربرد دارد.
• 1GbE RJ-45 for Remote System Management (BMC): پورت RJ-45 یک گیگابیت اترنت برای مدیریت از راه دور سیستم (BMC). این پورت برای اتصال به BMC (Baseboard Management Controller) و مدیریت سرور از راه دور استفاده می‌شود.
• 10GbE RJ-45 for Remote Host OS Management: پورت RJ-45 ده گیگابیت اترنت برای مدیریت از راه دور سیستم عامل میزبان. این پورت برای مدیریت سیستم عامل سرور از راه دور استفاده می‌شود.
• Unit Identification (UID) push button and LED: دکمه و LED شناسایی واحد (UID). این دکمه و LED برای شناسایی سرور در رک یا مرکز داده استفاده می‌شوند. با فشردن دکمه، LED روشن یا شروع به چشمک زدن می‌کند.
• BMC Reset button: دکمه تنظیم مجدد BMC. این دکمه برای ریست کردن کنترلر BMC استفاده می‌شود.
• Power button: دکمه پاور. دکمه روشن و خاموش کردن سیستم.
• ۴-digit 7-segment LED code display for simplified troubleshooting: نمایشگر ۴ رقمی ۷ قسمتی LED برای عیب‌یابی ساده. این نمایشگر کدهای خطا را نمایش می‌دهد که به تشخیص مشکلات سیستم کمک می‌کنند.

اجزای سینی مادربرد سرور NVIDIA DGX H100

تصویر زیر نمای اجزای سینی مادربرد سرور NVIDIA DGX H100 را نشان می‌دهد. در زیر بخش های مشخص شده روی تصویر را توضیح می‌دهیم:

• PCIe card riser for slots 1 and 3: رایزر کارت PCIe برای اسلات‌های ۱ و ۳. این قسمت، کارت‌های PCIe را به مادربرد متصل می‌کند و احتمالاً برای کارت‌های توسعه‌ای مانند GPU یا شتابدهنده‌های دیگر استفاده می‌شود.
• 32x 64GB DIMMs for a total of 2TB of system memory: تعداد ۳۲ عدد DIMM با ظرفیت ۶۴ گیگابایت که در مجموع ۲ ترابایت حافظه سیستم را تشکیل می‌دهند. DIMM ها ماژول‌های حافظه RAM هستند و این سیستم از حافظه بسیار زیادی پشتیبانی می‌کند.
• Networking modules. Each includes 4 x ConnectX-7 network devices: ماژول‌های شبکه. هر کدام شامل ۴ دستگاه شبکه ConnectX-7 هستند. این ماژول‌ها برای ارتباطات شبکه پرسرعت استفاده می‌شوند و ConnectX-7 یک کارت شبکه بسیار پیشرفته است.
• 100Gb Ethernet NIC (top) ConnectX-7 storage networking (bottom): کارت NIC اترنت ۱۰۰ گیگابیت (بالا) شبکه ذخیره‌سازی ConnectX-7 (پایین). این بخش نشان می‌دهد که کارت‌های شبکه مختلفی در این ماژول‌ها وجود دارند که هم برای ارتباطات اترنت معمولی و هم برای شبکه‌های ذخیره‌سازی پرسرعت استفاده می‌شوند.
• OSFP transceivers for external ConnectX-7 cluster networking: فرستنده‌های OSFP برای شبکه‌بندی خوشه‌ای ConnectX-7 خارجی. OSFP یک استاندارد برای اتصال‌های نوری پرسرعت است و در اینجا برای اتصال کارت‌های ConnectX-7 به شبکه خوشه‌ای (برای اتصال چند سیستم DGX به هم) استفاده می‌شود.
• Midplane connectivity Power, PCIe, sensors and signaling communications: اتصال میانی ارتباطات برق، PCIe، سنسورها و سیگنالینگ. Midplane یک برد الکترونیکی است که اتصال بین اجزای مختلف سیستم را فراهم می‌کند. در اینجا اتصال برق، PCIe (برای کارت‌های توسعه)، سنسورها و سیگنال‌های کنترلی از طریق این برد انجام می‌شود.
• PCIe card riser for slots 2 and 4: رایزر کارت PCIe برای اسلات‌های ۲ و ۴. مشابه رایزر برای اسلات‌های ۱ و ۳، این قسمت هم برای اتصال کارت‌های توسعه استفاده می‌شود.
• M.2 boot drive carrier (top) ConnectX-7 storage networking (bottom): حامل درایو بوت M.2 (بالا) شبکه ذخیره‌سازی ConnectX-7 (پایین). این بخش نشان می‌دهد که درایوهای M.2 که برای بوت سیستم عامل استفاده می‌شوند در این قسمت قرار دارند و همچنین کارت‌های ConnectX-7 برای شبکه‌های ذخیره‌سازی هم در این بخش هستند.
• Dual x86 Gen5 PCIe capable CPUs: دو CPU با قابلیت PCIe نسل ۵ از x86. این بخش نشان می‌دهد که سیستم از دو پردازنده (CPU) بسیار قدرتمند با قابلیت پشتیبانی از PCIe نسل ۵ استفاده می‌کند.
• 4x Densilink cables to communicate ConnectX-7 network devices to external ports: چهار کابل Densilink برای ارتباط دستگاه‌های شبکه ConnectX-7 به پورت‌های خارجی. کابل‌های Densilink برای اتصال پرسرعت داده‌ها بین اجزای داخلی و پورت‌های خارجی استفاده می‌شوند.

اجزای محفظه GPU (واحد پردازش گرافیکی) سرور NVIDIA DGX H100

تصویر زیر نمای اجزای محفظه GPU (واحد پردازش گرافیکی) سرور NVIDIA DGX H100 را نشان می‌دهد. در زیر بخش های مشخص شده روی تصویر را توضیح می‌دهیم:

• 4x NVSwitches with 4th generation NVLink: چهار عدد سوئیچ NVSwitch با نسل چهارم NVLink. NVSwitch ها قطعاتی هستند که ارتباط پرسرعت بین GPUها را فراهم می‌کنند و NVLink نسل چهارم تکنولوژی ارتباطی بسیار سریع بین GPUهای NVIDIA است.
• 8x NVIDIA H100/H200 Tensor Core GPUs: هشت عدد Tensor NVIDIA H100 GPU، پردازنده‌های گرافیکی هستند که برای محاسبات موازی سنگین، به خصوص در هوش مصنوعی و یادگیری عمیق، استفاده می‌شوند. هسته‌های Tensor قابلیت‌های خاصی برای محاسبات مرتبط با هوش مصنوعی دارند.
• Midplane connectivity Power, PCIe, sensors and signaling communications: اتصال میانی ارتباطات برق، PCIe، سنسورها و سیگنالینگ. Midplane یک برد الکترونیکی است که اتصال بین اجزای مختلف را فراهم می‌کند. در اینجا اتصال برق، PCIe (برای ارتباط کارت‌های توسعه)، سنسورها (برای نظارت بر دما و وضعیت) و سیگنال‌های کنترلی از طریق این برد انجام می‌شود.

نکات کلیدی:

• High GPU Density: این تصویر نشان می‌دهد که این سیستم NVIDIA DGX H100 از تعداد هشت عدد GPU در یک محفظه استفاده می‌کند که نشان دهنده قدرت پردازشی بسیار بالای آن است.
• High-Speed Interconnect: استفاده از NVSwitch و NVLink نسل چهارم، ارتباط بسیار سریع و کارآمد بین GPUها را تضمین می‌کند که برای انجام محاسبات موازی و آموزش مدل‌های بزرگ هوش مصنوعی ضروری است.
• Integrated Design: قرار گرفتن همه این اجزا (GPUها، سوئیچ‌ها و اتصالات) در یک محفظه نشان از طراحی یکپارچه و بهینه‌شده برای عملکرد بالا دارد.

اجزای شبکه محاسباتی و ذخیره‌سازی سرور NVIDIA DGX H100

تصویر زیر نمای اجزای شبکه محاسباتی و ذخیره‌سازی سرور NVIDIA DGX H100 را نشان می‌دهد. در زیر بخش های مشخص شده روی تصویر را توضیح می‌دهیم:

• DGX Networking Module: ماژول شبکه DGX. این ماژول، قطعه‌ای است که کارت‌های شبکه را در خود جای می‌دهد.
• 8x ConnectX-7 VPI 4 in each module: تعداد ۸ کارت ConnectX-7 VPI، که ۴ عدد در هر ماژول است. ConnectX-7 یک کارت شبکه بسیار پرسرعت است و VPI نشان می‌دهد که قابلیت پشتیبانی از پروتکل‌های مختلف (مانند Ethernet و InfiniBand) را دارد.
• Networking Module Interposer: اینترپوزر ماژول شبکه. اینترپوزر یک برد میانی است که ماژول‌های شبکه را به سایر بخش‌های سیستم متصل می‌کند.
• ConnectX-7 Storage Networking: شبکه ذخیره‌سازی ConnectX-7. این بخش نشان می‌دهد که از کارت‌های ConnectX-7 برای شبکه‌های ذخیره‌سازی پرسرعت هم استفاده می‌شود.
• DGX OSFP Carrier Board: برد حامل DGX OSFP. این برد، پورت‌های OSFP (Octal Small Form Factor Pluggable) را برای اتصال‌های شبکه پرسرعت فراهم می‌کند.
• DensiLink cables 2 x links per cable: کابل‌های DensiLink،تعداد ۲ لینک در هر کابل است. کابل‌های DensiLink برای اتصال پرسرعت بین اجزای مختلف سیستم استفاده می‌شوند.
• 2x QSFP112 1 x Ethernet (400Gb/s) 1 x InfiniBand (400Gb/s): دو پورت QSFP112، یک پورت Ethernet (400Gb/s) و یک پورت InfiniBand (400Gb/s) .QSFP112 نوعی کانکتور برای اتصال‌های پرسرعت است و در اینجا برای اتصال‌های Ethernet و InfiniBand با سرعت ۴۰۰ گیگابیت بر ثانیه استفاده شده است.
• 8x InfiniBand or Ethernet links 4 x OSFP cables/transceivers 2 x links per OSFP cable/transceiver 400 Gb/s per link: تعداد ۸ لینک InfiniBand یا Ethernet، تعداد ۴ عدد کابل/فرستنده OSFP،  تعداد ۲ لینک در هر کابل/فرستنده OSFP، ۴۰۰ گیگابیت بر ثانیه در هر لینک وجود دارد. این بخش مشخص می‌کند که سیستم از اتصال‌های پرسرعت InfiniBand یا Ethernet با استفاده از کابل‌ها و فرستنده‌های OSFP پشتیبانی می‌کند.

ماژول شبکه سرور NVIDIA DGX H100

تصویر زیر نمای اجزای ماژول شبکه سرور NVIDIA DGX H100 را نشان می‌دهد. در زیر بخش های مشخص شده روی تصویر را توضیح می‌دهیم:

• ماژول شبکه ۱: ماژول شبکه ۱
• Individual ConnectX-7: کارت ConnectX-7 خصوصی. این بخش نشان می دهد که هر ماژول شبکه شامل کارت ConnectX-7 است.
• mlx5_11/mlx5_6 mlx5_10/mlx5_9 Network Module 1: این عبارت به شماره پورت‌ها یا آدرس‌های کارت‌های داخلی ConnectX-7 در ماژول شبکه ۱ اشاره دارند. mlx5 یا نشان دهنده یک درایور رابط Mellanox (شرکت سازنده ConnectX-7) است.
• PCIe Connections to GPU tray through midplane: اتصالات PCIe به محفظه GPU از طریق midplane. این بخش نشان می‌دهد که کارت‌های ConnectX-7 از طریق PCIe به GPUها در محفظه GPU و از طریق برد میانی (midplane) متصل می‌شوند.
• اتصالات به پورت های OSFP (2 پورت در هر کابل DensiLink): اتصال به پورت های OSFP (2 پورت در هر کابل DensiLink). OSFP نوعی کانکتور برای اتصال نوری پرسرعت است و کابل های DensiLink برای اتصال این کارت ها به پورت های OSFP استفاده می شود.
• اتصالات به CPU1: اتصال به CPU1. این بخش نشان می‌دهد که کارت‌های ConnectX-7 به پردازنده CPU1 نیز مرتبط می‌شوند.
• ماژول شبکه ۰: ماژول شبکه ۰
• mlx5_4/mlx5_3 mlx5_5/mlx5_0 Network Module 0: عبارت‌های مشابه ماژول ۱، اینها به شماره پورت‌ها یا آدرس‌های داخلی کارت‌های ConnectX-7 در ماژول شبکه ۰ اشاره دارند.
• اتصالات به CPU0: اتصال به CPU0. این بخش نشان می‌دهد که کارت‌های ConnectX-7 به پردازنده CPU0 نیز مرتبط می‌شوند.

نکات کلیدی:

• طراحی مدولار: سیستم شبکه از ماژول‌های ساخته شده است که هر کدام شامل کارت ConnectX-7 هستند.
• اتصال با پهنای باند بالا: استفاده از ConnectX-7، OSFP و کابل‌های DensiLink از پهنای باند بسیار بالا برای شبکه های ارتباطی است.
• اتصال به CPU و GPU: کارت‌های ConnectX-7 هم به CPUها و هم به GPUها متصل می‌شوند که امکان ارتباط با این اجزا را فراهم می‌کنند.
• مقیاس پذیری: طراحی ماژولار امکان افزایش یا کاهش تعداد ماژول ها و در نتیجه توسعه یا کاهش توان شبکه را می‌کند.

اطلاعات PDF پردازنده گرافیکی NVIDIA DGX H100

• Datasheet / دیتاشیت، برای پردازنده گرافیکی NVIDIA DGX H100 80GB 8-GPU
• لینک محصول در سایت NVIDIA.