باز کردن قفل مدلهای تریلیون پارامتری بلادرنگ
پلتفرم سرور گرافیکی انودیا GB200 NVL72 به گونه ای طراحی شده که تعداد ۳۶ عدد CPU Grace و ۷۲ عدد GPU Blackwell را در مقیاس رک به هم متصل می کند. GB200 NVL72 یک راه حل در مقیاس رک با خنک کننده مایع است و دارای یک دامنه NVLink با ۷۲ عدد GPU است که به عنوان یک واحد پردازش گرافیکی عظیم عمل می کند و عملیات استنتاج LLM با تریلیون پارامتر در زمان واقعی را ۳۰ برابر سریعتر ارائه می دهد. سوپرتراشه GB200 Grace Blackwell یکی از اجزای کلیدی NVIDIA GB200 NVL72 است که دو پردازنده گرافیکی NVIDIA Blackwell Tensor Core با کارایی بالا و یک CPU NVIDIA Grace را با استفاده از اتصال NVIDIA NVLink-C2C به دو پردازنده گرافیکی بلک ول GPU Blackwell متصل می کند.
سوپرشارژ هوش مصنوعی نسل بعدی و محاسبات تسریع‌شده با NVIDIA GB200 NVL72:
تصویر زیر مربوط به آزمایش و مقایسه NVIDIA HGX™ H100 مقیاس‌پذیر بر روی InfiniBand (IB) با GB200 NVL72 در حوزه های کار مختلف است که نتایج آن را در تصویر می بینید:
استنتاج LLM و بهره‌وری انرژی: زمان تأخیر کلی (TTL) = ۵۰ میلی‌ثانیه (ms) در زمان واقعی، زمان تأخیر اولین توکن (FTL) = ۵ ثانیه، با ورودی ۳۲,۷۶۸ و خروجی ۱,۰۲۴، مقایسه NVIDIA HGX™ H100 مقیاس‌پذیر بر روی InfiniBand (IB) با GB200 NVL72. آموزش ۱.۸T MOE با ۴۰۹۶ پردازنده HGX H100 مقیاس‌پذیر بر روی IB در مقایسه با ۴۵۶ پردازنده GB200 NVL72 مقیاس‌پذیر بر روی IB. اندازه کلاستر: ۳۲,۷۶۸ | بار کاری اتصال و تجمیع پایگاه داده با فشرده‌سازی Snappy / Deflate که از پرس و جو TPC-H Q4 مشتق شده است. پیاده‌سازی‌های سفارشی پرس و جو برای x86، یک پردازنده گرافیکی H100 و یک پردازنده گرافیکی از GB200 NVL72 در مقابل Intel Xeon 8480+.
استنتاج LLM در زمان واقعی
GB200 NVL72 قابلیت‌های پیشرفته و یک موتور ترنسفورمر نسل دوم را معرفی می‌کند که امکان پردازش FP4 AI را فراهم می‌آورد و در کنار NVLink نسل پنجم NVIDIA، عملکرد استنتاج LLM در زمان واقعی را برای مدلهای زبانی با تریلیون پارامتر ۳۰ برابر سریعتر می‌کند. این پیشرفت با استفاده از نسل جدید هسته‌های تنسور ممکن شده است که فرمت‌های میکروسکال جدیدی را معرفی می‌کند و دقت بالا و توان عملیاتی بیشتری را فراهم می‌آورد. علاوه بر این، GB200 NVL72 از NVLink و سیستم خنک‌کننده مایع برای ایجاد یک رک ۷۲ پردازنده گرافیکی بزرگ و یکپارچه استفاده می‌کند که می‌تواند بر موانع ارتباطی غلبه کند.
آموزش مقیاس عظیم
GB200 NVL72 شامل یک موتور ترنسفورمر نسل دوم سریعتر است که از دقت FP8 بهره می‌برد و امکان آموزش سریعتر ۴ برابری برای مدلهای زبانی بزرگ در مقیاس را فراهم می‌کند. این پیشرفت با NVLink نسل پنجم تکمیل شده است که ۱.۸ ترابایت در ثانیه (TB/s) اتصال بین پردازنده‌های گرافیکی، شبکه InfiniBand و نرم‌افزار NVIDIA Magnum IO™ را ارائه می‌دهد.
زیرساخت با بهره‌وری انرژی
رک‌های GB200 NVL72 با خنک‌سازی مایع، ردپای کربن و مصرف انرژی یک مرکز داده را کاهش می‌دهند. خنک‌سازی مایع، چگالی محاسبات را افزایش می‌دهد، فضای کف مورد استفاده را کاهش می‌دهد و ارتباطات GPU با پهنای باند بالا و تأخیر کم با معماری‌های دامنه بزرگ NVLink را تسهیل می‌کند. در مقایسه با زیرساخت خنک‌سازی هوایی NVIDIA H100، GB200 با همان توان، ۲۵ برابر عملکرد بیشتری ارائه می‌دهد و مصرف آب را کاهش می‌دهد.
پردازش داده
پایگاه‌های داده نقش حیاتی در مدیریت، پردازش و تحلیل حجم‌های بزرگ داده برای سازمان‌ها دارند. GB200 از عملکرد بالای حافظه، NVLink-C2C و موتورهای decompress اختصاصی در معماری NVIDIA Blackwell بهره‌برداری می‌کند تا بهبود عملکرد کلیدی در استعلام‌های پایگاه داده را به میزان ۱۸ برابر در مقایسه با CPU فراهم کرده و TCO (هزینه کل مالکیت) بهتری به میزان ۵ برابر ارائه دهد.
مشخصات فنی و ویژگی‌های پیشرفته تکنولوژیکی انودیا NVIDIA GB200 NVL72
-
معماری بلک‌ول
معماری NVIDIA Blackwell پیشرفت‌های چشمگیری را در زمینه محاسبات تسریع شده ارائه می‌دهد و دوره جدیدی از محاسبات را با عملکرد، کارایی و مقیاس بی‌نظیر به حرکت درمی‌آورد.
-
پردازنده NVIDIA Grace CPU
پردازنده NVIDIA Grace CPU یک پردازنده پیشرفته است که برای مراکز داده مدرن که در حال اجرای برنامه‌های هوش مصنوعی، ابر و محاسبات با کارایی بالا هستند، طراحی شده است. این پردازنده عملکرد و پهنای باند حافظه فوق‌العاده‌ای را با ۲ برابر کارایی انرژی نسبت به پردازنده‌های سرور پیشرو امروزی ارائه می‌دهد.
-
نسل پنجم NVIDIA NVLink
برای آزادسازی پتانسیل کامل محاسبات اگزاسکیل و مدلهای هوش مصنوعی با تریلیون پارامتر، نیاز به ارتباط سریع و بدون وقفه بین هر GPU در یک خوشه سرور است. نسل پنجم NVLink یک ارتباط مقیاس‌پذیر است که عملکرد شتاب‌یافته‌ای را برای مدلهای هوش مصنوعی با تریلیون و چند تریلیون پارامتر فراهم می‌آورد.
-
شبکه NVIDIA
شبکه مرکز داده نقش حیاتی در پیشبرد پیشرفت‌های هوش مصنوعی و عملکرد آن دارد و به‌عنوان زیرساخت اصلی برای آموزش مدلهای توزیع‌شده هوش مصنوعی و عملکرد هوش مصنوعی تولیدی عمل می‌کند. فناوری‌های NVIDIA Quantum-X800 InfiniBand، NVIDIA Spectrum™-X800 Ethernet و NVIDIA BlueField®-۳ DPUها به مقیاس‌پذیری مؤثر در میان صدها و هزاران GPU بلک‌ول کمک می‌کنند تا عملکرد بهینه‌ای برای برنامه‌ها فراهم شود.
