نگاهی به سرور تک پردازنده ASUS ESC4000A-E10

با بالا رفتن حجم عملیات سرورها به ویژه سرورهای مبتنی بر شتاب دهنده‌های گرافیکی و معرفی پردازنده‌های قدرتمند سری AMD EPYC، کاربران با داشتن تنها یک سوکت در سرور می‌توانند به حجم محاسباتی و عملیاتی بالایی دسترسی داشته باشند.

در این بررسی قصد داریم با یکی از بهینه‌ترین GPU سرورهای مبتنی بر پردازنده های AMD EPYC همراه شما باشیم. سرور ESC4000A-E10 ایسوس با پشتیبانی از آخرین نسل پردازنده‌های ویژه سرور شرکت AMD، امکان به‌کارگیری هشت شتاب دهنده گرافیکی تک اسلات یا چهار شتاب دهنده گرافیکی 2 اسلاته را در فضای 2U به وجود آورده است.

نگاه کلی به سخت افزار سرور ASUS ESC4000A-E10

در نگاه نخست به این سرور 2 یونیت، قسمت جلوی آن تقریبا تمامی فضا به درایوهای ذخیره‌سازی تخصیص داده شده است. چهار پورت USB 3 Type-A ، چراغ‌های LED وضعیتی سرور و دکمه POWER نیز در همین قسمت وجود دارد. همچنین یک نمایشگر LCD نیز در این قسمت تعبیه شده تا عملیات POST را به مدیر سیستم نشان دهد.

هشت محفظه یا bay با ابعاد استاندارد 3.5″ با امکان نصب درایوهای هر دو سایز 2.5 و 3.5 اینچی به صورت Hot Swap که به صورت پیش فرض از پیکربندی 4 x SATA/SAS + 4 x SATA/SAS/NVMe تبعیت می‌کند نیز تعبیه شده است.

ناگفته نماند که برای نصب یا تغییر در درایوها فقط لازم است آنها را به bayها پیچ کنید و برای جایگزینی محفظه نیز مانند سایر سرورها، نیاز به ابزار خاصی نمی‌باشد.

ایسوس به منظور بهبود در جریان هوا و خنک‌سازی بهتر در کنار شخصی‌سازی بیشتر، قسمت بالایی bayها را به صورت خالی طراحی کرده است تا در صورت نیاز به دستگاه‌های جانبی، امکان نصب در این فضا مهیا باشد. همچنین یک رایزر PCIe Gen4 x8 نیز در این مکان وجود دارد و در کنار آن نیز رابط برق پاور در کنار این رابط قرار گرفته است.

به کمک پردازنده‌های جدید AMD، رابط مدرن PCIe Gen 4.0  قابلیت نصب دستگاه‌ها و تجهیزات جدید سازگار با این رابط را در این سرور مهیا ساخته است. این اسلات قابلیت پشتیبانی از دستگاه‌هایی نظیر Raid Controller، PCIe NIC و یا SSDهای جدید را دارد.

اسلات خالی بعدی نیز یک اسلات قابل شخصی‌سازی است. در این اسلات امکان نصب درایوهای SSD با چینش 4x M.2 NVMe SSD وجود دارد. همچنین امکان افزودن یک اسلات OCP NIC 3.0 (PCIe Gen4 x8)  نیز در این مکان در دسترس است که این آزادی عمل در شاسی‌های سرورهای دیگر یافت نمی‌شود.

در قسمت پشتی سرور، مطابق سرورهای مبتنی بر GPU رایج با ابعاد 2U، گرافیک‌ها در دو طرف سرور جای می‌گیرند. در قسمت میانی سرور، ورودی خروجی‌های در بالای دو منبع تغذیه 1600 واتی با چینش redundant قرار دارد.

همچنین در بخش اتصالات دو پورت USB 3 Type-A، یک پورت VGA، سه پورت شبکه که یکی از نوع Management و دو تای دیگر از نوع 1GbE می‌باشند، قرار گرفته است. ایسوس برای پورت‌های شبکه از کنترلر Intel i350 NIC استفاده کرده است. دو اسلات PCIe دیگر از نوع Low Profile در این قسمت وجود دارد که در بخش تجهیزات و امکانات داخلی به آنها خواهیم پرداخت.

نگاهی به تجهیزات و امکانات داخل ASUS ESC4000A-E10

در نگاه اول هفت فن بزرگ با امکان Hot-Swap وظیفه گردش جریان مداوم هوا برای خنک‌سازی Ramها، پردازنده و جریان هوای لازم برای خنک‌سازی گرافیک‌ها را بر عهده دارند. سه فن به طور اختصاصی توسط یک داکت پلاستیکی شفاف مستحکم جریان  باد را به سمت مادربرد، رم‌ها، پردازنده و منبع‌های تغذیه هدایت می‌کند و دو جفت دیگر نیز هوا را به صورت کانالیزه شده به سمت گرافیک‌ها می‌فرستد.

این فن‌ها بر خلاف سایر فن‌های سرور دیگر، با رنگ زرد و پوشش یکپارچه احاطه شده تا در هنگام پروسه نظافت و نگهداری، به سادگی تمایز آن در سرور پیدا باشد.

در زیر داکت شفاف، کابل کشی دیتا از سمت پنل جلویی شاسی سرور را مشاهده می‌کنید. یک اسلات M.2 22110 (110mm) نیز در اینجا وجود دارد. در پشت این قسمت نیز سوکت بزرگ مادربرد وجود دارد که از پردازنده‌های سری AMD EPYC پشتیبانی می‌کند که ما برای تست از پردازنده AMD EPYC 7742 64-core استفاده کرده‌ایم. در کنار این پردازنده عظیم، ما از هشت حافظه RAM DDR4-3200 با مقدار 256 گیگابایت برای هر ماژول LRDIMM استفاده کرده‌ایم که در مجموع میزان 2 ترابایت حافظه RAM را در اختیار ما با استفاده از تنها یک پردازنده قرار داده است.

این میزان پشتیبانی از رم در حالی است که در سرورهای مبتنی بر چیپست اینتل به 2 پردازنده نسل دوم سری Intel Xeon Scalable Refresh نیاز است که هزینه گزاف دو پردازنده شاید معادل کل این سرور باشد و با توجه به این که خبری از فناوری جدید PCIe Gen 4.0 نیز در آن نیست.

در قسمت قبلی، در مورد PCIeهای Low Profile صحبت شد که در تصویر زیر یکی از آنها مشخص است. این اسلات از نوع PCIe Gen4 x16 می‌باشد.

در اینجا اسلات دوم را نیز مشاهده می کنید. این اسلات برای نصب انواع تجهیزات نظیر رابط شبکه دوگانه پرسرعت 100Gbps برای InfiniBand یا 100GbE متناسب است.

مادربرد این سرور از مدل KRPG-U8 ایسوس است. در روی مادربرد یک اسلات دوگانه رایزر PCIe Gen4 وجود دارد. برای مدیریت سرور نیز از ASPEED AST2500 BMC استفاده شده که در قسمت ابزارهای مدیریت به عملکرد آن خواهیم پرداخت. یک اسلات micro SD در کنار هیت سینک Intel i350 NIC وجود دارد.

به پادهای GPU در کناره‌های شاسی می‌پردازیم؛ با جدا کردن دو جفت فن کناری شاسی، به این بخش دسترسی راحت‌تری پیدا می‌کنیم. در هر بخش یک برد کوچک برای توزیع جریان مورد نیاز گرافیک‌ها وجود دارد که در سیستم ما برای هر کارت گرافیک 2 کابل برق نیاز است. در این سرور در هر طرف امکان نصب دو کارت دو اسلاته با سایز استاندارد از نوع PCIe Gen4 x16 وجود دارد که در مجموع چهار کارت گرافیک به سادگی درون شاسی این سرور جای می‌گیرد.

علاوه بر آن امکان نصب چهار کارت تک اسلاته برای هر طرف با پشتیبانی از چینش PCIe Gen4 x8 وجود دارد که در مجموع هشت کارت را این سرور پشتیبانی می‌کند. این پادها امکان پشتیبانی از NV-Link را نیز دارند.

هر پاد از دو کانکتور PCIe Gen4 x16 به برد اصلی وصل شده است که برای هر طرف شاسی یک lane از نوع 32x PCIe Gen4 برای نصب گرافیک یا سایر کارت‌های توسعه در اختیار مدیر سیستم قرار داده شده است. ما در این سرور از NVIDIA Quadro RTX 6000 استفاده کرده‌ایم که رابط آن از نوع PCIe Gen 3.0 است، ولی شما می‌توانید برای استفاده از حد اکثر قدرت این سرور از کارت‌های جدید NVIDIA A100 PCIe و AMD Instinct MI100 32GB CDNA GPU استفاده کنید که سرعت بسیار بالاتری دارند.

یکی از ویژگی‌های مهم این سرور در زمینه گردش جریان هوا، امکان استفاده کامل از فن‌های سرور و فن‌های اصلی کارت گرافیک است و در کنار آن نیز داکت کشی فلزی شاسی، جریان هوا را به سمت قطعات گرافیک هدایت می کند که در شاسی‌های دیگر چنین داکت کشی را نمی‌بینیم.

بخش مدیریت سرور ASUS ESC4000A-E10

این سرور از ASPEED AST2500 BMC به صورت درون‌سازی شده برای مدیریت استفاده می‌کند که فرمان‌های MegaRAC SP-X را اجرا می‌کند. ایسوس این راهکار را ASMB9-iKVM نام نهاده است که خود شامل IPMI، WebGUI و مدیریت Redfish برای پلتفرم است.

این راهکار دارای یک سری ویژگی‌های اختصاصی است که به برخی از آنها می‌پردازیم. به طور مثال ایسوس اجازه به‌روزرسانی بایوس سیستم را توسط رابط استاندارد web GUI به مدیر سیستم می‌دهد. در سرورهای Supermicro  نیاز به خرید ماژولی جدا برای این کار است.

مورد دیگر پشتیبانی کامل HTML5 iKVM در این راهکار است. همچنین serial-over-LAN و JAVA iKVM نیز از دیگر امکانات این بخش است. شرکت‌های Dell EMC ،HP و Lenovo برای چنین امکاناتی هزینه‌های اضافه دریافت می‌کنند.

ایسوس برای مدیریت از Redfish API نیز پشتیبانی می‌کند. گاهی ممکن است از طریق Web GUI به همه بخش‌های BIOS دسترسی کامل نداشت که برای این منظور راهکارهای iDRAC ، iLO و XClarity برای GPU سرورهایی که به ویژگی‌های کلیدی نظیر کار با انکدینگ 4G قابل پشتیبانی نیست، به ناچار از رابط API به کار گرفته شده در Redfish باید استفاده کرد.

یکی دیگر از ویژگی‌های جذاب BIOS این سرور، امکان استفاده از راهکار افزایش راندمان کلی سیستم است. در این بایوس امکاناتی نظیر اورکلاکینگ خودکار و تنظیمات بهینه‌سازی بیشتر مطابق با رکوردهای پردازشی ایسوس در Spec.org برای کاربر قابل دسترس است. این بخش به نوعی با افزایش عملکرد کلی سرور، منجر به مقرون به صرفه‌تر شدن هزینه کلی سرور نسبت به قدرت آن می‌گردد.

بخش دیگر از ویژگی منحصر به فرد ایسوس ، ویژگی IPMI Hardware Monitor یا IPMI HWM است. برای مدیریت این بخش علاوه بر دسترسی کامل از طریق بایوس، ایسوس یک نرم افزار جانبی برای این بخش در دسترس قرار داده است.

بلاک دیاگرام ASUS ESC4000A-E10

با توجه به تک سوکت بودن این سرور و استفاده از پردازنده AMD EPYC، یک چینش NUMA ، بلاک دیاگرام این سرور مشابه تصویر زیر است که از روی مادربرد KRPG-U8 ایسوس برداشتیم و می‌توان گفت مرتبط به سرور ESC4000A-E10 خواهد بود.

جالب‌ترین بخش این بلاک دیاگرام سادگی در ارتباط پذیری آن است که مهندسان طراح ایسوس تنها با یک سوکت پردازنده به آن دست یافته‌اند و هزینه‌ها را به طور چشمگیری کاسته و توپولوژی بهینه‌ای را به کار گرفته‌اند.

عملکرد ASUS ESC4000A-E10

برای سنجنش عملکرد این سرور از اسکریپت‌های قدیمی Linux-Bench استفاده شد که در این سرور ما از نسخه به‌روز شده این اسکریپت‌ها یعنی Linux-Bench2  استفاده کردیم. برخی از بنچمارک‌های ما شاید روزهای متوالی در حال اجرا بود تا بنچمارک‌ها به صورت یکسان و استاندارد باشد.

بنچمارک Python Linux 4.4.2 Kernel Compile

در چند سال اخیر این بنچمارک یکی از معتبرترین بنچمارک‌ها برای سنجش قدرت سرورها است. عملیات آن در عین سادگی، از کرنل Linux 4.4.2 kernel با پیکربندی استاندارد، پردازنده‌های متعددی را از خانواده AMD EPYC در این سرور مورد سنجش قرار دادیم:

بنچمارک c-ray 1.1

این بنچمارک برای سنجش قرار دادن عملکرد Ray Tracing در چند سال اخیر مورد استفاده قرار می‌گیرد که ما از خروجی 8K در این سرور، سنجش مورد نظر را انجام دادیم:

عملکرد 7-zip Compression

یکی از روال‌ترین بنچ مارک‌ها، بنچ مارک فشرده سازی7-Zip است که نتیجه آن را در این سرور مشاهده می‌کنید:

بنچمارک OpenSSL 

یکی از حیاتی‌ترین پروتکل‌های ارتباطی میان سرورها OpenSSL است که انواع مختلف آن را ما در این سرور اجرا کردیم:

سنجش قدرت پردازش گرافیکی ESC4000A-E10

به منظور اعتبار بخشی به سیستم و یکسان‌سازی آن با نوع GPU مورد استفاده در این سرور و ایجاد تشابه عملکرد آن معادل سرورهای 4 یونیت با چینش‌های 8 تا 10 گرافیکی، ما از چهار کارت NVIDIA Quadro RTX 6000 با خنک‌سازی Passive استفاده کردیم.

در سیستم از سوییج PCIe استفاده نشد. در نتیجه از نرخ انتقال P2P استفاده کردیم که به توپولوژی عالی AMD EPYC IO Die برای پیمایش مسیرهای مربوط به GPUها است. هرچند با نصب NVLink در هر پاد نتیجه متفاوت خواهد بود ولی ما سرور کارت‌ها را به صورت جدا جدا مورد بررسی قرار دادیم.

در سرورهای مبتنی بر GPU، تنظیمات بایوس در بهبود عملکرد کلی سیستم بسیار تاثیرگذار است که با استفاده از رابط Web در IPMI این تنظیمات قابل تغییر است که در ادامه نتایج را ملاحظه می‌کنید:

مصرف انرژی ASUS ESC4000A-E10

مصرف انرژی در سرور به میزان فشار کار پردازنده و گرافیک بستگی دارد. مادربرد این سرور به طور رسمی از پردازنده‌هایی با حداکثر TDP 280W پشتیبانی می‌کند. با چهار گرافیک مصرف سرور در هنگام بی کاری معادل 0.35kW به همراه پردازنده AMD EPYC 7702P، 8x 32GB DIMM، 4x Samsung PM1733 3.84TB NVMe SSD بود. در هنگام فشار کاری کامل نیز بازه مصرف 1000 تا 1400 وات در این سرور دیده شد که پاورهای 1600 واتی این سرور به طور کامل از پس آن بر آمدند.

نمودار اسپایدر ASUS ESC4000A-E10

در این نمودار به سادگی امکان درک میزان عملکرد و بست‌پذیری سرور ESC4000A-E10 مشخص شده است، همانطور که از یک سرور پردازش گرافیکی انتظار می‌رود، این سرور قدرت اصلی خود را در عملیات مبتنی بر شتاب دهنده های گرافیکی به طور کامل به نمایش می‌گذارد.

تمرکز و هدف این سرور فقط و فقط در به‌کارگیری شتاب دهنده‌های گرافیکی است. هرچند این سرور مشابه GPU سرورهای متراکم 1U نیست، ولی در نوع خود در دو یونیت (2U) امکان استفاده از هشت شتاب دهنده پردازشی/GPU را در اختیار کاربر قرار داده است. در کنار آن کماکان جا برای نصب ذخیره‌سازها و شبکه‌های مدرن و پرسرعت نیز در این سرور وجود دارد.

سخن پایانی

به عنوان سخن پایانی، این سرور علاوه بر داشتن پردازنده قدرتمند و مقرون به صرفه، جایگزینی بسیار مناسب برای سرورهای مبتنی بر گرافیک رایج 4U با 2 ست پردازنده است. از لحاظ پشتیبانی و بست‌پذیری همانطور که در بررسی مطالعه نمودید امکان نصب حداکثری واحد حافظه RAM در مقایسه با سرورهای دو سوکته Intel، راهکارهای جذاب مدیریتی رایگان ایسوس، پشتیبانی از درایوهای نسل جدید PCIe Gen 4.0 و از همه مهم‌تر پشتیبانی از هشت گرافیک در فضای 2U از ویژگی‌های مهم این سرور است.