3 równoczesne innowacje i do tego najmocniejszy w Polsce
W dniu 27 kwietnia 2015 roku odbyło się oficjalne uruchomienie klastra obliczeniowego PROMETHEUS w Krakowie, w Ośrodku Obliczeniowym AGH CYFRONET. Jest to obecnie najsilniejszy klaster w Polsce (#30 miejsce na świecie według porównania do listopadowej listy TOP500). Jego moc obliczeniowa to ponad 1,6 PFlops. Złożony jest z ponad 1.7 tyś serwerów 2-procesorowych połączonych siecią Infiniband. Został zbudowany w rekordowo krótkim czasie – 16 tygodni.
Klaster PROMETHEUS stanowi wspaniałe narzędzie dla polskiego środowiska akademickiego.
W historii firmy MEGATEL jest to największa, we wszystkich jej aspektach, zarówno finansowych jak i technicznych, jednorazowa instalacja. Choć formalnie MEGATEL był lider konsorcjum MEGATEL – ACTION, które wygrało przetarg, to sukces projektu jest wynikiem ogromnej pracy i zaangażowania wszystkich firm i osób biorących udział w projekcie. Począwszy od pracowników CYFRONET reprezentujących użytkownika, wykonawcy systemu chłodzenia firmy ZETO PROJEKT, inżynierów i zarządu HP Polska reprezentujących producenta rozwiązania oraz dystrybutora firmy ACTION, który zapewniła finansowanie. Był to ponad 30 osobowy zespół pracujący zarówno w Polsce jak i w USA. Łącznie ponad 16 tygodni, bo prace zaczęły się wcześniej niż formalne podpisanie umowy. W samym MEGATEL poświęciliśmy ponad 3 tyś. godzin projektowych na realizację przedsięwzięcia.
Umiejętności, wiedza i pieniądze spotkały się w jednym momencie by dać przełomowy efekt.
Dlaczego klaster PROMETHEUS jest unikalny?
Wbrew pozorom nie chodzi tu o wielkość mocy obliczeniowej, bo to tylko kwestia ilości milionów USD jakie stoją na drodze uzyskania konkretnego wyniku w Petaflops.
Niezwykłość tego klastra polega na tym w jak nowatorski sposób podchodzi do trzech najważniejszych problemów HPC: starzenie się sprzętu, odbioru ciepła oraz zajętość serwerowni.
W zakresie odbioru ciepła w HP Apollo 8000 zastosowano dwie istotne innowacji: szczelne szafy i gorącą wodę. Konstrukcja HP Apollo 8000 to tak naprawdę termosy w kształcie szaf RACK. Ciepło wydostaje się z nich rurami z wodą. Zbędne jest zewnętrzne, powietrzne chłodzenie. Dzięki temu potrzeba tylko 6% więcej energii niż pobiera sam klaster (PUE – 1,06). W efekcie jest to 90% (!) oszczędność na kosztach chłodzenia co przekłada się na milionowe oszczędności w okresie eksploatacji.
Już woda o temperaturze pokojowej 30 stopni Celsjusza chłodzi klaster. W trakcie przepływu podgrzewa się do temperatury ponad 40 stopni Celsjusza. Tym samym taka woda nadaje się do dalszego przemysłowego wykorzystania (ogrzewanie, ciepła woda użytkowa) czy do swobodnego wychłodzenia poprzez chłodnice umieszczone na dachu budynku.
Tu film o najważniejszych szczegółach technicznych:
Zwłaszcza dla zainteresowanych wiedzą w jaki sposób, w wodnym systemie uzyskano szczelność (tzw. suchy styk). Innowacji w HP Apollo 8000 jest więcej. Wszystkie zebrane są tu.
PROMETHEUS ma okazję być pierwszym systemem używanym dłużej niż życie elektroniki w nim zawarte. Po wyciągnięciu serwerów i przełączników otrzymujemy bardzo sprawną infrastrukturę chłodząco zasilającą o wydolności 80kW na szafę RACK. Wystarczy włożyć sprzęt nowej generacji. Czy tak się stanie to zależeć będzie od popularności tego rozwiązania w globalnej skali. Trzeba pamiętać, że na razie CYFRONET jest jedną z czterech instalacji HP Apollo 8000 na świecie.
Miejsce w serwerowni jest tak cenne jak koszt jej wybudowania. W HP Apollo 8000 zostało osiągnięte rekordowe upakowanie. W sumie jest to 144 serwery 2P w pojedynczej, tylko na 60 cm szerokiej, szafie RACK (łącznie z przełącznikami INFINIBAND i Ethernet). Biorąc pod uwagę dodatkowe szafy z pompami, które działają w redundancji, cały klaster mieści się 9 metrowym korytarzu.
PROMETEUSZ to przykład sprzętu nowej generacji. Sprawnego energetycznie, zajmującego mało miejsca, nadającego się do ponownego wykorzystania i produkującego ciepło do ponownego, przemysłowego użycia. Jesteśmy dumni, że mogliśmy uczestniczyć przy jego budowie.
Użytkownikom klastra życzymy przełomowych obliczeń na miarę mocy sprzętu, a CYFRONET i sobie samym bezawaryjnej pracy urządzeń.