Przykładowe wytyczne dla projektu obiektu typu Data Center

Wymagania ogólne

  1. Systemy zasilania i chłodu (w tym systemy ich automatyki, jeżeli występują na tym poziomie) nie mogą posiadać pojedynczych punktów awarii. Komplementarne (pod względem redundancji) podsystemy muszą mieć zapewnioną separację fizyczną (w tym pożarową).
  2. Nośność stropów minimum 25kN/m2.
  3. W pomieszczeniach technicznych i serwerowniach nie stosuje się sufitów podwieszanych.
  4. Instalacja wody chłodniczej prowadzona w przestrzeni podpodłogowej. Przestrzeń ta posiada system detekcji wycieków oraz stosowne odpływy celem usunięcia ewentualnych wycieków czynnika.
  5. Wysokość przestrzeni podpodłogowej zapewnia stosowną przestrzeń instalacyjną (w tym tą wymaganą dla komfortu prowadzenia prac serwisowych), nie mniej niż 1.2m.
  6. Nośność podłogi minimum 25kN/m2, płyty metalowe lub gipsowe, ruszt skręcany z profili "C", zalecane jest stosowanie rusztu podłogi o zredukowanej liczbie podpór.
  7. Opcjonalnie w przestrzeni podpodłogowej może się znaleźć sieć zasilająca (zwykła i gwarantowana) dla gniazdek ogólnego użytku montowanych w floorboxach oraz związana z nią sieć komputerowa. W takim wypadku floorboxy powinny być przyłączane wtyczkami (IEC 60309 16A + 2xRJ45) do gniazd zamontowanych na stałe do tras kablowych.
  8. Przestrzeń główna minimum 2.5m od podłogi do najniższego elementu instalacji montowany do sufitu.
  9. Całość instalacji zasilającej i IT do szaf serwerowych prowadzona górą (montowana do sufitu). Dla instalacji IT i niskoprądowych przewidziane 2 poziomy koryt siatkowych, jeden poziom koryt przewidziany dla kabli zasilających przyłączanych do szynoprzewodów. Przestrzeń na instalacje prowadzone górą minimum 1.2m.
  10. Orientacyjny kształt i rozmieszczenie pomieszczeń, wraz z wymaganiami funkcjonalnymi i lokalizacją urządzeń infrastruktury zasilająco-chłodniczej przestawione jest w załączniku.
  11. W części birowo-socjalnej wydzielić pomieszczenia:
    • operatornia - minimum 3 stanowiska dla operatorów nadzorujących prace systemów skierowane w stronę ściany z monitorami głównymi, opcjonalnie z przeszkleniem (szyba akustyczna) na halę serwerów
    • warsztat machaniczny - frezarka numeryczna CRC, drukarka 3D, ...
    • warsztat elektroniczny - stanowiska serwisu elektroniki (lutowanie, oscyloskop, zasilacz regulowany, ...) - przykładowe rozwiązanie niewielkiego stanowiska serwisowego
    • węzeł socjalny i pomieszczenia wypoczynkowe
  12. Zapewnić dogodną komunikację pomiędzy operatornią i warsztatami a serwerownią i pomieszczeniami technicznymi (w szczególności powinny znajdować się one w pobliżu)

System chłodniczy powinien być oparty na systemie wody lodowej, należy zapewnić w nim redundancje co najmniej n+1, wraz z redundancją rurociągów (2n) lub redundancję 2n / 2(n+1) wszystkich urządzeń (ułatwia to zapewnienie ich redundantnego zasilania). System chłodniczy powinien umożliwiać freecooling. Dopuszcza się możliwość realizacji redundancji poprzez stosowanie szaf klimatyzacyjnych z podwójnym obiegiem (podstawowy - woda lodowa, dodatkowy na potrzeby redundancji - freon). W tym wypadku należy zapewnić także redundancje w systemie wody lodowej na potrzeby urządzeń chłodzonych bezpośrednio cieczą.

Serwerownia oraz związane z nią pomieszczenia techniczne powinny być objęte systemami bezpieczeństwa takimi jak system kontroli dostępu, system sygnalizacji włamania i napadu, system telewizji dozorowej oraz system p.poż. Celem nadzorowania i rejestracji prac w serwerowni system monitoringu wizyjnego powinien nie posiadać martwych stref (monitorujemy wszystkie zimne i ciepłe korytarze, czyli przód i tył każdej z szaf rackowych) oraz powinien posiadać zduplikowaną rejestrację (lokalna i zdalna - poza serwerownią, z stałym nadzorem ich działania). Na system p.poż. powinien składać się system wykrywania pożaru wykorzystujący podsystem wczesnej, aktywnej detekcji dymu (zasysający), a także system aktywnego zapobiegania pożarom poprzez redukcję ilości tlenu w powietrzu i wspomagający go automatyczny system gaśniczy na gaz obojętny.

Konieczne jest także zapewnienie systemu nadzorującego warunki pracy (przede wszystkim temperaturę) takiego pomieszczenia, pracę systemu zasilającego i chłodniczego, a także sterującego pracą tych systemów (zwłaszcza systemu wytwarzania chłodu). System ten musi być zintegrowany z systemami informatycznymi (zastosowanie standardowych, otwartych protokołów komunikacji, wzajemna wymiana danych, itp.). System taki powinien także umożliwiać dokonywani wyłączenia części systemów w przypadku niemożliwości osiągnięcia poprawnych parametrów środowiskowych.

System zasilania

System zasilający planuje się wykonać w układzie redundancji N+2 (jedna jednostaka w gorącej, a jedna w zimnej rezerwie) w oparciu o zintegrowane z agregatami zestawy UPSów z masą wirującą (Diesel Rotary Uninterruptible Power Supply). Dzięki zastosowaniu odpowiedniego układu podłączeniowego (mieszanie stron poszczególnych sekcji serwerowni pomiędzy DRUPSami oraz opcjonalne zastosowanie systemu izolowano-równoległego) układ taki zapewnia brak pojedyńczego punktu awarii (jest odporny na awarię całej dowolnej sekcji zasilającej). Zapewnia to wymaganą na poziomie TIER IV redundancję systemu zasilania zrealizowaną na zaledwie N+1 jednostkach (zwykle w tym celu konieczne jest 2N jednostek). Kolejna jednostka (N + druga) zapewnia zachowanie pełnej redundancji w trakcie prowadzenia prac swerwisowych dowolnego elementu układu podstawowego (kiedy to zawsze wzrasta ryzyko wystąpienia dodatkowych problemów).

  1. System zasilania gwarantowanego oparty jest o urządzenia typu DRUPS o mocy nie mniejszej niż 1670kVA.
  2. Podstawowy system zrealizowany jest w redundancji N+1 z wykorzystaniem mieszania „stron” dystrybuowanych na serwerowni pomiędzy różnymi DRUPSami.
  3. W systemie przewiduje się realizacje DRUPSa stanowiącego zimną rezerwę.
  4. Główna dystrybucja zasilania z pojedynczego DRUPSa realizowana będzie w ramach modułu pomieszczeń technicznych na poziomie kondygnacji systemów energetycznych - np. w oparciu o szynoprzewód i montowane na nim skrzynki z zabezpieczeniami odpływowymi.
  5. Dystrybucję zasilania na serwerowni planuje się z wykorzystaniem zestawów 4 szynoprzewodów o prądzie rzędu 630A, stanowiących 4 strony zasilania doprowadzane do urządzeń IT, umożliwia to bezproblemowe podłączanie typowych dwu zasilaczowych serwerów, jak równierz bardziej nietypowych urządzeń wymagających zasilania w trybie 3n, 3+1, itd.. Szynoprzewody prowadzone powinny być górą (pod sufitem) i prostopadle do kierunku głównej dystrybucji zasilania o której mowa powyżej
  6. Układ zapewnia wymaganą standardem TIER IV separację fizyczną poszczególnych systemów zasilania poprzez umieszczenie urządzeń w osobnych separowanych pożarowo pomieszczeniach oraz stosowną separację tras szynoprzewodów służących do dystrybucji zasilania.
  7. Wszystkie szynoprzewody oraz kable zasilające posiadają trwałe, czytelne, jednoznacznie identyfikujące przewód, miejsce do którego prowadzi, sposób zasilania (z którego DRUPSa, etc) oznaczenia na obu końcach i nie rzadziej niż co 5m na kablu/szynoprzewodzie.
  8. Przewiduje się gwarantowane (bezprzerwowe) zasilanie całości systemu chłodu i klimatyzacji.

Okablowanie logiczne (niskoprądowe)

  1. Okablowanie prowadzone wyłącznie w dostępnych przestrzeniach instalacyjnych w przygotowanych trasach kablowych.
  2. Okablowanie prowadzone (głównie) w przestrzeni podsufitowej, w niewielkim stopniu dopuszcza się prowadzenie na trasach kablowych w przestrzeni podpodłogowej
  3. Wydzielone trasy kablowe dla okablowania stałego (łączącego punkty dystrybucyjne oraz służacego systemom monitoringu i bezpieczeństwa) oraz okablowania dynamicznego (służacego połączeniom bezpośrednim w ramach komory serwerowej, podłączeniu sprzętów do najbliższych punktów dystrybucyjnych itd).
  4. Przewiduje się podłączanie szaf rackowych dwoma redundantnymi linkami światłowodowymi z wykorzystaniem agregacji połączeń w ramach szafy (redundantny zestaw switch "top of the rack")

System monitorujący

Sieć monitoringu warunków środowiskowych i systemów bezpieczeństwa wykorzystuje okablowanie logiczne budynku oraz dedykowane switche w każdym z punktów dystrybucyjnych. Służy ona zapewnieniu komunikacji z monirorowanymi systemami (m.in. system p.poż, włamaniówka) i urządzeniami (m.in. DRUPSy, analizatory sieci elektrycznej, wytwornice wody lodowej) oraz kontrolerami/sterownikami sieci BMSowej (swobodnie programowalne sterowniki odczytujące stany wejść cyfrowych, analogowych itd). Sieć może wykożystywać dedykowane switche przemysłowe zbierające wszystkie połączenia z danego pomieszczenia.

Jako podstawę komunikacji między sterownikami przyjmujemy standardowe otware protokoły: BACnet/IP, Modbus TCP, SNMP. Monitorowane systemy muszą być w stanie przekazać przy pomocy sieci i któregoś z wymienionych protokołów pełną informację na temat swojego stanu (wraz z informacją na temat stanu swoich poszczególnych czujników).

  1. System monitorujący korzysta z sieci opartej na ethernecie i TCP/IP. Jako podstawę komunikacji między sterownikami przyjmujemy standardowe otware protokoły: BACnet/IP, Modbus TCP, SNMP
  2. Sieć monitrująca jest budowana w postaci redundantnej (dublowane połączenia sieciowe, ew. topologia pierścienia ethernetowego).
  3. System alarmowy, kontroli dostępu i pożarowy wystawia pełną informację o swoim stanie (włącznie z tym które czujki PIR wykrywają ruch, która czujka pożarowa wzbudziła alarm itd) poprzez któryś z tych protokołów do sieci monitrującej. Wymagane jest rozwiązanie wspierające pełną funkcjonalność nadzorowanego systemu i dostarczone przez jego producenta lub przez niego certyfikowane. Rozwiązanie komunikacyjne nie może narzucać własnych (innych niż monitorowanego systemu) ograniczeń na ilość pozyskiwanej informacji z systemu (np. ilość odczytywanych zdalnie czujek p.poż).
  4. System kontroli dostępu oparty jest na sterownikach drzwi bezpośrednio komunikujących się przez sieć monitorującą. Sterowniki posiadają autonomiczną pamięć dla danych dostępowych i logu zdarzeń. Sterowniki kontrolują stan otwarcia / zamknięcia drzwi, sygnalizują akustycznie niedomknięte drzwi, wystawiają ponadto tą informację do sieci monitorującej (ew. funkcjonalność tą może pełnić włamaniówka). System kontroli dostępu wykorzystuje m.in. dane biometryczne z czytników struktury żył w palcu dłoni lub w całej dłoni.
  5. Monitorujemy parametry zasilania (analizatory z odczytem zdalnym modbus RTU lub inny otwarty protokół + zbramkowanie do TCP/IP), stan pracy DRUPSów, oraz stany wyłączników w rozdzielniach (każdy zespół DRUPS + rozdzielnie, ma własny sterownik zbierający danego z niego i wystawiający je do sieci monitrującej). Monitorowana jest wartość prądu na każdym z odpływów z szynoprzewodów (zarówno głównych, jak i dystrybucyjnych na serwerowni).
  6. Urządzenia monitorujące podłączone do sieci odczytują za jej pośrednictwem parametry pracy innych urządzeń (detekcja zalania, systemy chłodzenia, wentykacji, ilość paliwa w zbiornikach, ...).
  7. System CCTV oparty jest na kamerach IP z protokołem RTSP, sprzętową detekcją ruchu, obsługą i konfiguracją poprzez wywołania CGI lub interfejs CLI.
  8. Awaria systemu lub sieci monitorującej nie może wpływać na pracę nadzorowanych przez nią systemów:
    • bezpieczeństwa - włamaniówka, pożarówka, kontrola dostępu
    • zasilania
    • chłodzenia (w przypadku braku sterowania centralnego układ powinien móc funkcjonować w oparciu o wewnętrzną automatykę poszczególnych urządzeń)
  9. Sieć monitorująca ma postać modularną i rozproszoną. Połączenia pomiędzy modułami realizowane są poprzez łącza optyczne (światłowody), co zapewnia gwarancję separacji galwanicznej poszczególnych fragmentów sieci monitorującej. Na przykład: całość systemu monitorującego pomieszczenie DRUPS (w tym systemy czytające stany położeń wyłączników w rozdzielniach itd.) jest w tym pomieszczeniu i jest wpięta do switcha ethernetowego znajdującego się w tym pomieszczeniu, który posiada redundantne światłowodowe połączenia zresztą sieci.
  10. W każdym module sieci należy przewidzieć 20%, lecz nie mniejszą niż 2 ilość wolnych wejść/wyjść (np. portów w switchach ethernetowych, wejść w modułach DI, ...).
  11. System zarządzający zapewnia zdalny dostęp do wszystkich odczytywanych parametrów. Dostęp realizowany poprzez protokół HTTP, z nielimitowaną ilością równoczesnych użytkowników. Dostęp musi funkcjonować poprawnie, niezależnie od używanej przeglądarki, systemu operacyjnego, itd. pod warunkiem iż przeglądarka jest zgodna z standardem HTML 4.0 i protokołem HTTP 1.1.
  12. Wszystkie kable w systemach automatyki i monitoringu posiadają trwałe, czytelne, jednoznacznie identyfikujące kabel, jego funkcję i miejsce do którego prowadzi oznaczenia na obu końcach i nie rzadziej niż co 5m na kablu.
  13. System zapenia logowanie (archiwizację) monitorowanych parametrów np. w systemie Zabbix.

Powyższe wytyczne opierają się na założeniach że:

  1. w obiekcie są autonomiczne systemy bezpieczeństwa (p.poż, włamaniówka), które są tylko wpięte (pod względem monitoringu) do sieci monitorującej
  2. w sieci monitorującej (abstrachując od tego czy będzie to jedna sieć czy coś zostanie wydzielone VLANami czy nawet sprzętowo) działają też systemy kontroli dostępu i monitoringu wideo

W związku z tym nie ma silnego rozdzielenia systemów bezpieczeństwa od monitoringu środowiskowego. Można tak jednakzrobić (co ma zalety i wady). Natomiast wydzielony (jako autonomiczna jednostka) z systemu monitoringu został system sterowania układem chłodu (taka separacja umożliwia jego niezależne stworzenie specjalistom od automatyki chłodnictwa).

Systemy przeciw-pożarowe

  1. wszystkie pomieszczenia techniczne (być może za wyjątkiem trafo i rozdz. SN gdyby miały mieć wentylacje powietrzem zewnętrznym) objęte są systemami:
    • aktywnej detekcji dymu (typu titanus, vesda)
    • systemem gaszenia gazowego (gaz obojętny lub Novec 1230)
    • systemem konwencjonalnych czujek dymu (system musi być wstanie wskazać która czujka wywołał alarm)
  2. system aktywnej detekcji dymu używany jest do:
    • informowania obsługi obiektu o prawdopodobnym zagrożeniu (wydzielona sygnalizacja alarmu technicznego)
    • sterowania wentylacją (np. wyłączenie freecoolingu powietrznego gdy w zasysanym powietrzu wykryty dym)
  3. do sterowania systemem gaszenia używana jest koincydencja dwóch czujek konwencjonalnych lub czujki konwencjonalnej i aktywnej detekcji dymu
  4. centrala p.poż musi umożliwiać proste sterowanie z panelu operatorskiego:
    • zamknięciem wybranych klap dymnych, wyłączeniem funkcji wentylacyjnych
    • blokowaniem czujek i stref
    • blokowaniem sygnalizacji optyczno-akustycznej
    • blokowaniem urządzeń transmisji alarmu do PSP
    żadan z powyżej opisanych blokad nie może skutkować blokowaniem działania klap pożarowych, komunikacji z siecią monitorującą, itd
  5. pomieszczenia w których trudne (np. pomieszczenia silnie wentylowane) / niepotrzebne (np. drogi komunikacyjne) byłoby zastosowanie SUG gazowego objęte systemem wysokociśnieniowej mgły wodnej
  6. wybrane pomieszczenia techniczne zabezpieczane są dodatkowo atmosferą ochronną - mają zredukowany poziom tlenmu poniżej granicy palności (rozwiązania typu OxyReduct) - należy przewidzieć miejsce na montaż takich urządzeń oraz odpowiednią szczelność pomieszczeń

Centrala SSP powinna zapewniać co najmniej (szczegółowe warianty alarmowania, reagowania itd powinny być dostosowane do potrzeb danego obiektu):

Systemy bepieczeństwa

Centrala SSWiN powinna zapewniać co najmniej:

System sterujący pracą układu chłodu

  1. wystawia pełne danych o parametrach systemu chłodu (temperatury, ciśnienia, przepływy, załączone podzespoły, wilogotność powietrza ...) do sieci monitorującej
  2. umożliwia określanie z sieci monitorującej preferowanych wartości lub widełek wydajności sterowanych urządzeń. Urządzenie wykonawcze utrzymuje swoją wydajność w zadanym zakresie, bez względu na to iż jego automatyka sugerowałaby wyjście poza ten zakres, dopóki nie zostaną przekroczone poziomy krytyczne parametrów pracy.
  3. w przypadku braku działania systemu monitorującego lub po przekroczeniu zadanego progu alarmowego system musi mieć możliwość zignorowania ustawionej preferencji i pracy autonomicznej (związane jest to z wymogami dotyczącymi zachowania pracy układu chłodu w przypadku awarii sieci monitorującej)
  4. system musi zapewnić odpowiednią redundancje
  5. w systemie preferowane są otwarte protokoły komunikacje (takie o których mowa w opisie sieci monitorującej) pomiędzy jego sterownikami a urządzeniami, itd.
  6. System automatyki chłodu jest jednym z elementów nadzorowanych przez system monitoringu.
  7. System automatyki chłodu może wykorzystywać do komunikacji z urządzeniami wykonawczymi i czujnikami sieć systemu monitoringu.


Copyright (c) 1999-2015, Robert Paciorek (http://www.opcode.eu.org/), BSD/MIT-type license


Redystrybucja wersji źródłowych i wynikowych, po lub bez dokonywania modyfikacji JEST DOZWOLONA, pod warunkiem zachowania niniejszej informacji o prawach autorskich. Autor NIE ponosi JAKIEJKOLWIEK odpowiedzialności za skutki użytkowania tego dokumentu/programu oraz za wykorzystanie zawartych tu informacji.

This text/program is free document/software. Redistribution and use in source and binary forms, with or without modification, ARE PERMITTED provided save this copyright notice. This document/program is distributed WITHOUT any warranty, use at YOUR own risk.

Valid XHTML 1.1 Dokument ten (URL: http://www.opcode.eu.org/installations/projects_and_realization/wytyczne-serwerownia) należy do serwisu OpCode. Autorem tej strony jest Robert Paciorek, wszelkie uwagi proszę kierować na adres e-mail serwisu: webmaster@opcode.eu.org.
Data ostatniej modyfikacji artykulu: '2015-08-30 21:52:09 (UTC)' (data ta może być zafałszowana niemerytorycznymi modyfikacjami artykułu).