Объем произведенной человечеством информации ежегодно прирастает на 30%, как следствие, увеличивается и потребность в системах хранения и обработки информации, а также в дата-центрах, где будет размещаться оборудование. И если еще несколько лет назад средние масштабы ЦОД исчислялись тысячами стоек, то теперь это уже десятки тысяч. В России объемы рынка услуг коммерческих дата-центров, хотя и не сравнялись с западными, активно их догоняют, и все чаще слышны анонсы проектов, рассчитанных на 5, 10 и даже 15 тыс. серверных стоек.
Создание столь масштабных объектов сопряжено с неизбежным возникновением огромной массы ошибок в процессе проектирования и строительства. Путей борьбы с подобными проблемами несколько:
Типизация проектирования и строительства выражена в непрерывном росте интереса к контейнерным и модульным решениям. Подобные prefabricated (изготовленные заводским способом) решения позволяют минимизировать ошибки проектирования и монтажа, перенося их со строительной площадки в заводской цех, в котором сборка и тестирование систем происходят в штатном режиме, на отладочных стендах, под присмотром высоко квалифицированного персонала.
Модульные ЦОД предполагают высокую унификацию и повторяемость технических решений, что кроме улучшения качества монтажа позволяет повысить скорость реализации сложных проектов.
Наряду с созданием модульных ЦОД одним из трендов унификации является внедрение модульных решений инженерных систем. Наиболее яркий пример таких решений – контейнерные энергетические модули, содержащие связку из источника бесперебойного питания (ИБП) и дизель-генераторной установки (ДГУ), которые в наши дни начали разрабатывать многие производители. Из подобных модулей, как из кубиков, можно собрать энергосистему ЦОД практически любого масштаба.
Безусловно, строительство крупных объектов ведется не только по модульному принципу, особенно когда заказчик стремится добиться уникальных параметров надежности и энергоэффективности объекта – тогда на помощь проектировщикам (а далее и службе эксплуатации) приходят технологии 3D-моделирования.
Разумеется, эти технологии известны не первый год, но в строительстве они стали широко применяться сравнительно недавно, несмотря на то что плюсы при проектировании ЦОД более чем очевидны. Современный дата-центр – существенно более насыщенный инженерными коммуникациями объект, нежели любой бизнес- и торговый центр. Пожалуй, его можно сравнить с высокотехнологичным заводом, так что использование BIM-технологий при проектировании позволяет продумать взаимное расположение всех трасс инженерных коммуникаций и оборудования, значительно упростить в дальнейшем работу службы эксплуатации объекта.
Кроме развития технологических аспектов процесса строительства ЦОД развивается и нормативная база данных процессов, в частности на российском рынке.
На данный момент Ассоциацией участников сегмента ЦОД было выпущено два ГОСТа: ГОСТ Р 58811-2020 «Центры обработки данных. Инженерная инфраструктура. Стадии создания», регулирующий все стадии создания инженерной инфраструктуры центров обработки данных, этапы внутри стадий и содержание работ на каждом этапе; ГОСТ Р 58812-2020 «Центры обработки данных. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация», определяющий все требования к организации эксплуатации инженерных систем ЦОД в целях обеспечения надлежащего качества их функционирования и предоставления потребителям услуг инженерной инфраструктуры ЦОД приемлемого качества.
Помимо названных ГОСТов у Ассоциации намечен целый перечень нормативных документов, которые смогут помочь в формализации процессов создания ЦОД.
В последнее время на рынке наблюдается рост спроса на контейнерные и микроЦОД. Заказчики начинают осознавать, что приобретение готового законченного решения и отказ от капитального строительства или реконструкции здания для создания небольшого ЦОД снимают с них огромное количество проектных и экономических рисков, зачастую существенно сокращают сроки и освобождают их от необходимости заниматься непрофильной деятельностью.
Гораздо проще поставить в помещении готовый «кубик» микроЦОД, содержащий в себе все необходимые инженерные системы жизнеобеспечения, чем тратить драгоценные ресурсы на контроль за строительными работами в случае обустройства помещения.
Рассмотрим наиболее значимые тренды развития технологических решений инженерных систем ЦОД. Часть этих трендов объясняется потребностью заказчика упростить архитектуру ЦОД, одновременно увеличив его надежность и управляемость. Такие требования связаны напрямую с увеличением масштаба объектов и вероятности потери управляемости инженерной инфраструктуры.
В части бесперебойного энергоснабжения максимально надежной считается схема с двойным резервированием 2N, с полностью резервированными лучами энергоснабжения и оборудованием бесперебойного питания. Для крупных ЦОД она выглядит наиболее предпочтительной, но одновременно является и наиболее дорогой. Уровень надежности ЦОД при подобной схеме резервирования будет TIER IV по классификации Uptime Inst. Трендом последнего времени стало применение особой схемы «с распределенным резервированием», в простонародье – 3/2N (или аналогичных: 4/3N и т. д.). Подобная схема 3/2N также соответствует требованиям TIER IV и обеспечивает резервирование оборудования на уровне схемы 2N, но при этом требует не 100%, а лишь 50% резерва по оборудованию. Как и в схеме 2N, в случае выхода из строя любого ИБП оставшиеся ИБП берут на себя всю нагрузку ЦОД.
Аналогичная задача выбора наи более простых и надежных схем стояла перед проектировщиками и заказчиками ЦОД и в разрезе систем охлаждения. Одним из решений, использующих все преимущества уровня надежности TIER IV, но при этом существенно снижающих затраты на строительство и эксплуатацию ЦОД, а также упрощающих понимание и управление системой холодоснабжения, является известная схема «1 в 1».
Традиционные кольцевые схемы резервирования чиллерных систем холодоснабжения довольно громоздкие, сложные в управлении и балансировке. Им на смену пришла схема, когда один чиллер подает хладоноситель лишь в один или группу внутренних прецизионных кондиционеров и резервирование осуществляется на уровне подобных комплектов. Подобная схема стала возможной с развитием линеек производителей чиллеров, начавших реализовывать технологию free-cooling (свободное охлаждение – технология охлаждения объекта за счет окружающей среды без применения компрессоров и другого энергоемкого оборудования) на младших агрегатах мощностью 100–200 кВт.
К преимуществам такой схемы относятся: максимальная простота управления, по аналогии с фреоновыми системами с одним внешним и одним внутренним блоком; меньшее количество критических узлов системы; меньшие диаметры трубопроводов и меньшее количество крупной арматуры. Все это обусловливает более высокую надежность работы системы.
Наименее развитой, но при этом имеющей наибольший потенциал эффективности является комплексная система управления инфраструктурой ЦОД. На данный момент реализованы лишь фрагменты функциональных возможностей подобных систем – они могут консолидировано собирать информацию от серверного оборудования, систем энергоснабжения, систем холодоснабжения, динамически управлять нагрузкой серверов и производительностью инженерных систем. Причем такие системы еще не представлены в широкой промышленной эксплуатации и применяются пока только на небольших объектах. Но их перспективы при глубокой интеграции с системами искусственного интеллекта просто безграничны. Они смогут оценивать и оптимизировать энергопотребление дата-центра в целом, следить за балансировкой нагрузки ЦОД и искать пути оптимизации, отслеживать и прогнозировать аварийные ситуации, превентивно предлагать проведение профилактических ремонтов, тем самым значительно повышая надежность системы и снижая влияние человеческого фактора.
Немаловажным направлением развития технологий ЦОД по-прежнему является повышение энергоэффективности и экологичности его инженерных систем. Среди возможных решений данной задачи – тренд на замену традиционной элементной базы систем гарантированного и бесперебойного энергоснабжения.
Для систем бесперебойного питания – это замена свинцовых батарей литий-ионными. Это стало возможным в связи с существенным удешевлением данного класса батарей за последние 20 лет и повышением уровня их безопасности. На сегодняшний день стоимость литий-ионных батарей всего в два раза превышает стоимость свинцовых, а их пожароопасность снижена до приемлемого уровня. При этом по массогабаритным, емкостным характеристикам, сроку, условиям эксплуатации и энергоэффективности литий-ионные батареи многократно превосходят свинцовые.
В сегменте систем гарантированного питания, где еще недавно фаворитом считались динамические источники бесперебойного питания, все громче заявляют о себе разного рода топливные ячейки, в частности, использующие водородное топливо.
С учетом ужесточения во всем мире экологического законодательства, вероятно, подобные технологии займут свою нишу на рынке инженерного оборудования ЦОД. Одновременно с этим западная электроэнергетика, в частности ЦОД с собственной генерацией, все чаще заявляет о частичном переходе на возобновляемые источники энергии. В Исландии это термальная электроэнергетика, в других странах – солнечная и ветрогенерация. Российские дата-центры также задаются подобными вопросами, касающимися возможности использования альтернативных источников электроэнергии.
Другой возможный путь повышения энергоэффективности ЦОД – использование собственной газовой тригенерации, реализованной на газотурбинных или газопоршневых машинах и абсорбционных чиллерах. Кроме существенного снижения стоимости электроэнергии большая часть холодильной мощности будет производиться при использовании попутного тепла. Операционные затраты подобных ЦОД могут быть существенно меньше, чем у реализованных на традиционных технологиях, но капитальные затраты, организационные усилия по подключению к газовому хозяйству и сложность эксплуатации могут оттолкнуть инвесторов от реализации названной схемы.
Дополнительные резервы повышения энергоэффективности ЦОД содержит в себе и система холодоснабжения. Наиболее заметным трендом ее развития является повышение температуры в машинном зале. Если 15 лет назад стандартом де-факто была температура 20–24ºС, то с развитием схемотехники и увеличением плотности тепловыделения серверного оборудования границы допустимых температур расширились. Это подтолкнуло рынок к широкому применению технологии Direct free-cooling и адиабатического охлаждения, наиболее эффективных для высоких температур в машинных залах.
Однако плотность тепловыделения постоянно растет. Сегодня удельная мощность в дата-центре находится в диапазоне от 6 до 8 кВт на стойку, а к 2025 г. это значение достигнет 15–20 кВт. Такие параметры ЦОД вынуждают обратиться к новым способам охлаждения: погружному жидкостному охлаждению и Low Speed Ventilation (низкоскоростное распределение воздушных потоков), что подтверждается повышенным интересом со стороны заказчиков (в том числе коммерческих).
В завершение отметим еще один важный тренд развития технологий ЦОД – потребность проектирования и создания объектов с гибридным дизайном, позволяющим со временем увеличивать не только масштабы дата-центра, но и удельную мощность потребления стойки, что также связано с взрывным ростом плотности тепловыделения вычислительной техники.
Источник: журнал «CONNECT. Мир информационных технологий», выпуск №1-2, январь-февраль 2021
DataFloor