Погружное охлаждение против. Прямое-к-охлаждение стружки: что это значит для характеристик вашего трубопровода

Введение: Решение, которое принимается слишком поздно

Большинство инженеров центров обработки данных выбирают технологию охлаждения - погружную или прямое-на-чип - в зависимости от целевой плотности стоек и капитального бюджета. Спецификация трубопровода появляется позже, и ее часто рассматривают как деталь исполнения, а не как основу проектирования. Такая последовательность является ошибкой.

Жидкостная система, которую вы строите на основе выбранной вами архитектуры охлаждения, не является взаимозаменяемой. Спецификация трубопровода, написанная для прямого-к-чипу (D2C) холодного-пластинчатого охлаждения, не сможет - буквально и функционально -, если будет переоборудована под одно-погружное охлаждение, и наоборот. Поскольку плотность стоек графических процессоров сейчас обычно превышает 50 кВт, а рабочие нагрузки искусственного интеллекта приближаются к 100 кВт на стойку, правильное определение характеристик трубопровода на этапе схематического проектирования больше не является обязательным. Единственная утечка в системе D2C может за считанные секунды вывести из строя целую стойку графического оборудования стоимостью 400 000 долларов.

Это руководство написано для инженеров-механиков и сантехников, которые уже приняли (или принимают) решение об архитектуре охлаждения и должны воплотить этот выбор в обоснованную спецификацию трубопроводов, соответствующую требованиям ASHRAE-.

 

 

Стойка для графического процессора CDU в центре обработки данных с жидкостным охлаждением непосредственно на чипе

 

1. Две архитектуры, две совершенно разные логики жидкостного цикла.

Прежде чем приступить к схеме трубопроводов, поймите, что иммерсионное охлаждение и D2C работают на принципиально разных гидравлических принципах.

Прямое-к-чипу (D2C)обеспечивает циркуляцию жидкости -, обычно деионизированной воды или водно--гликолевой смеси -, через охлаждающие пластины, установленные непосредственно на процессорах, графических процессорах и ASIC. Тепло поглощается поверхностью стружки и переносится в блок распределения охлаждающей жидкости (CDU), который обменивается ею с системой водоснабжения объекта. В результате получается плотная, находящаяся под давлением сеть труб малого-диаметра, коллекторов, быстроразъемных-фитингов и охлаждающих пластин, которые должны одновременно работать в гидравлическом равновесии.

Однофазное-погружное охлаждениепогружает все серверные платы в диэлектрическую жидкость -, обычно синтетический углеводород или специальную жидкость - внутри резервуара. Тепло передается от всех компонентов к жидкости, которая затем прокачивается через внешний теплообменник. Внешняя сеть трубопроводов минимальна: по существу, два соединения на резервуар (подающее и обратное), идущие к CDU или контуру охлаждения объекта.

Архитектурная разница разительна: D2C распределяет гидравлические задачи между десятками точек подключения на стойку; погружение объединяет его в простой внешний контур низкого-давления. Все, что находится ниже по потоку в вашей спецификации трубопровода, вытекает из этого различия.

 

2. Выбор материала труб: где ASHRAE устанавливает границы

ASHRAE TC 9.9 и TC 9.6 подробно описывают совместимость материалов. Для контуров охлаждения на водной основе D2C- руководство запрещает использование цинка, алюминия и латуни, содержащих более 15 % цинка -, которые ускоряют гальваническую коррозию в присутствии очищенной воды. С практической точки зрения это исключает использование стандартных фитингов из желтой латуни и труб из оцинкованной стали, которые по-прежнему распространены в гидравлических системах отопления, вентиляции и кондиционирования воздуха.

Для контура технологической системы охлаждения (TCS) - вторичный контур, обслуживающий непосредственно охлаждающие пластины -нержавеющая сталь 304 или 316это стандартная спецификация. В контуре TCS обычно используется деионизированная или высокоочищенная вода, которая на самом деле более агрессивна к коррозии, чем городская вода, поскольку почти не имеет буферной способности. Запорный клапан на каждой стойке, рассчитанный на рабочее давление системы и изготовленный из нержавеющей стали 316, необходим как для планового технического обслуживания, так и для устранения аварийных утечек.

При иммерсионном охлаждении проблема с материалами полностью меняется. Диэлектрическая жидкость химически инертна по отношению к большинству металлов, но агрессивно воздействует на эластомеры. - Стандартные прокладки из EPDM и буна-N, используемые в системах отопления, вентиляции и кондиционирования воздуха, разбухают и разрушаются в течение нескольких месяцев после контакта с диэлектрическими жидкостями на основе углеводородов-. Сам материал трубопровода (нержавеющая, углеродистая сталь), как правило, совместим, но каждая прокладка, уплотнительное кольцо и гибкое соединение во внешнем контуре должны быть изготовлены из ПТФЭ или фторполимерного материала, рассчитанного на конкретную используемую жидкость.

 

3. Размер трубы, скорость потока и падение давления.

ASHRAE TC 9.6 устанавливает максимальную скорость жидкости2,1 м/с для труб диаметром более 3 дюймов.для предотвращения эрозии фитингов и изгибов. Ниже 3 дюймов практический предел приближается к 1,5–1,8 м/с, после чего шум и риск эрозии неприемлемо возрастают. Эти ограничения применимы к обеим архитектурам охлаждения, но приводят к совершенно разным результатам определения размеров.

В системах D2C скорость потока определяется тепловой нагрузкой каждой охлаждающей пластины. По мере увеличения TDP чипа (расчетная тепловая мощность) - современные графические процессоры H100 работают с TDP 700 Вт, а ускорители следующего-поколения прогнозируются на 1000 Вт+ -, потребность в потоке на одну холодную пластину увеличивается пропорционально. Стойке мощностью 50 кВт с охлаждением D2C может потребоваться 8–12 литров охлаждающей жидкости в минуту в коллекторе стойки, распределенной по 8–16 отдельным холодным пластинам. Это приводит к необходимости тщательной гидравлической балансировки: параллельные холодные пластины должны равномерно распределять поток, иначе самая горячая стружка -, обычно та, что находится в конце ответвления коллектора -, будет лишена охлаждающей способности.

В погружных системах внешний контур трубы несет всю тепловую нагрузку резервуара, но с гораздо меньшей скоростью и давлением, поскольку движущим механизмом внутри резервуара является конвекция и низкоскоростная перекачка, а не принудительный поток под высоким-давлением. Погружному баку мощностью 250 кВт обычно требуется всего 20–30 литров в минуту через контур внешнего теплообменника, при давлении в системе редко превышающем 2–3 бара.

Решение о прокладке над головой или под полом также влияет на размер. В руководстве ASHRAE отмечается, что прокладки труб под полом должны учитывать толщину изоляции и зазор для пересечения труб -, добавление 50 мм к диаметру трубы при учете изоляционной обертки является распространенной ошибкой планирования, которая создает конфликты координации при укладке плитки на приподнятом-поле.

 

4. Запорные клапаны, сетчатые фильтры и средства контроля утечек: детали спецификации, обеспечивающие бесперебойную работу

Именно здесь технические характеристики трубопроводов напрямую определяют эксплуатационную устойчивость и где оформляется большинство спецификаций.

Для систем D2C, каждая стойка должна иметь запорный клапан как на подающем, так и на возвратном плече, позволяющий изолировать и опорожнить одну стойку для технического обслуживания, не отключая соседние стойки. Предпочтительным типом клапана для этого применения являетсяШаровой клапан из 3 частей с резьбойиз нержавеющей стали 304 или 316. Конструкция корпуса из трех-здесь имеет решающее значение: в отличие от клапанов, состоящих из одной-или двух-частей, его можно разобрать на месте -, не разрезая трубу и не снимая корпус клапана с линии - для замены уплотнений или очистки седла. В условиях действующего центра обработки данных, где минимизация времени простоя стоек имеет первостепенное значение, удобство оперативного обслуживания является значимым эксплуатационным преимуществом, а не роскошью, обусловленной спецификациями.

Перед каждым коллектором стойки требуется Y-образный фильтр из нержавеющей стали для защиты микро-каналов охлаждающей пластины от загрязнения твердыми частицами. Геометрия холодной пластины для высокопроизводительных графических процессоров использует ширину канала всего 0,5–1,0 мм; частица размером 200 микрон может частично заблокировать канал и создать локализованную горячую точку, которую термический мониторинг может не обнаружить, пока не начнется дросселирование чипа. Используйте фильтры с размером ячеек 50 микрон или меньше на контуре TCS в соответствии с рекомендациями по качеству воды ASHRAE TC 9.9.

На возвратном патрубке обратный клапан из нержавеющей стали предотвращает обратный поток через теплообменник CDU, когда стойка изолирована или насос отключается - при возникновении обратного потока, который может привести к попаданию теплой жидкости в коллектор подачи и повышению температуры охлаждающей жидкости по всему ряду до того, как среагируют органы управления.

Для соединений сервера-к-коллектору используйте сухие-быстроразъемные-разъемные фитинги с максимально допустимой утечкой 1 кубический сантиметр за цикл отключения в соответствии со стандартами соединений OCP (Open Compute Project). Сегменты гибкого шланга на этих соединениях должны быть закреплены дополнительными хомутами с интервалом 150 мм, чтобы предотвратить провисание-вызванное падение давления и нагрузку на резьбу фитинга.

Для погружных систем, спецификация изоляции проще, но не тривиальна. Для каждого резервуара необходимы запорные клапаны подачи и возврата, рассчитанные на полный поток резервуара, а также отверстие для отбора проб для контроля качества жидкости. Укажите соединения внешнего контура из материала, совместимого с конкретной диэлектрической жидкостью - перед окончательной доработкой спецификации подтвердите совместимость с поставщиком жидкости в письменной форме, поскольку составы запатентованных жидкостей различаются.

Кабель обнаружения утечек должен прокладываться по всей длине всех участков питающего трубопровода D2C и располагаться в самой нижней доступной точке каждого трубного или кабельного лотка. Для погружных систем достаточно точечных-детекторов утечек с датчиками на каждом основании резервуара и на CDU, учитывая, что внешние трубные соединения немногочисленны и хорошо-видимы.

 

 

Трехкомпонентный шаровой клапан Leadtek с резьбой

 

5. Практический контрольный список технических характеристик перед сдачей в эксплуатацию

Прежде чем ваша спецификация трубопровода покинет команду инженеров, проверьте следующее на соответствие выбранной вами архитектуре охлаждения:

Соответствие материалов: Все смачиваемые металлы не содержат сплавов цинка и алюминия (D2C); все эластомеры подтверждены как совместимые с химией диэлектрических жидкостей (погружение)

Проверка скорости: Максимум 2,1 м/с на трубах диаметром более или равных 3 дюймам согласно ASHRAE TC 9.6.

Запорные клапаны: Один трехкомпонентный шаровой клапан с резьбой на стойку, на подаче и возврате, с возможностью обслуживания в линии-(D2C)

Рейтинг фильтра: Менее или равно 50 микрон на подаче TCS, перед каждым коллектором стойки (D2C)

Проверьте расположение клапана: обратная ветвь CDU, обратная ветвь каждой стойки (D2C)

Спецификация быстрого-отключения: Сухой-разрыв, утечка менее или равна 1 куб.см, соответствие OCP-(D2C)

Обнаружение утечек: Непрерывный кабель на всех линиях питания (D2C); точечные датчики на основании резервуара и CDU (погружные)

Просвет под полом: Внешний диаметр трубы плюс изоляция плюс поперечный зазор 50 мм подтверждены в модели с пустотами в полу.

План очистки воды: Перед заполнением системы запускается специфичная для объекта-химическая программа с указанием протокола постоянного мониторинга.

 

Вывод: выбирайте систему трубопроводов, соответствующую архитектуре охлаждения, а не наоборот.

Решение о технологии охлаждения и спецификация трубопроводов не являются последовательными этапами -, а представляют собой единое комплексное инженерное решение. Выбор между погружным охлаждением и охлаждением D2C определяет гидравлическую логику, ограничения по материалам, стратегию изоляции и профиль риска утечек всей вашей жидкостной системы. Попытка адаптировать стандартную спецификацию гидравлического трубопровода системы отопления, вентиляции и кондиционирования воздуха к любой архитектуре приведет к созданию системы, которая неэффективна в эксплуатации и создает ненужные затраты на техническое обслуживание.

Учитывайте свои характеристики трубопроводов при эскизном проектировании, а также при выборе архитектуры охлаждения. Используйте ASHRAE TC 9.6 и TC 9.9 в качестве базовой системы соответствия требованиям и проверяйте каждый выбранный материал на соответствие фактическому химическому составу жидкости в вашей системе -, а не общему предположению о «воде». 30 минут, потраченные на определение типа запорного клапана и номинала сетчатого фильтра прямо на этапе спецификации, сэкономят значительно больше, чем 30 минут во время будущих простоев.

 

Часто задаваемые вопросы

Вопрос: Могу ли я использовать стандартную трубу из углеродистой стали для систем отопления, вентиляции и кондиционирования воздуха для прямого контура охлаждения-к-стружки?

Углеродистая сталь используется в контурах охлажденной воды-на стороне объекта (FWS), но она не подходит для контура технологической системы охлаждения (TCS), который напрямую обслуживает холодные пластины. В контуре TCS используется высокоочищенная вода с низким содержанием ионов, которая более агрессивна по отношению к углеродистой стали, чем очищенная вода систем отопления, вентиляции и кондиционирования. Для всех контурных трубопроводов и фитингов TCS укажите нержавеющую сталь 304 или 316.

Вопрос: Почему производитель моего CDU указывает другой размер трубного соединения, чем мой поставщик охлаждающей пластины?

CDU и охлаждающие пластины часто поставляются разными производителями и рассчитаны на разные предположения о внутреннем сопротивлении потоку. Несоответствие размеров соединения является проблемой гидравлической балансировки: если CDU ожидает расход 10 л/мин при давлении 2 бар, а холодным пластинам в совокупности требуется 14 л/мин для поддержания температуры перехода чипа, то ни одна из спецификаций поставщика не является ошибочной -, конструкция системы не согласовала их. Гидравлическая модель всего контура TCS, от выхода CDU до каждой охлаждающей пластины и обратно, должна быть завершена до окончательного определения размеров соединений.

Вопрос: Как часто следует очищать Y-фильтры контура охлаждения D2C?

В течение первых 90 дней эксплуатации ежемесячно проверяйте сетчатые корзины. - новые системы трубопроводов выделяют твердые частицы по мере отверждения покрытия труб и оседания фитингов. После периода перерыва-обычно ежеквартальной проверки достаточно для замкнутых-систем с постоянным контролем качества воды. Если ваш CDU оснащен датчиком перепада давления на сетчатом фильтре, установите сигнал тревоги при дельта-P 0,3 бар в качестве базовой линии чистой-корзины.

Вопрос: Проще ли указать трубопровод погружного охлаждения, чем D2C?

Внешняя трубопроводная сеть для погружного охлаждения значительно проще - меньше точек подключения, меньшее давление и отсутствие распределения коллектора на уровне стойки-. Однако спецификация материала более сложна, поскольку совместимость диэлектрической жидкости должна быть проверена для каждого эластомера, прокладки и гибкого соединителя в системе. Вид отказа, связанный с неправильной совместимостью материалов в погружной системе, обнаруживается медленно и его трудно обнаружить: разрушение уплотнения в течение 12–18 месяцев с последующей постепенной потерей жидкости и загрязнением, а не немедленная и видимая утечка, которую производят системы D2C.

Вопрос: Какова минимальная высота пустот в полу, необходимая для прокладки охлаждающей трубы D2C под фальшполом?

Руководство ASHRAE не устанавливает универсальный минимум, поскольку он зависит от диаметра трубы, характеристик изоляции и того, пересекаются ли трубы друг с другом. Практическое правило планирования заключается в том, чтобы учитывать наибольший наружный диаметр трубы на участке, плюс 75 мм изоляции со всех сторон, плюс зазор 50 мм сверху для перекрестных труб и 25 мм снизу для опор. Для 4-магистральной магистрали с изоляцией 25 мм это дает минимальный зазор в полу примерно на 300 мм - больше, чем 250 мм зазор, характерный для устаревших центров обработки данных с фальшполом, что является ограничением при модернизации, которое стоит выявить заранее.