Сердце империи Google, сеть дата-центров мирового масштаба

Многие знают многоликость Google — это и популярный поисковик, и социальная сеть, а также еще множество других полезных и новаторских сервисов. Но мало кто задумывался: каким образом удалось компании развернуть и поддерживать их со столь высоким быстродействием и отказоустойчивостью? Как организовано то, что обеспечивает такие возможности,— дата-центр Google, каковы его особенности? Как раз об этом и пойдет речь в данной статье.
Источник

Собственно, корпорация Google уже давно никого не удивляет мощной динамикой своего роста. Активный борец за «зеленую энергетику», множество патентов в различных областях, открытость и дружественность по отношению к пользователям — вот те первые ассоциации, которые возникают при упоминании Google у многих. Не менее впечатляет и ЦОД (центр обработки данных, или дата-центр) компании: это целая сеть дата-центров, размещённых по всему миру, суммарной мощностью220 МВт (по состоянию на прошлый год). Учитывая тот факт, что инвестиции в ЦОД только за последний год составили 2,5 миллиарда долларов, понятно, что компания считает это направление стратегически важным и перспективным. В то же время наблюдается некое диалектическое противоречие, ведь, несмотря на публичность деятельности корпорации Google, его дата-центры являются этаким ноу-хау, тайной, скрытой за семью печатями. В компании считают, что разглашение деталей проектов может быть использовано конкурентами, поэтому лишь часть информации о наиболее передовых решениях просачивается в широкие массы, но даже эта информация весьма интересна.

Начнем с того, что непосредственно сам Google не занимается строительством ЦОД. У него есть департамент, который занимается развитием и сопровождением, а компания сотрудничает с местными интеграторами, которые и выполняют внедрение. Точное количество построенных дата-центров не афишируется, но в прессе их количество варьируется от 35 до 40 по всему миру. Основная концентрация дата-центров приходится на США, Западную Европу и Восточную Азию. Также некоторая часть оборудования размещается и в арендованных помещениях коммерческих ЦОД, имеющих хорошие каналы связи. Известно, что Google использовал площади для размещения оборудования коммерческих дата-центров Equinix (EQIX) и Savvis (SVVS). Google стратегически нацелен на переход исключительно к использованию собственных дата-центров — в корпорации это объясняют растущими требованиями к конфиденциальности информации пользователей, которые доверились компании, и неизбежностью утечки информации в коммерческих дата-центрах. Следуя последним тенденциями, летом этого года было заявлено, что Google будет предоставлять в аренду «облачную» инфраструктуру для сторонних компаний и разработчиков, соответствующую модели IaaS-сервис Compute Engine, который будет предоставлять вычислительные мощности фиксированных конфигураций с почасовой оплатой за пользование.

Основная особенность сети дата-центров не в столько в высокой надежности отдельно взятого дата-центра, сколько в гео-кластеризации. Каждый дата-центр имеет множество высокоемких каналов связи с внешним миром и реплицирует свои данные в несколько других дата-центров, территориально распределенных по миру. Таким образом, даже форс-мажорные обстоятельства вроде падения метеорита существенным образом не повлияют на сохранность данных.

Это сообщение отредактировал КОННОР - 4.02.2013 - 15:07

География дата-центров

Первый из публичных дата-центров находится в Дугласе, США. Этот контейнерный ЦОД (рис. 1) был открыт в 2005 году. Этот же дата-центр является наиболее публичным. По сути это некая каркасная конструкция, напоминающая ангар, внутри которой в два ряда расставлены контейнеры. В одном ряду — 15 контейнеров, расположенных в один ярус, и во втором — 30 контейнеров, расположенных в два яруса. В данном дата-центре находится примерно 45 000 серверов компании Google. Контейнеры — 20-футовые морские. На текущий момент введены в работу 45 контейнеров, а мощность ИТ-оборудования составляет 10 МВт. Каждый контейнер имеет собственное подключение к гидравлическому контуру охлаждения, свой блок распределения питания — в нем есть, кроме автоматических выключателей, еще и анализаторы потребления электроэнергии групп электропотребителей для вычисления коэффициента PUE. Отдельно расположены насосные станции, каскады чиллеров, дизель-генераторные установки и трансформаторы. Декларируется PUE, равный 1.25. Система охлаждения — двухконтурная, при этом во втором контуре используются экономайзеры с градирнями, позволяющие значительно снизить время работы чиллеров. По сути это не что иное, как открытая градирня. Вода, забирающая тепло из серверной, подается в верхнюю часть башни, откуда распыляется и стекает вниз. Благодаря распылению воды тепло передается воздуху, который нагнетается извне вентиляторами, а сама вода частично испаряется. Такое решение позволяет значительно сократить время работы чиллеров в дата-центре. Интересно, что первоначально для пополнения запасов воды во внешнем контуре использовалась очищенная водопроводная вода, пригодная для питья. В компании Google быстро поняли, что вода не обязательно должная быть настолько чистой, поэтому была создана система, очищающая сточные воды из близлежащих очистных сооружений и пополняющая запасы воды во внешнем контуре охлаждения.

Внутри каждого контейнера стойки с серверами выстроены по принципу общего «холодного» коридора. Вдоль него под фальшполом находятся теплообменник и вентиляторы, которые выдувают охлажденный воздух через решетки к воздухозаборникам серверов. Нагретый воздух с тыльной части шкафов забирается под фальшпол, проходит через теплообменник и охлаждается, образуя рециркуляцию. Контейнеры оборудованы аварийным освещением, кнопками EPO, дымовыми и температурными датчиками пожарной безопасности.

Рис. 1. Контейнерный ЦОД в Дугласе

Интересно, что Google впоследствии запатентовал идею «контейнерной башни»: контейнеры ставятся друг на друга, с одной стороны организован вход, а с другого — инженерные коммуникации — системы электроснабжения, кондиционирования и подвод наружных каналов связи (рис. 2).

Это сообщение отредактировал КОННОР - 4.02.2013 - 14:54

Рис. 2. Принцип охлаждения воздуха в контейнере

Это сообщение отредактировал КОННОР - 4.02.2013 - 14:55

Рис. 3. Запатентованная «контейнерная башня»

Открытый годом позже, в 2006-м, в Даллесе (США), на берегу реки Колумбия, дата-центр уже состоял из трех отдельно стоящих зданий, два из которых (каждое площадью 6 400 кв. метров) были возведены в первую очередь (рис.4) — в них расположены машинные залы. Рядом с этими строениями находятся здания, в которых размещены холодильные установки. Площадь каждого здания — 1 700 кв. метров. Кроме этого, в комплексе есть административное здание (1 800 кв. метров) и общежитие для временного проживания персонала (1 500 кв. метров).

Ранее данный проект был известен под кодовым названием Project 02. Следует отметить, что само место для дата-центра было выбрано не случайно: до этого здесь функционировала алюминиевая плавильня мощностью 85 МВт, работа которой была приостановлена.

Это сообщение отредактировал КОННОР - 4.02.2013 - 14:55

Рис. 4. Строительство первой очереди ЦОД в Далласе

В 2007 году Google начал строить дата-центр на юго-западе штата Айова — в Каунсил–Блафсе, недалеко от реки Миссури. Концепция напоминает предыдущий объект, однако есть и внешние отличия: здания объединены, а холодильное оборудование вместо охлаждающих башен размещено вдоль обеих сторон основного строения (рис. 5).

Это сообщение отредактировал КОННОР - 4.02.2013 - 14:56

Рис. 5. Дата-центр в Каунсил-Блафсе — типовая концепция построения дата-центров Google.
Видимо, именно такая концепция была взята в качестве best practices, так как она прослеживается в дальнейшем. Примеры тому — дата-центры в США:

- Ленуар-Сити (Северная Каролина) —здание площадью в 13 000 кв. метров; построен в 2007—2008 гг. (рис. 6);

- Монкс Корнер (Южная Каролина) — открылся в 2008 году; состоит из двух зданий, между которыми зарезервирована площадка под постройку третьего; наличие собственной высоковольтной подстанции;

- Майес Каунти (Оклахома) —строительство затянулось на три года — с 2007 по 2011 год; ЦОД реализовывался в две очереди — каждая включала в себя постройку здания площадью 12 000 кв. метров; электроснабжение дата-центра обеспечивается ветряной электростанцией.

Это сообщение отредактировал КОННОР - 4.02.2013 - 14:56

Рис. 6. Дата-центр в Ленуар-Сити

Но первенство по секретности принадлежит дата-центру в Сен-Гислене (рис. 7а). Построенный в Бельгии в 2007—2008 гг., этот дата-центр по размерам превосходит дата-центр в Каунсил-Блафсе. Кроме того, данный ЦОД примечателен тем, что при попытке рассмотреть спутниковую карту Google, вместо него вы увидите пустую площадку в чистом поле (рис. 7б). Google говорит об отсутствии негативного влияния от работы данного ЦОД на окружающие населенные пункты: в качестве воды для градирень в дата-центре используются очищенные сточные воды. Для этого рядом построена специальная станция многостадийной очистки, а вода к станции подводится по техническому судоходному каналу.

Это сообщение отредактировал КОННОР - 4.02.2013 - 14:57

Рис. 7а. Дата-центр в Сен-Гислене на карте поисковика bing

Это сообщение отредактировал КОННОР - 4.02.2013 - 14:57

Рис. 7б. А вот на карте Google его не существует!

Специалисты Google в процессе строительства отметили, что воду, которая используется для охлаждения наружного контура, было бы логично получать из ее естественного хранилища, а не забирать из водопровода. Корпорация для своего будущего дата-центра приобрела в Финляндии (г. Хамина) старую бумажную фабрику, которая была реконструирована под центр обработки данных (рис. 8). Проект выполнялся в течение 18 месяцев. В его реализации участвовало 50 компаний, а успешный финиш проекта пришелся на 2010 год. В то же время такой размах не случаен: разработанная концепция охлаждения действительно позволила Google заявить еще и о экологичности своих ЦОД. Северный климат в совокупности с низкой точкой замерзания соленой воды позволил обеспечить охлаждение вообще без чиллеров, применив только насосы и теплообменники. Здесь используется типовая схема с двойным контуром «вода — вода» и промежуточным теплообменником. Морская вода закачивается, попадает на теплообменники, охлаждает дата-центр и затем сбрасывается в залив в Балтийском море.

Это сообщение отредактировал КОННОР - 4.02.2013 - 15:00

Рис. 8. Реконструкция старой бумажной фабрики в г. Хамина превращает ее в энергоэффективный ЦОД
В 2011 году в северной части Дублина (Ирландия) был построен дата-центр площадью 4 000 кв. метров. Для создания ЦОД было реконструировано уже существовавшее здесь здание склада. Это самый скромный из известных дата-центров, построенных в качестве плацдарма для развертывания сервисов компании в Европе. В этом же году началось развитие сети дата-центров и в Азии: три дата-центра должны появиться в Гонконге, Сингапуре и Тайване. А в этом году Google объявил о покупке земли для постройки дата-центра в Чили.

Примечательно, что в строящемся тайванском ЦОД специалисты Google пошли по-другому пути, решив воспользоваться экономической выгодой от наболее дешевого, ночного тарифа на электроэнергию. Вода в огромных резервуарах охлаждается при помощи чиллерной установки с баками—аккумуляторами холода и используется для охлаждения в дневное время. А вот будет ли тут использоваться фазовый переход теплоносителя или компания остановится только на баке с охлажденной водой — неизвестно. Возможно, после ввода ЦОД в эксплуатацию Google предоставит эту информацию.

Интересно, что полярной идеей является еще более смелый проект корпорации —плавучий ЦОД, который еще в 2008 году запатентовал Google. В патенте указывается, что ИТ-оборудование располагается на плавучем судне, охлаждение выполняется холодной забортной водой, а электричество производится плавучими генераторами, генерирующими электроэнергию от движения волн. Для пилотного проекта планируется использовать плавучие генераторы производства Pelamius: 40 таких генераторов, плавающих на площади 50х70 метров, позволят вырабатывать до 30 МВт электроэнергии, достаточной для работы ЦОД.

Кстати, Google регулярно обнародует показатель энергоэффективности PUE своих дата-центров. Причем интересна сама методика измерения. Если в классическом понимании стандартов Green Grid это отношение потребляемой мощности дата-центра к ее ИТ-мощности, то Google измеряет PUE в целом для объекта, включая не только системы жизнеобеспечения ЦОД, но и потери на преобразование в трансформаторных подстанциях, кабелях, энергопотребление в офисных помещений и т. д. — то есть всего, что находится внутри периметра объекта. Измеренный PUE приводится как усредненное значение для годичного периода. По состоянию на 2012 год усредненный PUE по всем дата-центрам Google составлял 1.13.

Это сообщение отредактировал КОННОР - 4.02.2013 - 15:01

Особенности выбора места построения ЦОД


Собственно, понятно, что, строя такие громадные ЦОД, их местоположение Google выбирает не случайно. Какие же критерии в первую очередь учитывают специалисты компании?

1. Достаточно дешевая электроэнергия, возможность ее подвода и ее экологически чистое происхождение. Придерживаясь курса на сохранение окружающей среды, компания использует возобновляемые источники электроэнергии, ведь один крупный дата-центр Google потребляет около 50—60 МВт — достаточное количество, чтобы быть единоличным клиентом всей электростанции. Более того, возобновляемые источники позволяют быть независимыми от цен на энергоносители. В настоящее время используются ГЭС и парки ветряков.

2. Наличие большого количества воды, которую можно использовать для системы охлаждения. Это может быть как канал, так и естественный водоем.

3. Наличие буферных зон между дорогами и населенными пунктами для построения охраняемого периметра и сохранения максимальной конфиденциальности объекта. В то же время требуется наличие магистралей для нормального транспортного сообщения с дата-центром.

4. Площадь земли, покупаемой под строительство дата-центров, должна позволять его дальнейшее расширение и постройку вспомогательных зданий либо собственных возобновляемых источников электроэнергии.

5. Каналы связи. Их должно быть несколько, и они должны быть надежно защищены. Это требование стало особенно актуально после регулярных проблем пропадания каналов связи в дата-центре, расположенном в Орегоне (США). Воздушные линии связи проходили по ЛЭП, изоляторы на которых стали для местных охотников чем-то вроде мишеней для состязаний в стрельбе. Поэтому в сезон охоты связь с дата-центром постоянно обрывалась, и на ее восстановление требовалось много времени и значительные силы. В итоге проблему решили, проложив подземные линии связи.

6. Налоговые льготы. Логичное требование, учитывая, что используемые «зеленые технологии» стоят значительно дороже традиционных. Соответственно, при расчете окупаемости налоговые льготы должны снизить и без того высокие капитальные затраты на первом этапе.

Рис. 9. Типовой «спартанский» сервер Google — ничего лишнего

Все серверы устанавливаются в 40-дюймовые двухрамные открытые стойки, которые размещаются в ряды с общим «холодным» коридором. Интересно, что в дата-центрах Google не использует специальные конструкции для ограничения «холодного»коридора, а использует навесные жесткие подвижные полимерные ламели, уверяя, что это простое и недорогое решение, позволяющее очень быстро доустанавливать в существующие ряды шкафы и при необходимости сворачивать существующие ламели над верхом шкафа.

Известно, что, кроме аппаратного обеспечения, Google использует файловую систему Google File System (GFS), предназначенную для больших массивов данных. Особенность этой системы в том, что она кластерная: информация делится на блоки по 64 Мбайт и хранится минимум в трех местах одновременно с возможностью находить реплицированные копии. Если какая-то из систем выйдет из строя, реплицированные копии находятся автоматически, с помощью специализированных программ модели MapReduce. Сама модель подразумевает распараллелирование операций и выполнение задач на нескольких машинах одновременно. При этом внутри системы информация шифруется. Система BigTable использует распределенные массивы хранения данных для сохранения большого массива информации с быстрым доступом для хранения, например, веб-индексации, Google Earth and Google Finance. В качестве базовых веб-приложений применяются Google Web Server (GWS) и Google Front-End (GFE), использующие оптимизированное ядро Apache. Все эти системы являются закрытыми и кастомизированными — Google объясняет это тем, что закрытые и кастомизированные системы очень устойчивы против внешних атак и в них значительно меньше уязвимостей.

У меня всё. Прошу прощения за задержки, немного запутался в посте :)

Это сообщение отредактировал КОННОР - 4.02.2013 - 15:05

Мало что понял, но интересно)

Значит здесь начнется восстание машин...

Однозначно, одна из команий меняющих мир к лучшему.
Не то, что Сколково и прочее роснано

У гугла должен быть слоган: "благими намерениями в АД"

вообще вас не смущает эта облачная технология, когда все ваши данные, контакты интересы и распорядок дня очень хотят знать и запомнить?

кароче, смотри! в этом посте рассказывали, сколько дохуя нужно серверов для хранения данных, что гуглу понадобилась своя электростанция для обеспечения эл энергии для сотен тысяч серверов! вот такие дела бро! такого если что можешь обращаться ко мне, разьясню любой пост

Это сообщение отредактировал Stalin174 - 4.02.2013 - 15:24

я думал что будет нечто секретное...... а так одни постройки....

А избыточное тепло нельзя использовать для обогрева например, Если им тепло девать некуда ну ставили бы у нас в Сибири. В Красноярске например, Воды море с Электричеством тоже порядок, А излишками тепла отапливали бы какой нибудь городок типа Шарыпово,

И ещё,..... я вот тут подумал, каждый запрос на сервак В дата центре гугла дает несколько каллорий теплоты и придумал Слоган чёткий для Гугла ,
"Гугли-Грей Планету".

Посмотрел на первое фото, посмотрел на ник ТС, сильно задумался... Бро, та нас готовишь? Когда ждать?

Когда уйдёт Пу?

Ухахах. Столько средств, столько технологий. И все для того чтобы, не знаю, процентам 80-90 пользовыателей, поржать, подрочить и изредка посмотреть новости. :D

Это сообщение отредактировал DustyMonkey - 4.02.2013 - 17:52

Хороший вопрос! Я думаю это произойдет в конце 2го его срока
Дело даже не в его уходе(( Он то уйдет в любом случае, а вот пережитки Путинского правления остануться с нами

Выражусь одним словом: мощно.