Cerebras ― процессор для ИИ невероятных размеров и возможностей

Анонс процессора Cerebras ― Cerebras Wafer Scale Engine (WSE) или движка Cerebras масштаба кремниевой пластины ― состоялся в рамках ежегодной конференции Hot Chips 31. Глядя на этого кремниевого монстра удивляет даже не то, что его смогли выпустить воплоти. Удивляет смелость замысла и труд разработчиков, рискнувших разработать кристалл площадью 46 225 квадратных миллиметров со сторонами 21,5 см. На изготовление одного процессора уходит целая 300-мм пластина. При малейшей ошибке уровень брака составляет 100 %, а цену вопроса даже трудно представить.

5 фото via

Кристалл Cerebras в 56,7 раза больше самого крупного в мире графического процессора NVIDIA

Выпуском Cerebras WSE занимается компания TSMC. Техпроцесс ― 16 нмFinFET. Этот тайваньский производитель тоже заслужил памятник за выпуск Cerebras. Производство подобного чипа потребовало высшего мастерства и решения массы проблем, но оно того стоило, уверяют разработчики. Чип Cerebras ― это фактически суперкомпьютер на чипе с невероятной пропускной способностью, минимальным потреблением и фантастическим параллелизмом. В настоящий момент это идеальное решение для машинного обучения, которое позволит исследователям начать решать задачи чрезвычайной сложности.

Каждый кристалл Cerebras WSE содержит 1,2 трлн транзисторов, организованных в 400 000 ИИ-оптимизированных вычислительных ядер и 18 Гбайт локальной распределённой памяти SRAM. Всё это связано ячеистой сетью с общей производительностью 100 петабит в секунду. Пропускная способность памяти достигает 9 Пбайт/с. Иерархия памяти одноуровневая. Кеш-памяти нет, перекрытия нет, задержки обращения минимальные. Это идеальная архитектура для ускорения задач, связанных с ИИ. Голые цифры: в сравнении с самыми современными графическими ядрами чип Cerebras обеспечивает в 3000 раз больший объём памяти на кристалле и в 10 000 большую скорость обмена с памятью.

Вычислительные ядра Cerebras ― SLAC (Sparse Linear Algebra Cores) ― полностью программируемые и могут быть оптимизированы для работы с любыми нейронными сетями. Более того, архитектура ядер изначально фильтрует данные, представленные нулями. Это освобождает вычислительные ресурсы от необходимости проводить холостые операции умножения на ноль, что для нагрузки разрежёнными данными означает ускорение расчётов и предельную энергоэффективность. Тем самым процессор Cerebras оказывается в сотни или даже тысячи раз эффективнее для машинного обучения в терминах задействованной площади кристалла и его потребления, чем актуальные решения для ИИ и машинного обучения.

Индивидуальная сборка процессора

Изготовление чипа подобного размера потребовало массу уникальных решений. Его даже упаковывать в корпус пришлось едва ли не вручную. Возникли проблемы с подводом питания к кристаллу и его охлаждением. Отвод тепла стал возможен только жидкостью и лишь с организацией зональной подачи с вертикальной циркуляцией. Тем не менее, все проблемы были решены и чип вышел рабочим. Будет интересно узнать о его практическом применении.

Решение проблем охлаждения и подвода питания

И куда это чудо, такого размера, извиняюсь за выражение, "интегрировать"?!

ПУБг на максималках потянет? А так, это и есть прогресс.

Курс Биткоина очень просто станет вычислять...

Майнить, и дом отапливать.

Да здравствуют наши сверхбольшие интегральные схемы с 16 ножками и двумя ручками для переноски

Иии? Будет продолжение или предлагается самим поискать какое будет применение?

Вооо, кулер для него нашел

Еще площадь в аренду надо брать...а так ниче - косынку разложить самый раз

Чо, когда уже женскую логику смогут эмулировать?

Вот это вундерВАФЛЯ!
Стоит, наверно, как крыло от СУ-57

самое прямое - управление государством, например захуячить такое в пенсионный фонд или в конгресс, только это опасно очень такое делать, прям маниакальная какаето уверенность что оно будет лучше чем человек...я вот в этом сомневаюсь.

Помайнить бы на таком чуток.

Размещено через приложение ЯПлакалъ

Ему под стальную черепушку

Нет , к сожалению женская логика это деление на 0

так сколько ножек у этой мелкосхемы?

Эх, на таком бы процессоре да в солитер игрануть, вот это тема была бы

Это сообщение отредактировал GSR - 20.08.2019 - 10:50

Здраствуй Скайнет блять...

Мне кажется это типа многочипового процессора со встроенный быстрой оперативкой. Не дай бог так начнут скоро делать процессоры.. забудем об апгрейде.

Классная штука. Жаль, что не поюзаю никогда только)

ИИ нет, а процессор для него есть, парадокс....

А упаковка для него уже готова?