Нейросеть YaLM 100b от Яндекса - кто может развернуть?

[ Версия для печати ]
Добавить в Telegram Добавить в Twitter Добавить в Вконтакте Добавить в Одноклассники
  [ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]
Linfern
25.06.2022 - 12:26
Статус: Offline


Шутник

Регистрация: 28.11.18
Сообщений: 0
Яндекс выложил в открытый доступ нейросеть для генерации текстов на 100 миллиардов параметров:
https://github.com/yandex/YaLM-100B
с полностью открытой лицензией.

Но, чтобы её пробовать, нужно иметь 32 видеокарты. Скажите, пожалуйста, нет ли среди вас желающих сделать некий онлайн-сервис, основанный на данной нейросети, чтобы каждый мог попробовать?
 
[^]
Yap
[x]



Продам слона

Регистрация: 10.12.04
Сообщений: 1488
 
[^]
xSerg
25.06.2022 - 12:28
Статус: Online


Ярила

Регистрация: 21.10.16
Сообщений: 2492
Пошёл в магаз за видеокартами, позже отпишусь.)
 
[^]
azztec
25.06.2022 - 12:32
Статус: Offline


Ярила

Регистрация: 21.05.10
Сообщений: 3651
Так бы и написал - требуется богатый бездельник.
 
[^]
yaphunter
25.06.2022 - 12:33
Статус: Offline


Ярила

Регистрация: 4.08.13
Сообщений: 8941
Цитата (Linfern @ 25.06.2022 - 13:26)
Яндекс выложил в открытый доступ нейросеть для генерации текстов на 100 миллиардов параметров:
https://github.com/yandex/YaLM-100B
с полностью открытой лицензией.

Но, чтобы её пробовать, нужно иметь 32 видеокарты. Скажите, пожалуйста, нет ли среди вас желающих сделать некий онлайн-сервис, основанный на данной нейросети, чтобы каждый мог попробовать?

Как я понял.
Там надо 200 гигов видео памяти. Т.е.16 карт с 16 Гб будет достаточно.
А прикладное применение какое этого?
 
[^]
Linfern
25.06.2022 - 12:39
Статус: Offline


Шутник

Регистрация: 28.11.18
Сообщений: 0
Цитата (yaphunter @ 25.06.2022 - 12:33)
Цитата (Linfern @ 25.06.2022 - 13:26)
Яндекс выложил в открытый доступ нейросеть для генерации текстов на 100 миллиардов параметров:
https://github.com/yandex/YaLM-100B
с полностью открытой лицензией.

Но, чтобы её пробовать, нужно иметь 32 видеокарты. Скажите, пожалуйста, нет ли среди вас желающих сделать некий онлайн-сервис, основанный на данной нейросети, чтобы каждый мог попробовать?

Как я понял.
Там надо 200 гигов видео памяти. Т.е.16 карт с 16 Гб будет достаточно.
А прикладное применение какое этого?

Да, правильно.
Прикладное использование весьма обширно - я, например, планирую писать на ней художественные произведения. Как и многие мои друзья и знакомые. Но у нас нет таких ресурсов, а Яндекс не стал выкатывать нейросеть в онлайн-режим.
Да и если выкатит, то обязательно порежет и будет цензурировать. Поэтому хотелось бы что-то независимое.

Плюсом ко всему это реально МНОГО КОМУ нужно, начиная от фанфиков и заканчивая научными исследованиями. Но не у всех есть личные ресурсы в плане железа. Было бы большое и доброе дело.
 
[^]
PixiMixi
25.06.2022 - 12:40
Статус: Offline


Элитный кошак

Регистрация: 31.03.18
Сообщений: 821
Цитата (Linfern @ 25.06.2022 - 12:26)
Яндекс выложил в открытый доступ нейросеть для генерации текстов на 100 миллиардов параметров:
https://github.com/yandex/YaLM-100B
с полностью открытой лицензией.

Но, чтобы её пробовать, нужно иметь 32 видеокарты. Скажите, пожалуйста, нет ли среди вас желающих сделать некий онлайн-сервис, основанный на данной нейросети, чтобы каждый мог попробовать?

у сбера есть. открытая развернутая. с апи. правда используется забугорная разработка GPT
а так, специальные машины гугл может подогнать. правда стоит овердохрена

Это сообщение отредактировал PixiMixi - 25.06.2022 - 12:40
 
[^]
PixiMixi
25.06.2022 - 12:43
Статус: Offline


Элитный кошак

Регистрация: 31.03.18
Сообщений: 821
про 32 видеокарты не нашел ничё.
вот из спеки
Цитата
Make sure to have 200GB of free disk space before downloading weights. The model (code is based on microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total which divide weight dimensions correctly (e.g. 16, 64, 128).

200Гигов памяти видях надо lol.gif

Это сообщение отредактировал PixiMixi - 25.06.2022 - 12:45
 
[^]
Linfern
25.06.2022 - 12:47
Статус: Offline


Шутник

Регистрация: 28.11.18
Сообщений: 0
Цитата (PixiMixi @ 25.06.2022 - 12:43)
про 32 видеокарты не нашел ничё.
вот из спеки
Цитата
Make sure to have 200GB of free disk space before downloading weights. The model (code is based on microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total which divide weight dimensions correctly (e.g. 16, 64, 128).

200Гигов памяти видях надо lol.gif

Да. Может, кто развернёт?
 
[^]
Avraam01
25.06.2022 - 12:47
Статус: Offline


Ярила

Регистрация: 7.03.20
Сообщений: 1697
Цитата (yaphunter @ 25.06.2022 - 12:33)
Цитата (Linfern @ 25.06.2022 - 13:26)
Яндекс выложил в открытый доступ нейросеть для генерации текстов на 100 миллиардов параметров:
https://github.com/yandex/YaLM-100B
с полностью открытой лицензией.

Но, чтобы её пробовать, нужно иметь 32 видеокарты. Скажите, пожалуйста, нет ли среди вас желающих сделать некий онлайн-сервис, основанный на данной нейросети, чтобы каждый мог попробовать?

Как я понял.
Там надо 200 гигов видео памяти. Т.е.16 карт с 16 Гб будет достаточно.
А прикладное применение какое этого?

Ну как какое, теперь тебе не надо будет придумывать себе друга, ты сможешь его просто загрузить)
 
[^]
kmhd
26.06.2022 - 22:20
Статус: Offline


Ярила

Регистрация: 23.11.21
Сообщений: 1503
Есть майнеры, за денежку они на всё согласны.


Это сообщение отредактировал kmhd - 26.06.2022 - 22:31

Нейросеть YaLM 100b от Яндекса - кто может развернуть?
 
[^]
DasKochet
26.06.2022 - 22:24
Статус: Offline


Ярила

Регистрация: 7.04.15
Сообщений: 8549
Занятная штука однако.
Надо все обдумать
 
[^]
Чебурнатор
26.06.2022 - 22:26
Статус: Offline


Балагур

Регистрация: 1.09.12
Сообщений: 902
Я конечно далек от этого, но не понимаю почему для ИИ нужна видеокарта с таким количеством памяти, а не проц какой млщный с дохера оперативкой?
 
[^]
parson
26.06.2022 - 22:27
Статус: Offline


Ярила

Регистрация: 23.05.17
Сообщений: 4830
И что она может. Может генерировать бредовые тексты за Медведева, типа тех, что он пишет в последнее время?

Это сообщение отредактировал parson - 26.06.2022 - 22:31
 
[^]
Asteris
26.06.2022 - 22:27
Статус: Offline


Д'Артаньян всея интернетов.

Регистрация: 7.09.12
Сообщений: 6213
в общем надо вложить несколько лямов,что бы сделать тебе бесплатное доброе дело на котором ты смог бы зарабатывать.

 
[^]
parson
26.06.2022 - 22:29
Статус: Offline


Ярила

Регистрация: 23.05.17
Сообщений: 4830
Цитата (Чебурнатор @ 26.06.2022 - 21:26)
Я конечно далек от этого, но не понимаю почему для ИИ нужна видеокарта с таким количеством памяти, а не проц какой млщный с дохера оперативкой?

Параллельная работа искусственных нейронов реализуется через алгебраические операции с матрицами, которые намного эффективнее делают видеокарты. Тысячи простых параллельных вычислителей, а не 8 сложных ядер.

Это сообщение отредактировал parson - 26.06.2022 - 22:33
 
[^]
Чебурнатор
26.06.2022 - 22:43
Статус: Offline


Балагур

Регистрация: 1.09.12
Сообщений: 902
Цитата (parson @ 26.06.2022 - 22:29)
Цитата (Чебурнатор @ 26.06.2022 - 21:26)
Я конечно далек от этого, но не понимаю почему для ИИ нужна видеокарта с таким количеством памяти, а не проц какой млщный с дохера оперативкой?

Параллельная работа искусственных нейронов реализуется через алгебраические операции с матрицами, которые намного эффективнее делают видеокарты. Тысячи простых параллельных вычислителей, а не 8 сложных ядер.

Ясно, спасибо.
Вот значит почему раньше майнили на картах.
 
[^]
parson
26.06.2022 - 23:12
Статус: Offline


Ярила

Регистрация: 23.05.17
Сообщений: 4830
Цитата (Чебурнатор @ 26.06.2022 - 21:43)
Цитата (parson @ 26.06.2022 - 22:29)
Цитата (Чебурнатор @ 26.06.2022 - 21:26)
Я конечно далек от этого, но не понимаю почему для ИИ нужна видеокарта с таким количеством памяти, а не проц какой млщный с дохера оперативкой?

Параллельная работа искусственных нейронов реализуется через алгебраические операции с матрицами, которые намного эффективнее делают видеокарты. Тысячи простых параллельных вычислителей, а не 8 сложных ядер.

Ясно, спасибо.
Вот значит почему раньше майнили на картах.

Надеюсь, что раньше. И цена на карты упадет. Но может не падать, только бы война быстрей закончилась.
 
[^]
Понравился пост? Еще больше интересного в Телеграм-канале ЯПлакалъ!
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) Просмотры темы: 1965
0 Пользователей:
[ ОТВЕТИТЬ ] [ НОВАЯ ТЕМА ]


 
 



Активные темы






Наверх