Кто помнит первые нейросети?

Помню в передковидные времена увидел статью про них, психоделически показалось, скопипастил сюда, но не взлетела, а потом и самоликвидировалась похоже.
А может и не скопипастил, сейчас уже трудно сказать…

В общем речь про обработку видео урока нейросетями. Одна голос, вторая изображение.
Или наоборот ;)

Google DeepDream — обрабатывала видеокадры, усиливая образы животных, глаз и других объектов.
WaveNet — генерировала искусственный голос, изучив особенности речи Боба Росса.

«Deeply Artificial Trees» — это художественное видео, созданное Александром Ребён (Alexander Reben, также известным как artBoffin) в 2017 году. В нём с помощью технологий глубокого обучения (нейронных сетей) трансформировали кадры из эпизодов телешоу Боба Росса «Радость рисования» (The Joy of Painting).

Ребён обработал каждый кадр видео с помощью нескольких методов глубокого обучения. В частности, он применял модели VGG в Keras и Google DeepDream в TensorFlow.

Алгоритм работает так: он анализирует изображение, находит в нём определённые паттерны (например, глаза, пасти животных), слегка искажает картинку, усиливая эти признаки, и повторяет процесс. Со временем визуал становится всё более сюрреалистичным: облака могут превратиться в жутких мутантов, а детали — в изображения животных.

Что касается звука, то здесь тоже применили обработку: голос Боба Росса синтезировали с помощью модели WaveNet, а затем смешали с фрагментами обращённого звука. В итоге получается очень специфический, психоделический опыт.

Автор задумывал это произведение как иллюстрацию к идее о том, каково было бы искусственному интеллекту смотреть видео с Бобом Россом под воздействием «цифровых наркотиков» (ЛСД).

В описании работы Ребён подчёркивал, что хотел показать «необоснованную эффективность и странную внутреннюю работу систем глубокого обучения». Он отмечал, что алгоритмы изучают уникальные особенности человеческого голоса и генерируют их, а также демонстрирует «галлюцинации» системы, которая пытается найти образы, которых на самом деле нет в исходном материале.




Видео вызвало неоднозначную реакцию. Одни называли его пугающим и дезориентирующим, сравнивая с «кислотным трипом». Другие отмечали, что работа заставляет задуматься о том, как именно «думают» алгоритмы, и о границах их возможностей.
Было это в апреле 2017 года.
Всё.