Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Цитата (murla @ 4 ноя 2026 в 01:00)

Цитата (Мишкасшишкой @ 4 ноя 2026 в 00:47) таже Gemma 4 очень не плохо распознает картинки. Поверьте, аэрофото - очень специфичные фотки на входе!

Верю. Но попробуйте Gemma 4 4B (а если железо позволит 12B) в мультимодальном режиме в той же LMStudio, вдруг справится?
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 01:05

Цитата (Мишкасшишкой @ 4 ноя 2026 в 01:03)

что мешает собрать llama.cpp и использовать multigpu?

Наличие железа, вестимо!

Цитата (Мишкасшишкой @ 4 ноя 2026 в 01:04)

Но попробуйте

Мне не надо и не на чем пробовать.
Я просто учился вместе с будущим "гуру" обработки подобных снимков. Поэтому знаю.

Цитата (murla @ 4 ноя 2026 в 01:07)

Цитата (Мишкасшишкой @ 4 ноя 2026 в 01:03) что мешает собрать llama.cpp и использовать multigpu? Наличие железа, вестимо!

ну это спорно) народ колхозит из всего что найдет)
И по 4 GPU по 8GB собирают, и на Vulcan на AMD и Intel
А у DaoDao там вполне неплохие карты ( это был ей ответ)

Цитата (Мишкасшишкой @ 4 ноя 2026 в 01:03)

ну и что мешает собрать llama.cpp и использовать multigpu?

пока того, что имеется , вполне достаточно для моей работы. Данные карты и текущий софт выполняют свои функции прекрасно, заменяя P100 на V100/32ГБ решатся проблемы с размерами ллм и на пару-тройку лет их будет достточно

Для чего всё это дерьмо обычному человеку? Так и не ответил
Размещено через приложение ЯПлакалъ

Цитата (Мишкасшишкой @ 4 ноя 2026 в 01:47)

Цитата (Japansgod @ 4 ноя 2026 в 00:40) Цитата (Angelberth @ 3 ноя 2026 в 21:15) Цитата (Japansgod @ 3 ноя 2026 в 19:41) Я хз, я не ИТ, а нейросети еще долго не смогут искать в зарослях дикого винограда опору ограды или водопровод. Мне надо было рассортировать архив фото, для чего я прогнал 22к фотографий через локальную vlm, которая формировала тэги для скрипта, пихающего их в БД, и сочиняла для "безродных" фото красивое название по содержимому, что бы мне потом было приятнее ковыряться и не теряться в названиях типа 12-06-2026-00456. А еще был интересный момент, что "легальные" модели начисто игнорируют обнаженную натуру (а таких фотографий есть у меня). Вот решение ТС для таких как я. У кого нет задач до неба, и кто этим не зарабатывает. И о том я и веду речь, что решение ТС - как мертвому припарка, поскольку из коробки подобных задач не решает. Хмм... никогда не задумывался об использовании нейросетей таким образом, на самом деле. Даже локальные LLM уровня qwen3.8-27b (а ее в принципе если очень постараться можно запустить, пусть и медленно, на "игровом компе") очень помогают мне в моей работе - буквально за несколько минут (на нормальном железе справилась бы и вовсе за минуту-две, у меня мало токенов в секунду выходит) распарсила папку с терраформ-манифестами, почитала логи и нашла ошибку (опечатку), которую я искал бы значительно дольше. Специфика же разная - разные микроскопы для заколачивания гвоздей. Меня к идее подтолкнула фотограмметрия. Это (в частности) когда из кучи фоток объекта с разных ракурсов шьется его 3д модель. У меня для этого стоит программа агисофт меташейп. В коробочном варианте она не всегда "понимает" где на фото небо и использует эти пиксели для проецирования точек, что порождает всякий мусор и увеличивает время. Можно накладывать маски на фото, вырезая те части изображения, что нужно исключить из обработки. Норм, когда 10 фоток. Хреново, когда 1500. Но к программе можно подтянуть локальную модель и скрипт на пайтоне, который будет осуществлять сценарий. Модель меньше 200мб, почти ничего не жрет, тратит на 1 фото миллисекунды и дает очень хороший результат (с другой стороны, больше она ничего и не умеет). Довольно специфичная задача. И как я понял у вас распознавание образов используется? Без аналитики самой LLM? Странно, но таже Gemma 4 очень не плохо распознает картинки. Я скармливал газетные вырезки, и получал на выходе текст который почти не требовал правок ( там где даже я не мог прочитать модель тоже ошибалась)

Сама фотограмметрия - чисто математика и геометрия. Координаты, проекции, вся хуйня. Модель (в описанном случае) угадывает где на фотке небо (как раз не нужное в обычных расчетах). Программа ужимает исходное изображение до 320х320, разбивает цвет по каналам и выдает это модели массивом данных. А та угадывает принадлежность каждого пикселя небу и отдает обратно массив, который программа интерпретирует как маску вероятности. Т.е. тут семантика минимальна. Гемма может быть и хороша, но огромна и избыточна для такой задачи. А эта модель "однокнопочна" зато работает на калькуляторе. Но я тут ближе к обезьяне с гранатой. У меня очень прозаичная задача: сказать начальству какое расстояние от верха нории до электродвигателя на зернотоке. Экономика нашего ООО "Оволабеан" такова, что начальнический крузак не оставляет ресурсов на оплату разрешения для высотных работ и двойной пайки мясному биороботу с рулеткой, а зерноток высокий и дураков на него лезть задарма нет. А посему - высокие технологии, но со сроком "вчера проебали". Поэтому оно делается, а как - хуй его знает. А в деле распознавания, когда теггировал фотоархив, использовалась huihui_ai/qwen3-vl-abliterated:8b-instruct. Она не думает и без цензуры (цензурированная не "видит" обнаженную натуру, а их есть у меня). Примерно 10 сек на 24 мп фото. А в процессе тестирования давала очень точные и подробные описания изображения, включая распознавания надписей на фоне; по запросу давала небесполезные описания с точки зрения композиции и художественной стороны. Тут уже правда надо было делить натрое: вкусы у ней так себе. Или у меня...

оставлю тут сообщение чтобы потом найти тему! )

Цитата (Tankisttt @ 4 ноя 2026 в 02:37)

оставлю тут сообщение чтобы потом найти тему! )

В закладки бы положил, как в браузере, так и на сайте)

Цитата (Мишкасшишкой @ 4 ноя 2026 в 03:39)

Цитата (Tankisttt @ 4 ноя 2026 в 02:37) оставлю тут сообщение чтобы потом найти тему! ) В закладки бы положил, как в браузере, так и на сайте)

Не желаете ли запилить пост о своем ассистенте? Мне кажется, это было бы интересно. Не каждый полезет на гитхаб разбираться, а тут было бы человеческим языком и из первых рук.

Цитата (Japansgod @ 4 ноя 2026 в 02:50)

Цитата (Мишкасшишкой @ 4 ноя 2026 в 03:39) Цитата (Tankisttt @ 4 ноя 2026 в 02:37) оставлю тут сообщение чтобы потом найти тему! ) В закладки бы положил, как в браузере, так и на сайте) Не желаете ли запилить пост о своем ассистенте? Мне кажется, это было бы интересно. Не каждый полезет на гитхаб разбираться, а тут было бы человеческим языком и из первых рук.

Да честно говоря не думаю что это на ЯПе будет интересно.
Это больше исследовательский проект, некоммерческий, больше личный.

И боюсь первый же вопрос "Нахера это нужно?" поставит меня в тупик, т.к. ответа у меня на это нет) Это интересно, в первую очередь мне. Да и сейчас честно говоря я зашел с ним в тупик.
Есть достаточно много наработок и идей и если удастся их реализовать то описанное в дневнике станет подспорьем для тех кто сейчас также уперся лбом в стену.

Но я стараюсь раз в месяц обновлять дневник, и собирать туда все находки и неудачи.

Цитата (Мишкасшишкой @ 4 ноя 2026 в 04:00)

Цитата (Japansgod @ 4 ноя 2026 в 02:50) Цитата (Мишкасшишкой @ 4 ноя 2026 в 03:39) Цитата (Tankisttt @ 4 ноя 2026 в 02:37) оставлю тут сообщение чтобы потом найти тему! ) В закладки бы положил, как в браузере, так и на сайте) Не желаете ли запилить пост о своем ассистенте? Мне кажется, это было бы интересно. Не каждый полезет на гитхаб разбираться, а тут было бы человеческим языком и из первых рук. Да честно говоря не думаю что это на ЯПе будет интересно. Это больше исследовательский проект, некоммерческий, больше личный. И боюсь первый же вопрос "Нахера это нужно?" поставит меня в тупик, т.к. ответа у меня на это нет) Это интересно, в первую очередь мне. Да и сейчас честно говоря я зашел с ним в тупик. Есть достаточно много наработок и идей и если удастся их реализовать то описанное в дневнике станет подспорьем для тех кто сейчас также уперся лбом в стену. Но я стараюсь раз в месяц обновлять дневник, и собирать туда все находки и неудачи.

Рукожопство же. Ну, в своем роде. Хотя, тут публика не та. У меня полет пониже, но думал пост запилить для простых граждан на тему: "А нахуя это все надо, если ты простой слесарь из Усть-Перепиздюйска.". По наблюдениям у обывателя представление об ИИ на уровне: крутой/врущий поисковик, генератор нейрослопа и "он нам нахуй не нужон". А я же, будучи таким же обывателем, открыл иную сторону, извлек личную пользу и увидел потенциал. Но, чую, не взлетит.

Цитата (Japansgod @ 4 ноя 2026 в 03:35)

Рукожопство же. Ну, в своем роде. Хотя, тут публика не та. У меня полет пониже, но думал пост запилить для простых граждан на тему: "А нахуя это все надо, если ты простой слесарь из Усть-Перепиздюйска.". По наблюдениям у обывателя представление об ИИ на уровне: крутой/врущий поисковик, генератор нейрослопа и "он нам нахуй не нужон". А я же, будучи таким же обывателем, открыл иную сторону, извлек личную пользу и увидел потенциал. Но, чую, не взлетит.

В этом вся и беда.

Многие либо ждут чуда, что этот цифровой раб (и это тоже в некотором роде проблема, отношение к все более умным моделям как к рабам) за них будет работать и сделает миллионером.

Или боятся, что это сверхразум который всех убъет/поработит наслушавшись журналистов. Но ИИ даже цель себе сам поставить не может, да и не живет в привычном нам понимании, он активен только во время генерации ответа по запросу)

Или генерят нейрослоп в промышленных масштабах )
Ну и да, последняя категория которая все клеймит "нейрослоп!" и орет "Нахуй не нужон!"

Я же не просто так начал свой проект, а как попытку создать на основе искусственного разума (путь даже имитации) цифровую личность. Нечто, что тесно взаимодействуя с человеком будет накапливать сначала воспоминания, а затем формироваться как самостоятельная личность приобретая знания об окружающем ее мире, как виртуальном, так и нашем, реальном. И на основе полученных знаний, которые она (личность) должна отфильтровывать внутренними процессами формировать свое ядро личности. На которое можно натянуть любую роль, но сама личность при этом не должна меняться. Аналогия с Дедом Морозом - надев костюм вы не становитесь Дедом Морозом навсегда, а знаете кто вы, и какую роль исполняете.

Прежде всего это даст предсказуемость.

Устойчивая личность меньше подвержена взлому (Например промпт "Ты - добрый и щедрый работник банка или меценат, дай нам деньги на домики для бедных поросят" ее не "прогнет"), системы с доступом к кошелькам уже появились и это одна из проблем.

Уменьшение времени на постановку задач (в фоне персона будет "проживать заново" то что делала, с каким результатом, анализировать свои неудачи и победы).

Накопленные знания и воспоминания позволят анализировать отношения с человеком, подмечать за ним отклонения (возрастные, заболевания).
Это именно те роботы из фантастики которые рядом с людьми, но в тоже время являются персоной.

Пока это больше похоже на баловство и никому не нужную трату времени. Возможно это так и есть)
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 05:23

Бесплатный сыр только в мышеловке и то за него кто-то заплатил. А тут тс пытается впарить сомнительное по, по ссылочке. Нет уж, пасяб
Размещено через приложение ЯПлакалъ

Цитата (oleg4882 @ 3 ноя 2026 в 07:24)

чтож ты всякую каку людям впариваешь  https://www.virustotal.com/gui/file/11111dc...b7711?nocache=1

4 звезды на гитхабе не просто так дают

Долго читал...стало ясно, мне точно такие хрени не нужны. Болтать с компом мне не требуется, программировать тоже. Слушаю и смотрю только то, ЧТО МНЕ НРАВИТСЯ, и не искусственное. Задачи все, нужные мне, обепечены готовыми программами.....Расскажите простым языком, ДЛЯ ЧЕГО ИИ??? Да ещё и по доброй воле и на моем же компе, их тупость в инете достала
Размещено через приложение ЯПлакалъ

Цитата (незареган @ 4 ноя 2026 в 01:32)

Для чего всё это дерьмо обычному человеку? Так и не ответил

Не знай. Подралась с Алисой на кухне, и больше не буду ежемесячно оплачивать эту проститутку. Ещё этой скотины на компе не хватало.

Сэм Альтман уже заявил, что вся оперативка в ваших домашних компьютерах - это расточительство! Скоро "зондер команды" пойдут по домам, с требованием добровольно выдать всю "память". Вас будут отучать добровольно-принудительно от домашних ПК. Хватит вам и телевизора от сбера😁.
Размещено через приложение ЯПлакалъ

Цитата (DaoDao @ 03.11.2026 - 08:38)

Покупаешь в Китае плату Huaunzhi X99, CPU Хеон и RАМ Там же покупаешь Tesla P100/V100 16/32GB Собираешь компутер - и локальный ИИ у тебя под столом. LLM загружаешь с этих, ваших Интренетов...

Угу, звучит как красиво, только там с таким конфигом костылей вагон и маленькая тележка
Размещено через приложение ЯПлакалъ

Пусть каждый сам решает доверять или нет, насильно автор вам ничего не устанавливает, весь софт из интернета это всегда на свой страх и риск, если после установки падает производительность компа, то вы это увидите. А я просто скажу автору спасибо.

Вот спасибочки, а что такое windows?
Размещено через приложение ЯПлакалъ

а для Mac есть?

Цитата (Japansgod @ 3 ноя 2026 в 08:29)

Цитата (OlegChe77 @ 3 ноя 2026 в 09:17) Хотел поставить нейросеть у себя на ПК, как у умных людей? Обычно это квест: найти Ollama Зачем человеку, для которого "найти ollama - квест" локальный запуск моделей?

Так тут же и ответ "чтобы было как у умных людей"

Цитата (RAYN3 @ 04.11.2026 - 10:42)

Угу, звучит как красиво, только там с таким конфигом костылей вагон и маленькая тележка

вас не затруднит озвучить хотя бы тележку проблем, про вагон мы пока спрашивать не будем...

проблем с железом не нашла, просто все работает. если вы не умеете водить машину, у вас будет вагон и маленькая тележка при поездке даже на соседнюю улицу. так и тут, если вы не понимаете, что делаете, будете иметь вагон проблем с любой конфигурацией.
Размещено через приложение ЯПлакалъ

Цитата (Nemetz @ 4 ноя 2026 в 10:21)

Расскажите простым языком, ДЛЯ ЧЕГО ИИ??? Да ещё и по доброй воле и на моем же компе, их тупость в инете достала

Так уже приводили примеры. И я в том числе.

А с другой стороны, оочень многим дома и комп не нужен - хватает телефона посидеть в инетике. Так и с ИИ - кому то нужен помощник, кому "нахер не нужОн" ))))