Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Можно и на телефоне запускать (андроид, к примеру через OnDeviceLLM), но зачем?

По сути, если железо не топовое - смысла мало (особенно для более комплексных задач, чем просто "вопрос - ответ"). При этом, хорошее железо тоже не гарантирует гладкую и сносную работу (не все возможности железок поддерживаются программно и реализованы на весь потенциал). На среднем домашнем пк модели на 4-8 млрд параметров начнут заикаться, резать ответы и уходить в постоянный "loop". При этом, эти модели на уровне гпт 3 - 3.5.

Про нормальный поиск онлайн, работу с картинками и прочее - вообще молчу.

Ну, мягко говоря - хз зачем. Уже куча инструментов на любой вкус, для локального запуска. В т.ч. и с поддержкой всего и вся, и апи своим и mcp и агентов там же и ТД и тп.

Цитата (БроЛысина @ 4 ноя 2026 в 11:35)

Можно и на телефоне запускать (андроид, к примеру через OnDeviceLLM), но зачем? По сути, если железо не топовое - смысла мало (особенно для более комплексных задач, чем просто "вопрос - ответ"). При этом, хорошее железо тоже не гарантирует гладкую и сносную работу (не все возможности железок поддерживаются программно и реализованы на весь потенциал). На среднем домашнем пк модели на 4-8 млрд параметров начнут заикаться, резать ответы и уходить в постоянный "loop". При этом, эти модели на уровне гпт 3 - 3.5. Про нормальный поиск онлайн, работу с картинками и прочее - вообще молчу.

На 8гб видеопамяти (rtx 4060) самое адекватное, что я запускал:
Gemma 4 e4b
Qwen 3.5 9b
При том гемма ещё и мультимодальная и в вызов инструментов умеет, т.е. в полное себе в режиме агента, хоть и простенького.

НО! С окном контекста около 40к токенов.
Для анализа не оч крупных документов, парсинга страниц, небольших задач - норм.

Скорость:
Qwen около 35-40 токенов в сек
Гемма - 55 +-

Что вполне норм для локальной работы. Часами ждать результата не надо.
Это сообщение отредактировал timonsterrr - 4 ноя 2026 в 11:55

Цитата (DaoDao @ 4 ноя 2026 в 01:17)

Цитата (Мишкасшишкой @ 4 ноя 2026 в 01:03) ну и что мешает собрать llama.cpp и использовать multigpu? пока того, что имеется , вполне достаточно для моей работы. Данные карты и текущий софт выполняют свои функции прекрасно, заменяя P100 на V100/32ГБ решатся проблемы с размерами ллм и на пару-тройку лет их будет достточно

V100...ну...сильно устарело, современные архитектуры не поддерживает. Они уже толком никому не нужны

Sm70 архитектура. Нет поддержки современных форматов сжатия fp8, int4, из за чего хоть памяти и 32, а толкового особо ничего не загрузить. Ну и кушац электричество хорошо любит.

Понимаю, что дёшево...но потому и дёшево, что уже никому оно не надо.

timonsterrr, как парсинг страниц реализовали? Через олламу пользуете, лмсудио или другое? Я пробовал пару плагинов для лмстудио - либо не работает, либо работает криво (даже не парсинг, а тупо поиск).

У меня с железом сильно хуже )) Райзен 5 без дискрентой видео, 16 гб рам. Ноутбук покупался совсем для других целей ;))

Gemma 4 e4b работает примерно 13-15 токенов / сек (не юзабельно)
Модели на 2 млрд параметров дают 20-30 токенов, но даже модель на 4 млрд - это для очень специфических задач

Цитата (timonsterrr @ 4 ноя 2026 в 11:54)

Sm70 архитектура. Нет поддержки современных форматов сжатия fp8, int4, из за чего хоть памяти и 32, а толкового особо ничего не загрузить. Ну и кушац электричество хорошо любит.

А что не загрузишь? Qwen3.8-27B в 5-м кванте с контекстом до 192К полностью влазит. А это - очень хорошая модель. Скорость в районе 40-50 т/сек.
Префил - да, медленный. Но опять же - если продолжать задачу, 50-70К токенов за пару тройку минут прожевывает, и дальше нормально работает (если кеширование в оперативку правильно настроить).

Цитата (timonsterrr @ 04.11.2026 - 11:54)

V100...ну...сильно устарело, современные архитектуры не поддерживает. Они уже толком никому не нужны Понимаю, что дёшево...но потому и дёшево, что уже никому оно не надо.

с одной стороны устарела, с другой - даже на тех ЛЛМ , что работают с картой , при правильном программировании, обрабатываются довольно сложные задачи и выдают очень точные результаты. при этом стоимость железа в разы меньше современного оборудования.
Размещено через приложение ЯПлакалъ

Цитата (OlegChe77 @ 3 ноя 2026 в 08:17)

«Local AI» — бесплатная программа для Windows.

Вот где-бы к ней железо бесплатное раздобыть, чтобы все это тянуло ещё.....

Что за [cencored] ИИ?

Цитата (nikmil @ 03.11.2026 - 08:51)

Чтоб что-то работало вменяемо, нужно видяху от 32гб, оперативки 64 гб. Хотя на движке Страта сейчас можно и на 16гб + 64гб оперативы + SSD запустить Qwen Flash-Next, и даже говорят на вполне приемлемой скорости. Те модели, что предлагает аффтор - можно и не мучится. Что-то реально рабочее начинается от Qwen3.6, лучше 3.8

На приемлемой нельзя. У меня как раз такой конфиг rtx4080 и 64 быстрой оперативы с таймингами 30, еле ворочает, каждый запрос к апи еще плюсом время отжирает
Размещено через приложение ЯПлакалъ

LMStudio просто существует...
Размещено через приложение ЯПлакалъ

Цитата (Nemetz @ 4 ноя 2026 в 10:21)

Долго читал...стало ясно, мне точно такие хрени не нужны. Болтать с компом мне не требуется, программировать тоже. Слушаю и смотрю только то, ЧТО МНЕ НРАВИТСЯ, и не искусственное. Задачи все, нужные мне, обепечены готовыми программами.....Расскажите простым языком, ДЛЯ ЧЕГО ИИ??? Да ещё и по доброй воле и на моем же компе, их тупость в инете достала

Вам это не нужно потому, что вы не занимаетесь интеллектуальной работой, развлечениями.

Это нужно прежде всего людям, кто работает с вычислениями. Инженеры, ученые, разработчики, хобби. Когда тебе нужно посчитать какие-то сложные процессы. Также позволяет проанализировать огромные объемы информации, в том числе и текстовой это те же инженеры, юристы, делопроизводители.

Типичные задачи: Посчитать гидравлику системы. Посчитай объем строительных материалов. Посчитай жесткость конструкции. Дай рекомендацию по всем типам ферм на данном объекте. Сделай теплотехнический расчёт. Сделать договор по шаблону, проверить актуальность норм, посмотреть ошибки. Написать рецензию на какой-то текст, найти скрытые смыслы, сверится с какими то документами. По кривой фотографии таблицы перевести все в формат эксель/ворд. Перевести сканированный чертеж, в машиночитаемый формат. Рассчитать какую-то деталь. Проверить чужой проект, документ на ошибки и несоответствие норм.

Вас это всё "достало" потому, что к вам попадает цифровой мусор от таких же как и вы. Люди развлекаются и вы видите только то, что находится в вашем слое общения.

ИИшки это огромный шаг для снятия рутины. Если раньше для воспроизведения тех же старых чертежей, нужно было сажать инженера и заставлять его перечерчивать всё заново, но уже на компе, на что могло уйти куча времени, то сейчас этот процесс занимает минуты. Не нужно сидеть неделями и делать выкладку по какому-то вопросу, даешь задачу ИИ, тебе выдают почти мгновенно анализ, который тебе нужно просто проверить уже ориентируясь на свой опыт.

Тоже самое и с документами, нормами, расчетами. Теперь у умных людей появился как бы свой бесплатный отдел с сотрудниками выполняющими рутину. Да сотрудники не очень умные, но исполнительные - не болеют, не ноют, не ошибаются. Делают всё в тысячи раз быстрее.

Цитата (Alterego81 @ 4 ноя 2026 в 14:03)

Цитата (nikmil @ 03.11.2026 - 08:51) Чтоб что-то работало вменяемо, нужно видяху от 32гб, оперативки 64 гб. Хотя на движке Страта сейчас можно и на 16гб + 64гб оперативы + SSD запустить Qwen Flash-Next, и даже говорят на вполне приемлемой скорости. Те модели, что предлагает аффтор - можно и не мучится. Что-то реально рабочее начинается от Qwen3.6, лучше 3.8 На приемлемой нельзя. У меня как раз такой конфиг rtx4080 и 64 быстрой оперативы с таймингами 30, еле ворочает, каждый запрос к апи еще плюсом время отжирает

Значит конфиг железа не оптимален.

Процессор какой? Доступных PCIe-5 сколько линий?
Память DDR-5? Сколько каналов задействовано?
SSD PCIe-5 поддерживает? И в PCIe-5 слот подключен?
Видяха точно 16 линий PCIe-5 имеет (от мамки!)?

насколько я помню, в половине новых ДОМАШНИХ компов этих самых PCIe линий на всё не хватает, даже если они НЕ PCIe-5!
Читал про современную мать, в которой второй слот для SSD имел только один канал PCIe. И о "внешнюю видяху воткнул - половина PCIe линий отвалилось у всех остальных PCIe девайсов". И о "можно воткнуть ДВЕ дискретные видяхи! но каждой по 8 PCIe линий".
Это сообщение отредактировал murla - 4 ноя 2026 в 16:06

Цитата (Комнин @ 4 ноя 2026 в 17:34)

Да сотрудники не очень умные, но исполнительные - не болеют, не ноют, не ошибаются. Делают всё в тысячи раз быстрее.

Увы, пока ошибаются и врут по чёрному. :)

Я как-то еле-еле убедил гугловский чат-бот в том, что охота с мелкокалиберной винтовкой на медведя в России разрешена на федеральном уровне.
Гугл и юлил, и нормативные акты придумывал или цитировал неверно, и смысл подменял... Только в конце вынужден был признать правоту, просто потому что я в теме и могу оперировать этой информацией.

p.s. Причём чат-бот не занимается самообучением, в целом он так же считает, что охота запрещена, он согласился со мной только в рамках контекста диалога.
Это сообщение отредактировал Domatsu - 4 ноя 2026 в 16:06

Цитата (Domatsu @ 4 ноя 2026 в 16:04)

пока ошибаются и врут по чёрному.

Значит мутно задачу ставили.
Для машинной логики мутно!

Извините, что снова упоминаю Мас. Уж очень хорошо ложтся под обсуждаемую область.
Mac Studio M5 Ultra возвращает до 512 ГБ единой памяти, а её пропускная способность выросла до 1,2 ТБ/с. Это на 50% больше, чем у M3 Ultra (819 ГБ/с), и примерно в 4,4 раза больше, чем у NVIDIA DGX Spark (273 ГБ/с).
Mac Studio M5 Ultra для LLM: 4,3x — это prefill, а генерация быстрее в 1,5–1,9 раза.
Ну и картинка сногсшибательная: Готовый ИИ-кластер на столе! Можно и четвёртое тельце примонтировать.


Это сообщение отредактировал murla - 4 ноя 2026 в 16:21

Цитата (murla @ 4 ноя 2026 в 18:08)

Цитата (Domatsu @ 4 ноя 2026 в 16:04) пока ошибаются и врут по чёрному. Значит мутно задачу ставили. Для машинной логики мутно!

Нет, там другой момент, машина просто ошибается и не корректно учитывает веса токенов в вопросе.
То есть анализируя фразу "Разрешена ли охота с мелкокалиберной винтовкой на медведя в России согласно федеральному законодательству" гугля ставит низкий вес для "согласно федеральному", а для "охота с мелкокалиберной винтовкой" наоборот высокий.

Если ставить вопрос так, что ответ приходит сразу корректным, то надо знать предметную область и сам вопрос уже не имеет смысла.

Цитата (murla @ 4 ноя 2026 в 18:17)

Извините, что снова упоминаю Мас. Уж очень хорошо ложтся под обсуждаемую область. Mac Studio M5 Ultra возвращает до 512 ГБ единой памяти, а её пропускная способность выросла до 1,2 ТБ/с. Это на 50% больше, чем у M3 Ultra (819 ГБ/с), и примерно в 4,4 раза больше, чем у NVIDIA DGX Spark (273 ГБ/с). Mac Studio M5 Ultra для LLM: 4,3x — это prefill, а генерация быстрее в 1,5–1,9 раза. Ну и картинка сногсшибательная: Готовый ИИ-кластер на столе! Можно и четвёртое тельце примонтировать.

"И всё прекрасно, если не считать..." © В.Вишневский

Цитата (Domatsu @ 4 ноя 2026 в 16:21)

Если ставить вопрос так, что ответ приходит сразу корректным, то надо знать предметную область и сам вопрос уже не имеет смысла.

Поговорка "Правильно поставленный вопрос содержит в себе бо́льшую часть ответа." - какого года?
Оригинал ещё забористее:
Чтобы правильно задать вопрос, нужно знать бо́льшую часть ответа. © Роберт Шекли
«Корпорация „Бессмертие“» Впервые опубликован в 1958 году!
Это сообщение отредактировал murla - 4 ноя 2026 в 16:33

Цитата (Domatsu @ 4 ноя 2026 в 16:25)

"И всё прекрасно, если не считать..."

Что считать?
Если деньги, то в долларах не так и много! "Всего" 30 000 за "узел" в максимальной комплектации.

Они их и в рассрочку продают!
Это как с ипотекой: заплатил двенадцатую часть стоимости, и уже эксплуатируешь!!!
$29,799.00 or $2,483.25/mo.per month for 12 mo.months

Напомню, что минималка стоит $2,500, или $50 в месяц (на 3 года).

Главная фишка ЭТОГО агрегата в том, что там всё сбалансировано и заточено на скорость. И он одноплатник по сути.
Это сообщение отредактировал murla - 4 ноя 2026 в 16:46

тут многие говорят про мас ии, но говорят с позиции маркетологов, не упоминая некоторые вещи, присущие яблоку.

1. отсутствует CUDA
2. нельзя просто заменить ГПУ. ВСЕ впаяно, покупаешь только то, что есть
3. расширяя кластер нужно будет покупать новый мак студио.
4.оптимтзиоовать очень сложно
5 сложно интегрировать с HPC LInux
Размещено через приложение ЯПлакалъ

Цитата (murla @ 04.11.2026 - 15:56)

Значит конфиг железа не оптимален. Процессор какой? Доступных PCIe-5 сколько линий? Память DDR-5? Сколько каналов задействовано? SSD PCIe-5 поддерживает? И в PCIe-5 слот подключен? Видяха точно 16 линий PCIe-5 имеет (от мамки!)? насколько я помню, в половине новых ДОМАШНИХ компов этих самых PCIe линий на всё не хватает, даже если они НЕ PCIe-5! Читал про современную мать, в которой второй слот для SSD имел только один канал PCIe. И о "внешнюю видяху воткнул - половина PCIe линий отвалилось у всех остальных PCIe девайсов". И о "можно воткнуть ДВЕ дискретные видяхи! но каждой по 8 PCIe линий".

Проц i-712700 интел, мать msi z-790 pro, память ддр5, видео palit rtx4080 gamerock os 16gb
Размещено через приложение ЯПлакалъ

попробовал на своем маке qwen 3.8 flash next - В принципе приемлемо
скорость около 60 токенов в секунду, но с кодом справляется очень даже неплохо

Нашёл вот прямо ипотечный вариант:
М5 Ultra (36 CPU + 80 GPU) +256GB RAM + 1TB SSD.
Buy for $10,799.00 or
$899.91/mo.per month for 12 mo.months
Lease from $224.16/mo. per month for 36 mo. 18,500 рублей в месяц.
Но это если ТАМ покупать, прямо на сайте.
Это сообщение отредактировал murla - 4 ноя 2026 в 16:58

Цитата (murla @ 04.11.2026 - 16:41)

Главная фишка ЭТОГО агрегата в том, что там всё сбалансировано и заточено на скорость. И он одноплатник по сути.

то, что мак одноплатник, это не фишка - это баг.
Размещено через приложение ЯПлакалъ