Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Цитата (orda72 @ 3 ноя 2026 в 17:38)

А это не одно и тоже? Вроде как студия использует ollama?

Да, можно и так сказать. Движок у них один - llama.cpp, но оптимизируют по разному. Поэтому чистая llama.cpp - сложнее, но более гибкая

Цитата (Tuum @ 3 ноя 2026 в 15:19)

Цитата (orda72 @ 3 ноя 2026 в 14:49) Простите, а где вы увидели "решение за других"? Каждый из нас волен выражать на данном сайте свое мнение. если оно не оскорбляет других. Например вот тут) Вы решаете нужна или нет, более того называете те, что вам не понятно херней)) Цитата (orda72 @ 3 ноя 2026 в 13:17) Не нужна. Не майтесь херней.

Мне в каждой реплике писать что это только мое мнение?

Цитата (orda72 @ 3 ноя 2026 в 17:36)

Ух. Догадливый Вы наш. Слету без подсказки, в FPV точно LLM используют?

Может вам еще и ссылку на скачивание адаптированной версии для одноплатных компьютеров?) Еще раз - просто обратил внимание, что если что-то не подходит под ваши нужды это не значит что это никому не нужно.

Цитата (orda72 @ 3 ноя 2026 в 17:42)

Мне в каждой реплике писать что это только мое мнение?

А зачем тогда вы докопались до моего мнения?)) Или только ваше имеет значение?)
Это сообщение отредактировал Tuum - 3 ноя 2026 в 17:47

Цитата (orda72 @ 3 ноя 2026 в 17:38)

Цитата (Rifle77 @ 3 ноя 2026 в 16:14) а что лучше ollama или  LMStudio? Или от задач зависит? А это не одно и тоже? Вроде как студия использует ollama?

А это, видимо, как DOS и Win 3.11.
Где комфортнее работать?
Или АМД Адреналин (тонкие настройки, разгон и тюнинг) или рекурсия руками: конфиги изменили - протестировали. Цена: установщик - 500Мб против нескольких часов правок конфигов (с матами).

Цитата (nikmil @ 3 ноя 2026 в 17:42)

Цитата (orda72 @ 3 ноя 2026 в 17:38) А это не одно и тоже? Вроде как студия использует ollama? Да, можно и так сказать. Движок у них один - llama.cpp, но оптимизируют по разному. Поэтому чистая llama.cpp - сложнее, но более гибкая

Ну фиг его знает. Сам со студии начинал. Но показалось что это только "на попробовать" ollama вроде надо каждый раз собирать заново. Vllm зашло. Под xme2 лучшее что есть. Хотя проблем там еще дофига. Квантовать kv кеш не умеет. С графами беда.

Tuum
orda72
В дронах не может быть LLM, окститесь!

Цитата (murla @ 3 ноя 2026 в 17:49)

В дронах не может быть LLM, окститесь!

Как скажете, никогда не спорю с экспертами)

Цитата (Tuum @ 3 ноя 2026 в 17:45)

Цитата (orda72 @ 3 ноя 2026 в 17:36) Ух. Догадливый Вы наш. Слету без подсказки, в FPV точно LLM используют? Может вам еще и ссылку на скачивание адаптированной версии для одноплатных компьютеров?) Еще раз - просто обратил внимание, что если что-то не подходит под ваши нужды это не значит что это никому не нужно. Цитата (orda72 @ 3 ноя 2026 в 17:42) Мне в каждой реплике писать что это только мое мнение? А зачем тогда вы докопались до моего мнения?)) Или только ваше имеет значение?)

Друг мой, я могу только из своего опыта исходить. Он субьективен. Одноплатники с npu тема отдельная. А про fpv, там используют не трансформеры. Вот ни разу. ))) и модели там не квантованные. А что там в одноплатники грузят. Так работы пылесосы с ai даже не вчера появились. Там ml))

Цитата (Tuum @ 3 ноя 2026 в 17:45)

Цитата (orda72 @ 3 ноя 2026 в 17:36) Ух. Догадливый Вы наш. Слету без подсказки, в FPV точно LLM используют? Может вам еще и ссылку на скачивание адаптированной версии для одноплатных компьютеров?) Еще раз - просто обратил внимание, что если что-то не подходит под ваши нужды это не значит что это никому не нужно. Цитата (orda72 @ 3 ноя 2026 в 17:42) Мне в каждой реплике писать что это только мое мнение? А зачем тогда вы докопались до моего мнения?)) Или только ваше имеет значение?)

Ни разу не хотел "докопаться". Просто мне тема интересна. Простите если вас задели мои слова.в полемическом задоре, так сказать.
Это сообщение отредактировал orda72 - 3 ноя 2026 в 18:10

Цитата (murla @ 3 ноя 2026 в 17:49)

Tuum orda72 В дронах не может быть LLM, окститесь!

Скорее догадываюсь, чем знаю. Для дронов решается задача классификации. Для этого достаточно перцептронов или xgboost.

Цитата (nikmil @ 3 ноя 2026 в 16:44)

Цитата (Japansgod @ 3 ноя 2026 в 15:41) И окажется, что все равно нужно ставить среду выполнения и в этом разбираться. Опять же, не соглашусь. Агент может выдать ЗАПУСКАЕМЫЙ файл. На нужном тебе языке программирования. Скачает все необходимое, напишет, и скомпилирует. Ну или если говорим про веб - готовую страничку в html, или сервак на js. Предварительно все проверяет, т.е. запускает, делает себе логи/скриншоты, смотрит их, проверяет, правит ошибки.

А бригада древнеегипетских рабочих может построить пирамиду. ТС вроде бы не агента представил, а программу-шпаргалку, которая поставит тебе олламу, посмотрит железо и выдаст список локалок, которые у тебя запустятся, и скачает их. Ну и окошко чата нарисует. Ты - обычный юзер, с обычной видеокартой. Ничего и ни в чем не шаришь (иначе зачем тебе прога ТС). У 70% пользователей 8-16 гб vram. И всего у 6% - 24+ гб. И вот, сидишь ты такой обычный юзер со своей карточкой на 16 гб в лучшем случае, на которой запустится тот же Qwen2.5-Coder-14B или типа того, который вместе с олламой и системой оставит тебе место под 32к токенов контекста, что не так уж и дохуя. Но ты не знаешь, что оллама из коробки урезает контекст до 2к и ничего в ней кроме чятика не работает, а модель из коробки не такая уж прям общительная. И окажется, что модель нужно пересобрать, настроить инструменты или среду. И вот только потом из этого можно кроить ии-агента, который выдаст запускаемый файл. Но ТС рекламирует "одну кнопку" для кулхацкеров.

Цитата (kofeimoloko @ 3 ноя 2026 в 12:25)

Цитата (Seid @ 03.11.2026 - 08:22) Локальные пиздец медленные. Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет?

Какие секунды? С твоими параметрами ноута, дай бог в час уложится, выполняя запрос "Найди фотку котика в гугле".

Цитата (Angelberth @ 3 ноя 2026 в 16:54)

Цитата (Tuum @ 3 ноя 2026 в 14:45) То что сейчас бесплатно или за копейки в облаке/интернете однажды прикроют или заломят цены. Монополии так и создаются. Какие нахер монополии? На этом рынке игроков овердофига и еще и новые появляются. Те же OpenAI и Anthropic и рады бы ломить ценники - но есть Google, Meta, есть в конце концов китайцы - там уже 6-7 игроков на рынке, причем китайцы отстают, конечно, но сравнимы с прошлым поколением (то есть отставание на 2-3, ну край 4 месяца).

Это пока инвесторы несут бабки, а большая часть людей испытывает эйфорию и надежду. Нейросетям в "большой игре" - без году неделя. Новый вкусный рынок в разгар кризиса перепроизводства. Все, кто может, будут пытаться отхапать больше кусок и укрепить позиции, для чего бодро вкладываются в НИОКР, инфраструктуру и демпинг. Рано или поздно у инвесторов кончатся бабки/терпение/всевместе и все посыплется в глубокую жопу. Дальше стандартно: пока толстый сохнет, худой сдохнет. В итоге все худые сдохнут и останется 1,5 монополиста, которые взвинтят цену, анально окуклят рынок и будут отбивать вложенное. Вспомни: еще лет 25 назад можно было кататься с большой клетчатой сумкой по всему миру и на каждом углу было по три ларька. Где это теперь? И тут тоже самое, только масштаб и порог вхождения другие.

Цитата (Japansgod @ 3 ноя 2026 в 18:14)

И вот, сидишь ты такой обычный юзер со своей карточкой на 16 гб в лучшем случае, на которой запустится тот же Qwen2.5-Coder-14B

Ну тут выдали уже советы, что можно запустить. Под LMStudio или Ollama c 16гб VRAM - можно пробовать Qwen3.6-35B-A3B или gemma-4-26b-a4b-it. Вполне модельки на уровне

Цитата (nikmil @ 3 ноя 2026 в 19:34)

Цитата (Japansgod @ 3 ноя 2026 в 18:14) И вот, сидишь ты такой обычный юзер со своей карточкой на 16 гб в лучшем случае, на которой запустится тот же Qwen2.5-Coder-14B Ну тут выдали уже советы, что можно запустить. Под LMStudio или Ollama c 16гб VRAM - можно пробовать Qwen3.6-35B-A3B или gemma-4-26b-a4b-it. Вполне модельки на уровне

Я будто с плохой моделью общаюсь... Контекст! Ну ясенхуй, настроить можно все. И кому надо - настроят сами или по совету. Речь не об этом. Есть ТС, который предлагает решение "из коробки". Я лишь говорю, что такое решение предполагаемой ЦА без надобности. Для решения реальных задач нажны танцы с бубном. Если ты готов на эти танцы, решение ТС тебе как корове седло. Человек хочет перевезти шкаф на другой конец города. ТС дает ему велосипед. Ну а так-то да, если к велосипеду прикрутить еще два колеса и электродвижок, а шкаф разобрать - это рабочее решение. Но у ТС только дефолтный велосипед, пусть и с красивым звонком на руле.
Это сообщение отредактировал Japansgod - 3 ноя 2026 в 18:48

Мягчее надо. Как тс решает вопросы с параллелизмом? А как квантует кеш? Допустим у модели кеш в fp8 а scale в модели отсутствует? Как избежать взрыва кеша? А как подключает драфт модель для mtp? Ну масса вопросов без базовых знаний на которые не ответишь . А если есть базовые знания то сам настроишь что надо.
Это сообщение отредактировал orda72 - 3 ноя 2026 в 18:56

Цитата (Japansgod @ 3 ноя 2026 в 18:44)

Я будто с плохой моделью общаюсь... Контекст! Ну ясенхуй, настроить можно все. И кому надо - настроят сами или по совету. Речь не об этом. Есть ТС, который предлагает решение "из коробки". Я лишь говорю, что такое решение предполагаемой ЦА без надобности.

А, простите, кто вообще ЦА локальных моделей? Что они должны делать?
Ну, очевидно, что если уж бабки вложены в оборудование (видяхи и память видели сколько стоят?), то эти бабки надо как-то отбивать. То есть вот эта LLM и харнесс (агент) должны бабки тебе зарабатывать. На чем?

- вайбкодинг? а кому ты нахуй нужен сейчас с вайбкодингом, чтоб еще и за это бабки платил кто-то? особенно вайбкодинг на какой-нибудь 4060 8Gb...
- дизайн? да то же самое

И вот остаются такие практические приложения как "личный ассистент" на Hermes, какой-нибудь бот для своего микро-бизнеса (куча инфоцыган с курсами как с помощью агента продавать ваш "уникальный" продукт целевой аудитории за счет того что агент будет парсить чаты, почту и т.п.)

Будем откровенны - локальные LLM это уровень "поиграться" для тех кто еще толком не знает, чего потом с этой LLM делать.

Для всех более-менее серьезных задач - даже та же подписка на какой-нибудь Codex (ибо нет желания доказывать Claude что ты не верблюд) или даже китайские Kimi/Z.Ai/Qwen будет себя окупать, когда вы уже понимаете, где эта LLM увеличивает вашу производительность и ценность на рынке.

Цитата (Tuum @ 3 ноя 2026 в 17:52)

Цитата (murla @ 3 ноя 2026 в 17:49) В дронах не может быть LLM, окститесь! Как скажете, никогда не спорю с экспертами)

Мы тут как раз обсуждаем:
- что нужно для LLM,
- сколько ЭТО весит,
- сколько ЭТО жрёт.

Да, многие беспилотники имеют автономные программы управления и оборудование для этого, но это никак не ИИ.

Цитата (Japansgod @ 3 ноя 2026 в 18:29)

Рано или поздно у инвесторов кончатся бабки/терпение/всевместе

Уже.
Первые звоночки уже были, и даже обсуждались на ЯПе.
- Недавний обвал акций ИИ-компаний на бирже.
- Маск не спрося пользователей урезал платные тарифы минимум вдвое.
...
Ещё что-то проскакивало.

Цитата (kofeimoloko @ 3 ноя 2026 в 08:25)

Цитата (Seid @ 03.11.2026 - 08:22) Локальные пиздец медленные. Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет?

Странно, что твой ноут MS Word еще тянет.

Цитата (orda72 @ 3 ноя 2026 в 18:55)

Как тс решает вопросы с параллелизмом? А как квантует кеш?

ТС говорил только об автоматическом скачивании моделей и зависимостей к ядру/API. Всё остальное, естественно, по дефолту! (где и если оно есть!)
Его "влезет-не_влезет", это даже не первичная настройка.
Это сообщение отредактировал murla - 3 ноя 2026 в 19:35

Цитата (murla @ 3 ноя 2026 в 19:28)

Уже. Первые звоночки уже были, и даже обсуждались на ЯПе. - Недавний обвал акций ИИ-компаний на бирже. - Маск не спрося пользователей урезал платные тарифы минимум вдвое. ... Ещё что-то проскакивало.

Ну там не такой уж прям и обвал, если смотреть график за пару лет.
А лимиты... с лимитами будут играться. Полагаю, разработчики облачных ИИ хотят на них зарабатывать и надеялись что бизнес втянется и начнет тратить токены как не в себя и платить им горы бабла. Не секрет, что лимиты "по подписке" выходят в разы (в десятки раз) дешевле, чем то же количество токенов через API с оплатой за каждый токен. И если видят что все сидят на подписках, а токены не особо и берут - будут корректировать. Они бы и рады дороже делать - но конкуренция, конкуренция... загнешь очешуевшие ценники - народ проголосует рублем к соседу.

Цитата (murla @ 3 ноя 2026 в 19:32)

Цитата (orda72 @ 3 ноя 2026 в 18:55) Как тс решает вопросы с параллелизмом? А как квантует кеш? ТС говорил только об автоматическом скачивании моделей и зависимостей к ядру/API. Всё остальное, естественно, по дефолту! (где и если оно есть!)

Ну если человеку влом зайти на HF и прочитать карточку модели, то наверное ему нафиг не нужна локальная модель))) помогалка впрочем тоже. Профанация это. Наверное 😂😂😂

Angelberth
Как бы, всё верно.
Только, ЕМНИС, всё ещё хуже: сотни миллиардов инвесторов уже вложены, а рынок ещё даже не сформировался. Реального спроса на уже действующие мощности пока нет.
Это моё личное дилетантское мнение, основанное только на отрывочных новостях.

Цитата (Angelberth @ 3 ноя 2026 в 20:16)

Цитата (Japansgod @ 3 ноя 2026 в 18:44) Я будто с плохой моделью общаюсь... Контекст! Ну ясенхуй, настроить можно все. И кому надо - настроят сами или по совету. Речь не об этом. Есть ТС, который предлагает решение "из коробки". Я лишь говорю, что такое решение предполагаемой ЦА без надобности. А, простите, кто вообще ЦА локальных моделей? Что они должны делать? Ну, очевидно, что если уж бабки вложены в оборудование (видяхи и память видели сколько стоят?), то эти бабки надо как-то отбивать. То есть вот эта LLM и харнесс (агент) должны бабки тебе зарабатывать. На чем? - вайбкодинг? а кому ты нахуй нужен сейчас с вайбкодингом, чтоб еще и за это бабки платил кто-то? особенно вайбкодинг на какой-нибудь 4060 8Gb... - дизайн? да то же самое И вот остаются такие практические приложения как "личный ассистент" на Hermes, какой-нибудь бот для своего микро-бизнеса (куча инфоцыган с курсами как с помощью агента продавать ваш "уникальный" продукт целевой аудитории за счет того что агент будет парсить чаты, почту и т.п.) Будем откровенны - локальные LLM это уровень "поиграться" для тех кто еще толком не знает, чего потом с этой LLM делать. Для всех более-менее серьезных задач - даже та же подписка на какой-нибудь Codex (ибо нет желания доказывать Claude что ты не верблюд) или даже китайские Kimi/Z.Ai/Qwen будет себя окупать, когда вы уже понимаете, где эта LLM увеличивает вашу производительность и ценность на рынке.

Я хз, я не ИТ, а нейросети еще долго не смогут искать в зарослях дикого винограда опору ограды или водопровод. Мне надо было рассортировать архив фото, для чего я прогнал 22к фотографий через локальную vlm, которая формировала тэги для скрипта, пихающего их в БД, и сочиняла для "безродных" фото красивое название по содержимому, что бы мне потом было приятнее ковыряться и не теряться в названиях типа 12-06-2026-00456. А еще был интересный момент, что "легальные" модели начисто игнорируют обнаженную натуру (а таких фотографий есть у меня). Вот решение ТС для таких как я. У кого нет задач до неба, и кто этим не зарабатывает. И о том я и веду речь, что решение ТС - как мертвому припарка, поскольку из коробки подобных задач не решает.