Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Цитата (kofeimoloko @ 3 ноя 2026 в 08:25)

Цитата (Seid @ 03.11.2026 - 08:22) Локальные пиздец медленные. Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет?

У меня видеокарта 3070 8 гб,ОЗУ -48гб процессор 16 ядерный, Qwen 3.8 27b - скорость примерно 3-8 токенов в секунду. Может думать над кодом размером 64 килобайта 10-15 минут. Но думает не плохо, с заданиями справляется

Цитата (pprus @ 4 ноя 2026 в 21:18)

Цитата (kofeimoloko @ 3 ноя 2026 в 08:25) Цитата (Seid @ 03.11.2026 - 08:22) Локальные пиздец медленные. Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет? У меня видеокарта 3070 8 гб,ОЗУ -48гб процессор 16 ядерный, Qwen 3.8 27b - скорость примерно 3-8 токенов в секунду. Может думать над кодом размером 64 килобайта 10-15 минут. Но думает не плохо, с заданиями справляется

потому что на CPU сидит)
Ей чтобы работать нормально нужно полностью в VRAM быть загруженной.
Поищите MoE модели (например Qwen 3.6 35B A3B), пару экспертов в VRAM остальные на CPU.
Но качество ее конечно ниже чем у 3.8

Цитата (murla @ 3 ноя 2026 в 23:32)

Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность. Сможет Ваша ИИшка дать верный ответ с первого раза?

А каждый человек сможет?

Цитата (Мишкасшишкой @ 4 ноя 2026 в 21:30)

Цитата (pprus @ 4 ноя 2026 в 21:18) Цитата (kofeimoloko @ 3 ноя 2026 в 08:25) Цитата (Seid @ 03.11.2026 - 08:22) Локальные пиздец медленные. Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет? У меня видеокарта 3070 8 гб,ОЗУ -48гб процессор 16 ядерный, Qwen 3.8 27b - скорость примерно 3-8 токенов в секунду. Может думать над кодом размером 64 килобайта 10-15 минут. Но думает не плохо, с заданиями справляется потому что на CPU сидит) Ей чтобы работать нормально нужно полностью в VRAM быть загруженной. Поищите MoE модели (например Qwen 3.6 35B A3B), пару экспертов в VRAM остальные на CPU. Но качество ее конечно ниже чем у 3.8

Да, я знаю, спасибо за совет, но видеокарту за 16 -24гб я не осилю финансово

Пожелания? За MalWare ?

А как Петька с Чапаем - умеешь вертеться?

мой канал по новостям Hacker News. Все крутится на локальной GPU карте, при работе используются 2 ЛЛМ: Qwen 2.5 (7B) и Llama 3.1 (8B).
в 08:00 n8n срабатывает таймер - нода Schedule Trigger, n8n идёт на сайт Hacker News и забирает ленту свежих статей — 20 штук, нода RSS Read. n8n склеивает 20 заголовков в один список и отправляет его на сервер с GPU cards, по очереди — отдельно под каждый язык:

«вот новости, сделай связный пересказ по-английски» → ждёт ответ
то же самое по-немецки → ждёт ответ
то же по-русски → ждёт ответ

AI читает заголовки, понимает о чём день, и пишет короткий пересказ в 2-3 абзаца. Осмысленный обзор — что сегодня главное. Это нода Code in JavaScript - работает GPU карта. На выходе получаются три готовых текста — английский, немецкий, русский. n8n кладёт каждый в отдельное сообщение и прикрепляет сверху флажок и дату. Затем n8n отправляет эти сообщения в Telegram-канал.
Весь процесс занимает пару минут, в основном потому что AI пишет три версии по очереди, а не разом.

Qwen 2.5 (7B) — делает английский и немецкий.
Llama 3.1 (8B) — вторая модель, от Meta. Пишет на русском

Модели не берут готовый английский текст и не переводят его на немецкий или русский — они заново пишут обзор по-немецки, с нуля, глядя на исходные заголовки. Поэтому немецкая и русская версии не идентичны слово в слово, каждая написана самостоятельно.

Дайджест получается на уровне тем, а не фактов. Он отвечает на вопрос «о чём сегодня говорят», а не «что конкретно написано».

Ollama - точка входа на GPU. В коде N8N прописано, какая модель отвечает за перевод. Qwen глючил на русском, срывался в китайский, пришлось русский перевод перевести на Llama. После 5 минут простоя Ollama выгружает модель, к которой не обращались. Модели скачаны и лежат на диске.

kubectl exec -n sparklab-ollama ollama-57bcfd898d-phbwd -c ollama -- ollama list
NAME ID SIZE MODIFIED
qwen2.5:32b-instruct-q3_K_M 44bd723cfd42 15 GB 7 weeks ago
llama3.1:8b 46e0c10c039e 4.9 GB 7 weeks ago
command-r:35b 7d96360d357f 18 GB 7 weeks ago
qwen2.5:32b 9f13ba1299af 19 GB 7 weeks ago
gemma3:27b a418f5838eaf 17 GB 2 months ago
qwen3:32b 030ee887880f 20 GB 2 months ago
qwen3:14b bdbd181c33f2 9.3 GB 2 months ago
nomic-embed-text:latest 0a109f422b47 274 MB 3 months ago
qwen2.5:7b 845dbda0ea48 4.7 GB 4 months ago
llama3.2:3b a80c4f17acd5 2.0 GB 7 months ago


Я не гуру конечно, но учусь
Это сообщение отредактировал DaoDao - 4 ноя 2026 в 22:08

Цитата (DaoDao @ 4 ноя 2026 в 21:49)

Qwen глючил на русском, срывался в китайский, пришлось русский перевод перевести на Llama.

Мне больше всего нравится Gemma 4 как она по русски пишет. Очень редко встречается отсебятина. Но, я пересобираю модели сам, из весов Google. Например Unsloth сильно коверкает русский, из готовых лучше всего Bartowski

Цитата (Мишкасшишкой @ 4 ноя 2026 в 21:58)

Мне больше всего нравится Gemma 4 как она по русски пишет

Gemini 4 - 26B A4B (MoE) : довольно интересная модель. у меня 2 карты по 16 GB, но одна карта занята RAG постоянно. Все же надеюсь купить V100 32GB и установлю данную модель, качество и скорость должны увеличиться

Цитата (DaoDao @ 4 ноя 2026 в 22:18)

Gemini 4 - 26B A4B (MoE)

Эта модель вполне комфортно себя чувствует на одной карте 16Гб
Поболтать - хорошая моделька. В программировании - слабовата

Цитата (DaoDao @ 4 ноя 2026 в 22:18)

Цитата (Мишкасшишкой @ 4 ноя 2026 в 21:58) Мне больше всего нравится Gemma 4 как она по русски пишет Gemini 4 - 26B A4B (MoE) : довольно интересная модель. у меня 2 карты по 16 GB, но одна карта занята RAG постоянно. Все же надеюсь купить V100 32GB и установлю данную модель, качество и скорость должны увеличиться

А ты так и не читала мой дневник)
26B была моей фавориткой до недавнего времени.
И у меня на двух видеокартах полностью в VRAM жили G4 26B IQ4_XXS 32к ctx + bge-m3 Q8 + G4 4B Q8 + ComfyUI с моделями на 8GB

Я на 26B 110-120 t/s получал ( 3 персоны отвечали по очереди без задержек, и еще на внутреннюю кухню приложения хватало)
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 22:26

Цитата (pprus @ 4 ноя 2026 в 21:37)

Цитата (murla @ 3 ноя 2026 в 23:32) Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность. Сможет Ваша ИИшка дать верный ответ с первого раза? А каждый человек сможет?

Сможет Ваша ИИшка дать верный ответ с первого раза? - на это вопрос даже мем имеется

Цитата (nikmil @ 4 ноя 2026 в 22:21)

Эта модель вполне комфортно себя чувствует на одной карте 16Гб Поболтать - хорошая моделька. В программировании - слабовата

у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята

Цитата (DaoDao @ 4 ноя 2026 в 22:28)

Цитата (nikmil @ 4 ноя 2026 в 22:21) Эта модель вполне комфортно себя чувствует на одной карте 16Гб Поболтать - хорошая моделька. В программировании - слабовата у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята

А что делает RAG на карте в VRAM?

Цитата (nikmil @ 4 ноя 2026 в 22:21)

Цитата (DaoDao @ 4 ноя 2026 в 22:18) Gemini 4 - 26B A4B (MoE) Эта модель вполне комфортно себя чувствует на одной карте 16Гб Поболтать - хорошая моделька. В программировании - слабовата

Я бы сказал ужасна)))

Цитата (DaoDao @ 4 ноя 2026 в 22:28)

у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята

Она МоЕ-модель! Ее не нужно всю пихать в VRAM ))
Я на своем основном ПК (i9 4080 64Gb) именно ее и Qwen3.6-35B-A3B гонял, пока не собрал себе отдельный ПК под LLMки

Цитата (DaoDao @ 4 ноя 2026 в 22:28)

Цитата (nikmil @ 4 ноя 2026 в 22:21) Эта модель вполне комфортно себя чувствует на одной карте 16Гб Поболтать - хорошая моделька. В программировании - слабовата у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята

gemma-4-26B-A4B-it-UD-IQ4_XS.gguf 13.6 GB
С чего вдруг?
С 32к ctx на карте место останется например под эмбеддинги. (32к для твоих задач думаю хватит)

Я и Gemma 4 31B через 4 дня после ее выхода на одной карте с 16GB полностью в VRAM гонял) С turboquant который тоже только появился на тот момент. Но 40 t/s меня не устроили.
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 22:46

Цитата (nikmil @ 4 ноя 2026 в 22:35)

Цитата (DaoDao @ 4 ноя 2026 в 22:28) у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята Она МоЕ-модель! Ее не нужно всю пихать в VRAM )) Я на своем основном ПК (i9 4080 64Gb) именно ее и Qwen3.6-35B-A3B гонял, пока не собрал себе отдельный ПК под LLMки

Но можно, и лучше если она целиком в VRAM
Меньше нагрузка на шину