мой совет - выкиньте ollama) И почитайте почему она "дурной тон" вообще) Возьмите llama.cpp как минимум (форком которой и является ollama)
у меня это не принципиально. В сети много шума по сравнению и почему то, все это напоминает споры Никон/Canon на мой взгляд. тем более оллама уже использует свой движок, с 24 года по моему. Да и карты у меня 10 летние.
мой совет - выкиньте ollama) И почитайте почему она "дурной тон" вообще) Возьмите llama.cpp как минимум (форком которой и является ollama)
у меня это не принципиально. В сети много шума по сравнению и почему то, все это напоминает споры Никон/Canon на мой взгляд. тем более оллама уже использует свой движок, с 24 года по моему. Да и карты у меня 10 летние.
Настаивать не буду, если что я начинал LENA на ollama ) Но отказался позже. Это есть в дневнике.
Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.
Сможет Ваша ИИшка дать верный ответ с первого раза?
Это сообщение отредактировал murla - 3 ноя 2026 в 23:37
Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.
Сможет Ваша ИИшка дать верный ответ с первого раза?
Запросто) За 18 сек. Причем это локальная модель. На компе.
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 00:21
Запросто) За 18 сек. Причем это локальная модель. На компе.
Ага. Я тоже так сделал, но потом уточнил: > переделай с условием: все числа последовательности разные
[Start thinking]
Хорошо, пользователь попросил переделать предыдущий ответ с условием, что все числа в последовательности разные. Нужно проверить, возможно ли это и привести пример такой последовательности.
Сначала вспомню, что в предыдущем ответе использовалась последовательность с повторяющимися числами, например, шесть нулей и пять 120. Теперь необходимо, чтобы все числа были разные, но последовательность всё ещё неубывающая.
Возможно, стоит подумать, как можно изменить числа, чтобы они не повторялись, но при этом сохранилась разница сумм на 600. Нужно, чтобы сумма последних шести чисел минус сумма первых шести равнялась 600.
Поскольку числа разные и неубывающие, можно попробовать создать последовательность, где первые шесть чисел — это маленькие числа, а последние пять — большие, но все разные. Например, первые шесть могут быть 1, 2, 3, 4, 5, 6, а последние пять — 121, 122, 123, 124, 125. Но тогда сумма первых шести: 1+2+3+4+5+6=21, сумма последних пяти: 121+122+123+124+125=615. Тогда разница будет 615 - 21 = 594, что не равно 600. Нужно подобрать числа так, чтобы разница была ровно 600.
Может, увеличить последние числа. Например, если последние пять чисел будут 122, 123, 124, 125, 126, то их сумма: 122+123+124+125+126 = 620. Тогда сумма первых шести должна быть 620 - 600 = 20. Если первые шесть чисел: 1, 2, 3, 4, 5, 6 — сумма 21, это не подходит. Если заменить 6 на 5, но тогда дублирование. Может, 1, 2, 3, 4, 5, 5 — но дублирование. Нужно найти шесть различных чисел, сумма которых 20. Например: 1, 2, 3, 4, 5, 5 — но опять дубликат. 1, 2, 3, 4, 5, 5 — не подходит. Может, 1, 2, 3, 4, 5, 5 — нет. Возможно, 1, 2, 3, 4, 5, 5 — невозможно. Тогда, возможно, первые числа больше. Например, 2, 3, 4, 5, 6, 10 — сумма 2+3+4+5+6+10=30. Тогда сумма последних пяти должна быть 30 + 600 = 630. Надо найти пять различных чисел, больших 10, сумма которых 630. Например, 120, 121, 122, 123, 124: сумма 120+121+122+123+124 = 600. Нет, это 600, тогда 630 на 30 больше. Может, 125, 126, 127, 128, 124 — но сумма 125+126+127+128+124 = 630? Проверю: 125+126=251, 127+128=255, 251+255=506, 506+124=630. Да! Тогда последовательность будет: 2, 3, 4, 5, 6, 10, 124, 125, 126, 127, 128. Проверю, неубывающая ли: 2 ≤3 ≤4 ≤5 ≤6 ≤10 ≤124 ≤125 ≤126 ≤127 ≤128 — да. Все числа разные. Сумма первых шести: 2+3+4+5+6+10=30. Сумма последних пяти: 124+125+126+127+128=630. Разница: 630 - 30 = 600. Всё сходится.
Так что такой пример подходит. Нужно убедиться, что все числа действительно разные и последовательность неубывающая. В данном случае все условия выполнены. Также можно привести другой пример, например, если первые шесть чисел больше, но тогда последние пять будут еще больше, но нужно сохранить разницу 600. Важно, чтобы числа не повторялись и были в порядке неубывания. [End thinking]
**Возможно.** Пример такой последовательности: **2, 3, 4, 5, 6, 10, 124, 125, 126, 127, 128**.
> **Вывод:** > Точное выполнение условия $ S_2 - S_1 = 600 $ возможно, если подобрать числа так, чтобы сумма первых шести была на 600 меньше суммы последних пяти. Пример выше с числами **2, 3, 4, 5, 6, 10, 124, 125, 126, 127, 128** полностью соответствует требованиям задачи.
[ Prompt: 1224.2 t/s | Generation: 45.1 t/s ]
Но это я уже сделал в консоли llama.cpp. Поделие ТС совместно с ollama нихрена нормально не работает.
Моих 64 ГБ ДДР5 с трудом хватает для локальных моделей 12B.
Так что, баловство это все. Пробовал я, но все равно использую cloud модели.
Вы рассуждаете как обыкновенный пользователь компьютера. Вы берете готовый продукт и пытаетесь запустить его на своем компьютере, что то вроде геймера. Скачивает игру - не пошла на его железе, все, однозначно, плохая игра. Лучше играть на серверах в онлайне. Наверно 95% людей, заявляющих, что они используют ИИ именно так и поступают. Они скачивают готовый продукт, не зная, запустится он или нет. Если нет - нужно покупать новы комп.
Геймеры именно так и поступают. И они двигают индустрию железа как потребители
У меня нет ИИ дома. ГПУ карты- используются для расчетов, под них пишутся скрипты или ядра, такое тоже было, загружаются ЛЛМки и считается проект. Будет лт ИИ - не знаю. Софт постоянно обновляется и требует новые ГПУ карты. С новым софтом старые карты уже не работают, NVideo просто перестают их поддерживать и ЛЛМ не загрузится в карту.
Все это напоминает игровую индустрию, хочешь играть в новейшую игру - установи последнюю модель видео карты....
Моих 64 ГБ ДДР5 с трудом хватает для локальных моделей 12B.
Так что, баловство это все. Пробовал я, но все равно использую cloud модели.
Вы рассуждаете как обыкновенный пользователь компьютера. Вы берете готовый продукт и пытаетесь запустить его на своем компьютере, что то вроде геймера. Скачивает игру - не пошла на его железе, все, однозначно, плохая игра. Лучше играть на серверах в онлайне. Наверно 95% людей, заявляющих, что они используют ИИ именно так и поступают. Они скачивают готовый продукт, не зная, запустится он или нет. Если нет - нужно покупать новы комп.
Геймеры именно так и поступают. И они двигают индустрию железа как потребители
У меня нет ИИ дома. ГПУ карты- используются для расчетов, под них пишутся скрипты или ядра, такое тоже было, загружаются ЛЛМки и считается проект. Будет лт ИИ - не знаю. Софт постоянно обновляется и требует новые ГПУ карты. С новым софтом старые карты уже не работают, NVideo просто перестают их поддерживать и ЛЛМ не загрузится в карту.
Все это напоминает игровую индустрию, хочешь играть в новейшую игру - установи последнюю модель видео карты....
Ну не совсем согласен.
Для дома с головой хватит 16GB карточки 5060ti Для моделей до 35B параметров. MoE ( проверено лично на Qwen 3.6 35B A3B) Да квантовка будет так себе, можно загрузить большую модель с частичным оффлоадом, но скорость не будет радовать.
Gemma 4 26B IQ4_XS с ~50к ctx можно загрузить в 16GB целиком и получить больше 100 t/s что более чем достаточно для комфортной работы.
Важен сам принцип работы с LLM.
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 00:41
Я хз, я не ИТ, а нейросети еще долго не смогут искать в зарослях дикого винограда опору ограды или водопровод. Мне надо было рассортировать архив фото, для чего я прогнал 22к фотографий через локальную vlm, которая формировала тэги для скрипта, пихающего их в БД, и сочиняла для "безродных" фото красивое название по содержимому, что бы мне потом было приятнее ковыряться и не теряться в названиях типа 12-06-2026-00456. А еще был интересный момент, что "легальные" модели начисто игнорируют обнаженную натуру (а таких фотографий есть у меня). Вот решение ТС для таких как я. У кого нет задач до неба, и кто этим не зарабатывает. И о том я и веду речь, что решение ТС - как мертвому припарка, поскольку из коробки подобных задач не решает.
Хмм... никогда не задумывался об использовании нейросетей таким образом, на самом деле. Даже локальные LLM уровня qwen3.8-27b (а ее в принципе если очень постараться можно запустить, пусть и медленно, на "игровом компе") очень помогают мне в моей работе - буквально за несколько минут (на нормальном железе справилась бы и вовсе за минуту-две, у меня мало токенов в секунду выходит) распарсила папку с терраформ-манифестами, почитала логи и нашла ошибку (опечатку), которую я искал бы значительно дольше.
Специфика же разная - разные микроскопы для заколачивания гвоздей. Меня к идее подтолкнула фотограмметрия. Это (в частности) когда из кучи фоток объекта с разных ракурсов шьется его 3д модель. У меня для этого стоит программа агисофт меташейп. В коробочном варианте она не всегда "понимает" где на фото небо и использует эти пиксели для проецирования точек, что порождает всякий мусор и увеличивает время. Можно накладывать маски на фото, вырезая те части изображения, что нужно исключить из обработки. Норм, когда 10 фоток. Хреново, когда 1500. Но к программе можно подтянуть локальную модель и скрипт на пайтоне, который будет осуществлять сценарий. Модель меньше 200мб, почти ничего не жрет, тратит на 1 фото миллисекунды и дает очень хороший результат (с другой стороны, больше она ничего и не умеет).
Вот совсем не соглашусь с ТСом в части, что программа должна решать какую модель тебе ставить. Если человек не готов немного почитать, то он ничего хорошего не сделает. Или, хуже того, наделает плохого. Как минимум, засрет себе компьютер.
Выбирать на самом деле особенно не из чего. Сначала все, кто заморочился, ставят Qwen. Причем в качестве оснастки ему, рекомендуемый разработчиками Qwen, интерфейс Unsloth (Ленивец). Потом уже из диалога с Qwen поймёшь, что тебе нужно.
Пока что я вижу, что я ограничен только своей фантазией и свободным временем.
Примеры задач, которые я попытался решить: 1) сделать агента "с руками", чтобы он сам мог запускать всякое по текстовой команде. 2) сделать агента, который может обогащаться знаниями из интернета. 3) сделать готовый скрипт, который будет настраивать vpn-сервер или клиент с шифрованием, для создания по одной-двум командам. 4) скрипт для создания на Ubuntu своего сервера аудио-видеосвязи, чтобы с семьёй общаться нормально без телеграма, вацапа и маха. 5) собрать мультиагентскую систему, которая будет использовать преимущества разных нейросетей в зависимости от задач, которые я даю.
Это сообщение отредактировал NeAdmin4 - 4 ноя 2026 в 00:47
Я хз, я не ИТ, а нейросети еще долго не смогут искать в зарослях дикого винограда опору ограды или водопровод. Мне надо было рассортировать архив фото, для чего я прогнал 22к фотографий через локальную vlm, которая формировала тэги для скрипта, пихающего их в БД, и сочиняла для "безродных" фото красивое название по содержимому, что бы мне потом было приятнее ковыряться и не теряться в названиях типа 12-06-2026-00456. А еще был интересный момент, что "легальные" модели начисто игнорируют обнаженную натуру (а таких фотографий есть у меня). Вот решение ТС для таких как я. У кого нет задач до неба, и кто этим не зарабатывает. И о том я и веду речь, что решение ТС - как мертвому припарка, поскольку из коробки подобных задач не решает.
Хмм... никогда не задумывался об использовании нейросетей таким образом, на самом деле. Даже локальные LLM уровня qwen3.8-27b (а ее в принципе если очень постараться можно запустить, пусть и медленно, на "игровом компе") очень помогают мне в моей работе - буквально за несколько минут (на нормальном железе справилась бы и вовсе за минуту-две, у меня мало токенов в секунду выходит) распарсила папку с терраформ-манифестами, почитала логи и нашла ошибку (опечатку), которую я искал бы значительно дольше.
Специфика же разная - разные микроскопы для заколачивания гвоздей. Меня к идее подтолкнула фотограмметрия. Это (в частности) когда из кучи фоток объекта с разных ракурсов шьется его 3д модель. У меня для этого стоит программа агисофт меташейп. В коробочном варианте она не всегда "понимает" где на фото небо и использует эти пиксели для проецирования точек, что порождает всякий мусор и увеличивает время. Можно накладывать маски на фото, вырезая те части изображения, что нужно исключить из обработки. Норм, когда 10 фоток. Хреново, когда 1500. Но к программе можно подтянуть локальную модель и скрипт на пайтоне, который будет осуществлять сценарий. Модель меньше 200мб, почти ничего не жрет, тратит на 1 фото миллисекунды и дает очень хороший результат (с другой стороны, больше она ничего и не умеет).
Довольно специфичная задача. И как я понял у вас распознавание образов используется? Без аналитики самой LLM?
Странно, но таже Gemma 4 очень не плохо распознает картинки. Я скармливал газетные вырезки, и получал на выходе текст который почти не требовал правок ( там где даже я не мог прочитать модель тоже ошибалась)
Примеры задач, которые я попытался решить: 1) сделать агента "с руками", чтобы он сам мог запускать всякое по текстовой команде. 2) сделать агента, который может обогащаться знаниями из интернета. 3) сделать готовый скрипт, который будет настраивать vpn-сервер или клиент с шифрованием, для создания по одной-двум командам. 4) скрипт для создания на Ubuntu своего сервера аудио-видеосвязи, чтобы с семьёй общаться нормально без телеграма, вацапа и маха. 5) собрать мультиагентскую систему, которая будет использовать преимущества разных нейросетей в зависимости от задач, которые я даю.
Взять готовое решение типа Hermes-agent когда наиграетесь)))
Не, ну так не спорю, все ограничивается только фантазией)
Граничные условия по железу: (не я придумал, я только буквы сложил!) Память - минимум DDR-5. DDR-4 чего-то там не умеет (PCIe-5, кажется). SSD - должен уметь минимум PCIe-5. Мать должна уметь PCIe-5. Процессор должен уметь с этим работать, и успевать прожёвывать.
Если что-то PCIe-5 не умеет - идёт просадка скорости в разы (минимум вдвое).
Для справки (только не пинайте!) четырежды помянутый мной Мак 5 построен на шине PCIe-6. Недостатка у него 3: - цена, - всё припаянное (апгрейд невозможен), - чем больше памяти в ПРЕДОПЛАЧЕННОМ конфиге, тем дольше ждать.
PS. Так вот, PCIe-5 умеет "унифицировать" разные типы памяти, более раннее железо (да, и память DDR и видео) - нет. => задержки и тормоза при переходе из одного "банка" в другой.
Это сообщение отредактировал murla - 4 ноя 2026 в 00:57
софт требует новые карты - предыдущая версия убила старые карты?
Обе карты P100/V100 старые по меркам CUDA. Писать и запускать свой код на них можно, а вот свежий софт постепенно их не поддерживает
В CUDA 13 NVIDIA убрала поддержку Maxwell, Pascal и Volta. Компилятор CUDA 13 не соберёт код под sm_60 и sm_70. Ветка драйверов R580 последняя, которая эти карты поддерживает. Это значит:
CUDA 12.x (12.9 последняя) и драйвере 580-й ветки; обновлять драйвер на что-то новее 580 на GPU-ноде нельзя, карты отвалятся, проверяла. Залочила версию в dnf, чтобы dnf update случайно не подтянул новую ветку. 16 GB HBM2 на карту, пропускная способность хорошая, а объём для LLM маленький: модель уровня 32B в Q4 целиком не влезет ни в одну карту. Появляются мысли про V100 32GB FP64 и научные вычисления на P100, и V100 работают прекрасно. У P100 нет Tensor Cores совсем, у V100 Tensor Cores только FP16.
Поверьте, аэрофото - очень специфичные фотки на входе! Хуже только космическая съёмка. Но там, как я понимаю, предварительная обработка прямо в космосе и делается.
Это сообщение отредактировал murla - 4 ноя 2026 в 01:06
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
12 Пользователей читают эту тему (1 Гостей и 1 Скрытых Пользователей)
yaplakal.com