Я DeepSeek на телефон установил. Работает. Никакую видяху больше 4 Гб не вставлял.
Да, да, смайлик точно описывает как я ржу читая это... Молодец, поставил онлайн сервис который перенаправляет твои сообщения на сторонний сервер для обработки и затем ты получаешь ответ, возим с полочки пирожок. Этих сервисов попой жуй, так и Алису, можно было запустить. Речь как бы была о работе офлайн сервиса, и обработке всех данных только на твоем ПК, для чего и нужна более мощная видюха.
П.С. по факту DeepSeek куда тупее Llama 3.1 или Qwen 2.5.
те. е веб-сервис без установки сливает поисковые запросы а эта прога при работе синхронна с основными серверами не сливает твои запросы.
Есть автономные модели, но они сильно хуже по качеству обработки
Цитата
у тебя есть автономный режим работы без сети интернет? Я могу скачать?
profile Qwen2.5-Max 1:49 AM Нет, в настоящее время я не поддерживаю автономный режим работы. Я функционирую исключительно через облачную инфраструктуру Alibaba Cloud и требую постоянного подключения к интернету для обработки запросов.
Если вам нужен автономный аналог, вы можете рассмотреть использование локальных моделей, таких как:
LLaMA от Meta (доступна под различные лицензии) GPT4All - проект, предоставляющий локальные модели для автономной работы Alpaca или другие open-source альтернативы Однако важно понимать, что эти решения:
Требуют значительных вычислительных ресурсов Могут уступать в качестве облачным решениям Нуждаются в регулярном обновлении Возможно, в будущем появятся гибридные решения, сочетающие облачные и автономные возможности, но на данный момент я работаю только онлайн
dimerss, пипец ты все сумбурно написал, что цитируешь, что сказать хотел?
Я ХЗ о чем ты, но например при работе LM Studio модель ИИ подгружается в оперативку и обрабатывается процессором твоей видюхи, не о каких серверах речи не идет, для примера я вообще вырубал сетевую карту физически, и все прекрасно работает и не с каким "мифическими" серверами прога не синхронится. Единственное да, при поиске ИИ для скачивания она ходит и берет данные с сайта по наличию свежих моделей ИИ.
Кстати если вторая цитата это переписка с Qwen2.5 - типа что он рассказывает какой он "облачный", так еще раз повторю, задай вопрос ему 10 раз (стирая пред идущие ответы) и увидишь какой он пиздабол, и как заливает про облако. Qwen2.5 прекрасно работает локально.
Кстати я вообще фигею Qwen2.5, это реально самый пиздабольный пиздабол из всех, будет врать даже если тупо от него требуешь говорить только правду, а потом пару раз задаешь например вопрос "какой самый древний алкогольный напиток".
Это сообщение отредактировал alfafiles - 13 фев 2025 в 02:28
dimerss, пипец ты все сумбурно написал, что цитируешь, что сказать хотел?
Я ХЗ о чем ты, но например при работе LM Studio модель ИИ подгружается в оперативку и обрабатывается процессором твоей видюхи, не о каких серверах речи не идет, для примера я вообще вырубал сетевую карту физически, и все прекрасно работает и не с каким "мифическими" серверами прога не синхронится. Единственное да, при поиске ИИ для скачивания она ходит и берет данные с сайта по наличию свежих моделей ИИ.
Кстати если вторая цитата это переписка с Qwen2.5 - типа что он рассказывает какой он "облачный", так еще раз повторю, задай вопрос ему 10 раз (стирая пред идущие ответы) и увидишь какой он пиздабол, и как заливает про облако. Qwen2.5 прекрасно работает локально.
Кстати я вообще фигею Qwen2.5, это реально самый пиздабольный пиздабол из всех, будет врать даже если тупо от него требуешь говорить только правду, а потом пару раз задаешь например вопрос "какой самый древний алкогольный напиток".
по твоей логике, если я сижу без мощной дискретной видюхи - то не должен пользоваться ИИ. Твоя даже топовая видюха все равно гавно собачье по сравнению с облаком. Китайцы же подсмотрят, что я там ищу. А поисковые системы не подсмотрят, ни Яндекс с Гуглами не подсматривают Что ты там такое прячешь - детское порно, разрабатываешь новые наркотики или создаёшь террористические ячейки? При первой синхре с сервером (подключил инет, воткнул сетевуху), твои запросы уйдут на сервер, вместе со списком твоих программ, файлов инфы о системе и прочей телеметрической хуйни, вместе паролями из браузера (ты даешь руку на отсечение, что оффлайн прога ИИ не собирает о тебе сведения?). Есть конечно вариант, каждый раз сносить прогу после работы с ИИ в офлайне - только ты об этом не сказал ни слова, ну давай распишись в своей паранойе отредактируй свой гайд
Все это конспирологическое гАвно для организаций и всяких НИОКР, но им твои советы глубоко похер, у них своих специалистов хватает.
Цитата
Оффлайн-версия ИИ может быть полезна в различных сценариях, особенно когда доступ к интернету ограничен или нежелателен. Вот основные причины, по которым пользователи могут предпочесть автономный режим работы ИИ:
1. Конфиденциальность и безопасность данных Защита персональных данных : В оффлайн-режиме все запросы и ответы обрабатываются локально на устройстве, что исключает передачу конфиденциальной информации в облако. Соблюдение корпоративной безопасности : Компании часто требуют автономных решений для защиты коммерческих тайн и внутренних данных. 2. Работа без интернета Отсутствие стабильного подключения : В отдалённых районах, во время путешествий или в местах с плохим сигналом (например, в метро, горах) автономная версия ИИ становится незаменимой. Чрезвычайные ситуации : В условиях стихийных бедствий или техногенных катастроф, когда интернет недоступен, оффлайн-ИИ может помочь решать задачи. 3. Скорость работы Мгновенный отклик : Локальные модели работают быстрее, так как не требуется передача данных в облако и обратно. Это особенно важно для приложений реального времени, таких как переводчики, голосовые помощники или системы управления. 4. Экономия ресурсов Отсутствие затрат на облачные сервисы : Постоянное использование облачных ИИ может быть дорогим, особенно при большом объёме запросов. Оффлайн-версии позволяют снизить расходы. Независимость от подписок : Многие облачные ИИ требуют платной подписки, тогда как автономные решения можно использовать бесплатно после установки. 5. Автономные устройства Умные устройства : Например, умные колонки, роботы или автомобили могут использовать локальный ИИ для выполнения задач без необходимости подключения к интернету. Встраиваемые системы : Промышленные контроллеры, медицинское оборудование или IoT-устройства могут полагаться на автономные ИИ для анализа данных и принятия решений. 6. Образование и исследования Изучение ИИ : Студенты и исследователи могут экспериментировать с моделями ИИ локально, изучая их работу и адаптируя под свои нужды. Разработка собственных решений : Автономные ИИ позволяют создавать кастомизированные приложения без зависимости от внешних сервисов. 7. Политика и регулирование Санкции и ограничения : В некоторых странах доступ к облачным сервисам может быть ограничен из-за санкций или государственной политики. Локальные требования : Некоторые организации обязаны использовать только локальные решения из-за законодательных норм. 8. Эксперименты и кастомизация Адаптация под задачи : Локальные модели можно обучать на специфических данных для решения уникальных задач. Тестирование новых идей : Разработчики могут экспериментировать с моделями, изменяя их архитектуру или параметры. Примеры использования автономного ИИ: Переводчик : Приложение для перевода текста или речи в реальном времени без интернета. Голосовой помощник : Устройство, которое выполняет команды пользователя офлайн (например, управление умным домом). Медицинская диагностика : Система, которая анализирует данные пациентов локально, не отправляя их в облако. Образовательные платформы : Оффлайн-курсы с интегрированным ИИ для персонализации обучения. Недостатки автономных ИИ: Ограниченные возможности : Локальные модели обычно менее мощные, чем их облачные аналоги. Требования к оборудованию : Для запуска автономных ИИ нужны мощные процессоры (например, GPU или TPU). Сложность обновления : Автономные модели сложнее обновлять до последних версий. Таким образом, автономные версии ИИ предоставляют важные преимущества в плане конфиденциальности, доступности и экономии ресурсов, но они также имеют ограничения. Выбор между онлайн и офлайн зависит от конкретных потребностей пользователя или организации.
Это сообщение отредактировал dimerss - 13 фев 2025 в 03:07
Да как вы умудряетесь эту куйню генерировать?, один про бекдоры в ИИ спрашивает, другой какую то херь несет как китайцы подсматривают и как прога все на некие "мифические" сервера сливает. Сразу видно настоящие яповцы, зомбирован даже спинной мозг, на измене и параноят.
Вот, честно, мне глубоко покую на китайцев, и что там про меня знает гугл, и прогу эту я не делал и исходного кода у меня нет чтоб спорить сливает она что то или нет, мой пост был с простым посылом - как поставить локально ИИ, и пользоваться кому надо. А спорить с шизофреником я точно не собираюсь. Это сообщение отредактировал alfafiles - 13 фев 2025 в 03:30
Да как вы умудряетесь эту куйню генерировать?, один про бекдоры в ИИ спрашивает, другой какую то херь несет как китайцы подсматривают и как прога все на некие "мифические" сервера сливает. Сразу видно настоящие яповцы, зомбирован даже спинной мозг, на измене и параноят.
Вот, честно, мне глубоко покую на китайцев, и что там про меня знает гугл, и прогу эту я не делал и исходного кода у меня нет чтоб спорить сливает она что то или нет, мой пост был с простым посылом - как поставить локально ИИ, и пользоваться кому надо. А спорить с шизофреником я точно не собираюсь.
для чего ставить локально? Кот лижет яйца,..потому что может
Обычным людям, с обычными запросами и помочью в работе, учебу и текстами/расчетами твои советы только вредны. А про консприрологию ты сам начал - ты ведь решил оградить работу ИИ от инета, для того и ставишь локально. А в ответе, какие именно плюсы обычному Яповцу от локалки ты просто среньнул в лужу Они и так используют уже ИИ из облака, зачем еще насиловать этим комп? Давай только без этой конспирологии и заботе о Грете Тунберг
Скрытый текст
наш ИИ гуру обиделся и заминусил. Да хоть обосрись
Это сообщение отредактировал dimerss - 13 фев 2025 в 03:30
Я привел пример ИИ работающего с текстовыми масивами, еще у меня лично стоит по аналогии куча ИИ рисующих картинки или фото по вашему описанию, но это другая прога нужна, видел кучу ИИ работающих со звуком, например которые обучаются говорить нужным голосом если ему скормить пару примеров, про музыку точно не знаю, в это не лез, но примеры такой музыки точно видел в инете, а значит и ИИ есть.
В 2024 году было проведено исследование, в котором 500 участников попросили поговорить с четырьмя респондентами, включая человека, и программу ELIZA, а также GPT-3.5 и GPT-4 (последняя также является основой популярного ИИ-бота ChatGPT). Разговоры длились пять минут, после чего участники должны были сказать, считают ли они, что разговаривают с человеком или с искусственным интеллектом. Участники в 54% случаев считали GPT-4 человеком, тогда как ELIZA была названы им лишь в 22% случаев. GPT-3.5 набрал 50%, а участника-человек опознали лишь в 67%
В 2024 году было проведено исследование, в котором 500 участников попросили поговорить с четырьмя респондентами, включая человека, и программу ELIZA, а также GPT-3.5 и GPT-4 (последняя также является основой популярного ИИ-бота ChatGPT). Разговоры длились пять минут, после чего участники должны были сказать, считают ли они, что разговаривают с человеком или с искусственным интеллектом. Участники в 54% случаев считали GPT-4 человеком, тогда как ELIZA была названы им лишь в 22% случаев. GPT-3.5 набрал 50%, а участника-человек опознали лишь в 67%
И что дальше? Он от этого не становится ии.
Размещено через приложение ЯПлакалъ
Люди странные дело не в том что кто то сливает ваши данные, инфо и.т.д. А в том что локальный ИИ это круто, и позволяет работать даже там где нет интернета. А перспективы его использования просто безграничны - зависит от вашей фантазии, и потребности.
Люди странные дело не в том что кто то сливает ваши данные, инфо и.т.д. А в том что локальный ИИ это круто, и позволяет работать даже там где нет интернета. А перспективы его использования просто безграничны - зависит от вашей фантазии, и потребности.
О, человек со здравым смыслом
Мне на ум например приходит возможность работы на предприятиях, помощь в оформлении или генерации документа, или работа с программным кодом, поиск и исправление ошибок. Там где например закрытая сеть, сейчас каждая организация печется о конфиденциальности и урезает доступ в инет с рабочих мест. А так можно спокойно использовать локально себе в помощь.
alfafiles, а где почитать, как использовать режим Ассистента? Ну или сам в двух словах расскажи.
Если, скажем, модель пишет со стилистическими ошибками - как перегенерировать фразы, указав на изменения? Как я понял, как раз для этого режим Ассистента и предназначен.
Получается достаточно интересные результаты, но иногда требуется перегенерировать фразы с учётом дополнительных требований. Как это делается?
Если просто в режиме Ассистента указывать "Для женского рода надо говорить читалА, а не читал" - то дальше модель это учитывает, но требуется перегенерировать старые фразы с этим изменением. Как я понял, это тоже можно...
Вобще, хорошо бы руководство поподробнее. Где его взять?
Попробую дать пару советов: В нижней части экрана (нижний-левый угол) есть переключатель "User/Power User/ Developer", при переключении в продвинутый режим появляются скрытые опции и кнопки. Например в режиме "Power User" ЛЮБОЕ ранее сгенерированное сообщение можно исправить - просто двойным кликом любое окно с текстом переходит в режим правки и можно исправлять ошибки, или полностью переписать ответ ИИ как угодно. В окне ввода своего ответа появляется кнопка "пользователь" и можно переключить на "ассистент" и созданное сообщение ИИ будет воспринимать как будто это он написал. Однако практически я лично этим не пользуюсь. Фактически при Общении ИИ старается анализировать и использовать весь уже использованный текст (в рамках количества доступных токенов, об этом позднее). Таким образом если он совершил ошибку (например неправильное склонение), с большой вероятностью он продолжит так писать и далее.
Для меня куда проще в режиме "Power User" поправить (через двойной клик) имеющийся текст (и это повлияет на дальнейшую генерацию), чем пытаться его убедить, выдавая свои мысли за его в режиме переключения на "Ассистента".
На самом деле даже когда вы отыгрываете роли и общаетесь по именам, или в рамках сюжета - ИИ прекрасно понимает прямое обращение к нему или текст в скобках. Например посреди общения, не переключаясь в ассистента прекрасно работает прямой запрос к нему типа "ИИ - не используй далее фразу .... а подбери синоним" ИЛИ "ИИ - распиши сцену в следующем ответе максимально подробно, с чувствами и диалогами"
Пару советов которые на очевидны: Объём обработки текста - по умолчанию ИИ держит в памяти некое количество текса из вашей переписки, Какой объём - зависит от конкретной модели! В чате, вверху рядом с названием загруженной модели есть "шестеренка" (доступна в режиме Power User), это опции самого ИИ но только для данного чата. Самый важный там параметр для меня "Длина контекста" в скобках указано сколько модель поддерживает (там может быть типа 4096, или 131072 и т.д), а рядом значение которое вы можете выставить для чата. Чем больше число выставите, тем больше объём чата она будет помнить и использовать, НО! при больших значениях будет долго думать, золотая середина для меня 20000-50000. это фактический объём символов которая модель способна помнить при общении. Соответственно модель с 4096 это прям совсем скудно, это как разговаривать с рыбкой которая забудет что было 2 сообщение назад. Напомню опция в верху чата применяет изменения только к этому чату (и нужно перезагрузить модель). А изменяя в опциях (шестеренка) в отдельном меню со списком скачанных моделей применит это значение к ней навсегда, для всех чатов! Далее, в правом верхнем углу в чате есть опции самого чата, Из самого важного отмечу "Системный промт", "температура", "ограничение длины ответа", "переполнение контекста" Итак: "Системный промт" - Основные правила или требования к ИИ, к тому как общается в данном чате. Можно писать своими словами что вы от него требуете, например "общайся только на русском", "не используй мат", "старайся описывать каждую сцену максимально детально, описывая движения персонажей, их чувства, их диалоги", да все что угодно. Системный промт будет всегда в памяти ИИ, и он будет стараться подгонять свои ответы к этим требованиям. (соответственно системный промт отжирает часть памяти ИИ (длины контекста))
Температура - в опциях это значение от 0 до 1 (по умолчанию 0.8) - это "свобода" мышления ИИ, то как далеко он может отклонится, и строить диалог свободно и более непредсказуемо, 0- максимально сухо и по делу, 1- максимально свободно и на отвлеченные темы. Фактически можно выставить и больше, например при "2" - ощущение что общаетесь с шизофреником у которого один бред, но вроде обоснованный перетекает в другой.
"Ограничение длины ответа" - ну тут понятно, некоторые ИИ умудряются генерировать бесконечно, начиная нести чушь или переходя в общение самим с собой, можно выставить ограничение на длину ответа в символах, например 1000-2000 после чего система его остановит.
"Переполнение контекста" - важная опция напрямую связанная с "Длиной контекста" для самого ИИ, или сколько вы ему выставили в опциях. тут три варианта как действовать ИИ когда он достигает лимита "Длины контекста". "Скользящее окно" - (например выставили ИИ 10000 токенов/символов) грубо говоря будет помнить текст в рамках последних 10000 символов. "Обрезать середину" - мой любимый, ИИ будет всегда помнить первое ваше сообщение (как аналог системного промта), крайне рекомендую в первом сообщении расписать всю историю и все роли, например персонажей и их характер, и внешность, и дальше спокойно общаться, в режиме "Power User" будет возможность исправить первое сообщение и повлиять на ИИ, добавляя или меняя требования к нему. Соответственно ИИ будет всегда помнить системный промт (если есть) + первый ваш пост, и далее на остаток память ближайший текст к текущей переписке. Ну а в режиме "остановится" - логично чат просто встанет когда ВЕСЬ чат перестанет помещаться в "Длину контекста ИИ", этим я вообще не пользовался.
Модели Хорошо разговаривающие на русском языке (моя подборка): SambaLingo-Russian-Base SambaLingo-Russian-Chat Qwen2.5-14B_Uncensored_Instruct DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored llama3-8B-DarkIdol-2.2-Uncensored-1048K Llama-3.1-8B-Lexi-Uncensored Llama-3-8B-LexiFun-Uncensored Loki-v2.8-8b-EROTICA
(для лучшего поиска сотрите всякие "тире" и сортируйте в поиске по дате, находя самые свежие с похожим названием, не ориентируйтесь на лайки, лайки за качество английской речи вам же не чем не помогут.)
(не рекомендую любые сборки где в названии есть DeepSeek, с русским туго и долго думает)
Рекомендую искать по моделям Qwen2.5 у которых 14B, или 7B если ваш комп по слабее, с приписками например "Uncensored" и БЕЗ "DeepSeek" "Coder" и т.д. Или модели Llama 3.1 с припиской 8B, крайне не рекомендую Llama 3.2 (там только 1В или 3В), с приписками "DarkIdol" или "Uncensored", приписки 32K, 64K, 128K, 1048K это расширенная возможность модели работать с "Длиной контекста", но модели с большой длиной контекста чаще сходят с ума, начинают повторять текст, печатать бесконечно... можете поискать еще что то хорошее среди моделей "Hermes 3" и "Mistral"
скачал и установил LM Studio, а дальше ничего не загружает, ошибку пишет. Как это исправить?
У тебя явно что то блокирует (фаервол / брандмауэр / антивирус) программе доступ в интернет, погугли "как дать приложению доступ к интернету"
Сейчас проверил у меня на этой закладке программы все норм, все качает, кстати может у тебя в это момент врублен ВПН или программы для ютуба типа GoodbyeDPI или Zapret.
2) далее в программе смотри закладку со значком "папка" / "Мои модели" вверху казан путь "каталог моделей", открой вручную этот путь и создай там подпапки "\lmstudio-community\Meta-Llama-3.1-8B-Instruct-GGUF" собственно в подпапку "Meta-Llama-3.1-8B-Instruct-GGUF" положи скачанный в браузере файл модели ИИ "Meta-Llama-3.1-.... .gguf" и он должен стать доступным в программе и в чате.
Но по факту разбирайся почему твоя программа не может выйти в интернет и загрузить модели ИИ, это частные проблемы твоего компьютера. Это сообщение отредактировал alfafiles - 18 фев 2025 в 01:50
У тебя явно что то блокирует (фаервол / брандмауэр / антивирус)
А правда, реально доктор вэб блокировал, не смотря на то, что LM Studio было в списках исключений. Отключил брэндмауэр и сразу стало качаться. Спасибо за наводку. При следующих вопросах вернусь))
Кому интересно, крайне рекомендую данный гайд по созданию виртуального помощника.
Вау... Очень интересно... Благодарствую, погляжу...
Мне вот интересно, как в AnythingLLM настроить речь. Чтобы выдаваемые фразы проговаривались... И желательно, с использованием Яндекс-облака... (есть платный аккаунт на TTS-службу)
Судя по всему - в этом ролике объясняется... Буду разбираться.
Это сообщение отредактировал Laryx - 6 мар 2025 в 20:01
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
возим с полочки пирожок.
Что ты там такое прячешь - детское порно, разрабатываешь новые наркотики или создаёшь террористические ячейки?
yaplakal.com