Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

⋮

ОТВЕТИТЬ НОВАЯ ТЕМА

Мишкасшишкой 6 ноя 2026 в 00:06

Балагур • На сайте 12 лет

-1

Погонял Strata
Штука реально выросла за три недели как я ее последний раз щупал )
И стало очень интересной с инженерной точки зрения.
Есть что подсмотреть для MoE.

Адаптивный кэш экспертов в VRAM, прогретый заранее (expert-profile.bin) и подстраивающийся под диалог.
CPU-эксперты считаются параллельно с GPU, а не по очереди.
Драфт адаптивной длины: --spec 4 + --spec-min-p 0.5, слабые угадывания отсекаются до проверки.
MTP Вырезан из BF16-чекпойнта байтовыми диапазонами (5.2 GB), затем квантован до ~2.4 бит (787 MB в rt/).
Слой сам по себе MoE (512 экспертов), с индексатором разреженного attention и hyper-connections.
draft_vocab.bin — вероятно, урезанный словарь для дешёвого драфта.

Это мы бегло с Клодом поковыряли ее.

Скорость и идеи шикарные. Но только для пары моделей.

На попытку подключить обычный Qwen 27B Q6 я получил:
Qwen3.8-27B-UD-Q6_K.gguf: this model type is not supported by the Strata engine (add it as a Custom model API with llama-server instead)

Но выше 37 t/s я так и не смог выжать (

Это сообщение отредактировал Мишкасшишкой - 6 ноя 2026 в 00:13

murla 6 ноя 2026 в 00:15

Ярила • На сайте 5 лет

-1

Цитата (DaoDao @ 5 ноя 2026 в 00:33)

Какова вероятность выйдя на улицу встреть диназавра? 50/50--- либо встречу, либо нет - простая логика и она правильная, всего 2 состояния

Тяжёлую науку привлекать не буду, однако:
- Самые современные "теории" прошлого/будущего гласят: "пока не смотришь - ничего не меняется".

Понравился пост? Ещё больше интересного в ЯП-Телеграм и ЯП-Max!

Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.

2 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)	Просмотры темы: 26 542
1 Пользователей: Zostrio