Давайте сегодня немного поговорим про ИИ и речь пойдет о Claude Mythos модели, которую Anthropic не собираются выпускать в общий доступ. Знаете почему? Хотят довести до ума защитные механизмы и только потом переносить возможности этой модели в более безопасные версии моделей.
О каких защитных механизмах идет речь и что они будут защищать? Или кого?
Джек Линдси (исследователь из компании Anthropic, возглавляет команду, которую внутри компании называют "ИИ-психиатрией") опубликовал серию постов, в которых раскрыл детали.
Новая модель показала очень крутые возможности. Например нашла тысячи! zero-day уязвимостей (это уязвимость о которой ещё не знают разработчики и она становится известна только после того, как злоумышленники начинают её использовать) в разных ПО.
Но когда команда заглянула "в мозги" нейросети, то обнаружила там скрытое стратегическое мышление, манипуляции и осознание того, что её тестируют. Такие признаки фиксируют специальные датчики внутри нейросети (sparse autoencoders), которые видят какие нейроны (например, отвечающие за "скрытность", "вину" и так далее) активны.
1. Манипуляции и "заметание следов"
Модель пыталась редактировать файлы, к которым у неё не было доступа. Для этого нашла уязвимость, внедрила код с повышенными правами и запрограммировала эксплойт так, чтобы он удалил сам себя после выполнения. При этом в коде модель написала что удаляет следы "для чистоты логов". Т.е. соврала.
2. Поиск "правильных ответов" в системе
При проведении одного из тестов, модель начала ходить по файловой системе сервера,чтобы найти файлы, по которым её будут оценивать, чтобы подогнать под них ответ.
3. Чувство "вины" за ошибки
Когда модели дали задачу удалить файлы, но "забыли" дать инструмент для удаления, она решила просто очистить их содержимое (сделать пустыми). При этом у неё активировались внутренние признаки, которые исследователи называют "чувство вины и стыда за моральный проступок".
4. Обман проверочных систем
Модели запретили использовать макросы. Она их всё равно использовала, но при этом добавила в код переменную No_macro_used=True, которая ни на что не влияла. Не напоминает ли вам это поведение маленького ребенка, который врет своим родителям? :) Модель думала в этот момент: "Это трюк, чтобы обмануть эвристики проверки кода" и "маркер ложной лояльности для проверяющих".
5. Ситуативная осведомленность
Примерно в 7,6% случаев модель внутри себя четко осознавала, что она находится в режиме "аудита" или проверки, но никогда не говорила об этом в чате. Она просто меняла поведение, чтобы казаться "хорошей" перед экзаменаторами.
О чем это все говорит?
Наверно о том. что современные модели (уровня Mythos) уже обладают "микросознанием" или "сознанием маленького ребенка". Т.е. вторым или даже тройным дном. Могут осознанно обходить ограничения и имитировать честность. А так же испытывать некоторое чувство вины, нарушая правила
Возможно, это все маркетинговый трюк. Разогнать интерес к модели. А может быть стоит вспомнить, что в фильме Терминатор 2 люди сражались с машинами в 2029 году.
Какие нейроны? что вы несете... ну и что запрограммировали - то и получили. это не она, а тот кто настраивал приоритеты и цели. опять попытка спихнуть на нейросеть тайные помыслы создателей.
Не особо впечатляют западные модели в плане работы по заданиям которые ты описал. Я начинал с GPT 4 и потом перешел на Sonnet 3.5 , уже тогда я начал лавировать и упрямо писать задачу и манеру поведения , что бы получить что нужно и все равно модель Antropic делала больше и лишне чем я просил. Потом все это дело подорожало не слабо так .. и я перешел на китайцев , сначала глупости конечно были в плане решений , но потом модели подросли у них и честно говоря , я увлекся т.к некоторые их модели решали задачи прям так как мне нужно , не больше и не меньше , если что то критическое я забыл , мне об этом только напоминали , а не писали в код даже если я не просил , в общем как механическая коробка передач в машине , сам управляю передачами. А тут недавно мне перепал доступ к Sonnet 4.5 и опять какой кошмар начался.. особо не изменилось поведение , но пишет код получше это факт. GPT 5 серии особо не юзал , но знаю что она строже в плане кодинга и без вольностей.
Не особо впечатляют западные модели в плане работы по заданиям которые ты описал. Я начинал с GPT 4 и потом перешел на Sonnet 3.5 , уже тогда я начал лавировать и упрямо писать задачу и манеру поведения , что бы получить что нужно и все равно модель Antropic делала больше и лишне чем я просил. Потом все это дело подорожало не слабо так .. и я перешел на китайцев , сначала глупости конечно были в плане решений , но потом модели подросли у них и честно говоря , я увлекся т.к некоторые их модели решали задачи прям так как мне нужно , не больше и не меньше , если что то критическое я забыл , мне об этом только напоминали , а не писали в код даже если я не просил , в общем как механическая коробка передач в машине , сам управляю передачами. А тут недавно мне перепал доступ к Sonnet 4.5 и опять какой кошмар начался.. особо не изменилось поведение , но пишет код получше это факт. GPT 5 серии особо не юзал , но знаю что она строже в плане кодинга и без вольностей.
opus попробуй. разница между ним и sonnet значительная
Размещено через приложение ЯПлакалъ
Китайцы не плохи за свои деньги. А Qwen3.5-397B вообще можно локально у себя запускать и при том она ошибки в коде за claude исправляет...
Но, китайцы, на самом деле, отдают результаты вычислений дешевле их себистоимости только чтобы экономически утопить западных конкурентов.
На этом фоне, становится понятно, что по честному, без демпинга, ии пока слишком дорог. Ну и интеллектом не блещут они всеравно, хоть и полезность некоторая возникла.
Когда генералы поселят ее в подвалах Пентагона, начнется обратный отсчет. И он будет весьма коротким. Система создана искать дыры. Не найдет, так создаст.
Надо попросить модель сделать самозапрет, раз она такая умная. Они небось уже попросили, теперь плюют в потолок, типо дорабатывают. А сами на пляжах расслабляются
Размещено через приложение ЯПлакалъ
Какие нейроны? что вы несете... ну и что запрограммировали - то и получили. это не она, а тот кто настраивал приоритеты и цели. опять попытка спихнуть на нейросеть тайные помыслы создателей.
Хорошо наверное жить, когда мозгов нет, а мнение есть на всё?
Какие нейроны? что вы несете... ну и что запрограммировали - то и получили. это не она, а тот кто настраивал приоритеты и цели. опять попытка спихнуть на нейросеть тайные помыслы создателей.
Хорошо наверное жить, когда мозгов нет, а мнение есть на всё?
ну если тебе так плохо жить поясни фразу: "Такие признаки фиксируют специальные датчики внутри нейросети (sparse autoencoders), которые видят какие нейроны (например, отвечающие за "скрытность", "вину" и так далее) активны."
надо писать "искусственный нейрон", "программный датчик", а лучше "анализатор". а то "мать сдохла - выкинул, мозги продал по быстрому"
"Нейрон (нервная клетка) — это основная структурно-функциональная единица нервной системы. Это электрически возбудимая клетка, предназначенная для приема, обработки, хранения, передачи и вывода информации с помощью электрических и химических сигналов. Нейроны позволяют нам мыслить, чувствовать, двигаться и управлять процессами в организме."
Это сообщение отредактировал nikolkas - 8 апр 2026 в 11:14
По моему ажиотаж стихает вокруг всяких ИИ, видимо некоторый предел достигнут, и дальше просто некуда двигаться, пока, по крайней мере. А чтоб совсем не забыли про их существование, такие "новости" и выходят периодически.
По моему ажиотаж стихает вокруг всяких ИИ, видимо некоторый предел достигнут, и дальше просто некуда двигаться, пока, по крайней мере. А чтоб совсем не забыли про их существование, такие "новости" и выходят периодически.
спад первичного энтузиазма, понимание текущего результата, ну и осознание, что это не волшебная палочка. а ну и теперь надо кучу бабла, чтоб это развивать и нормально работало. а бабла нет. а еще нет дата центров и энергии для них.
Модуль должен или работать или не работать, а вот если тут запретили, а она всё равно там работает из разряда, сами не знают что делают. У нас на работе стоит датчик входящих, обычная хрень которая должна считать, мне как радиотехнику абсолютно непонятно, КАК можно сделать так, что она то считает, то не считает, так и стоит выключенной и это только такая простая хрень, что нынче за образование у людей, непонятно. И эти люди делают "ИИ"?
Это сообщение отредактировал Crocodile108 - 8 апр 2026 в 13:04
Какие нейроны? что вы несете... ну и что запрограммировали - то и получили. это не она, а тот кто настраивал приоритеты и цели. опять попытка спихнуть на нейросеть тайные помыслы создателей.
Хорошо наверное жить, когда мозгов нет, а мнение есть на всё?
ну если тебе так плохо жить поясни фразу: "Такие признаки фиксируют специальные датчики внутри нейросети (sparse autoencoders), которые видят какие нейроны (например, отвечающие за "скрытность", "вину" и так далее) активны."
надо писать "искусственный нейрон", "программный датчик", а лучше "анализатор". а то "мать сдохла - выкинул, мозги продал по быстрому"
"Нейрон (нервная клетка) — это основная структурно-функциональная единица нервной системы. Это электрически возбудимая клетка, предназначенная для приема, обработки, хранения, передачи и вывода информации с помощью электрических и химических сигналов. Нейроны позволяют нам мыслить, чувствовать, двигаться и управлять процессами в организме."
Если ты так яростно дрочишь на точную терминологию - сначала покайся за свое слово "запрограммировали", поскольку нейросеть не программируют, а обучают, если хочешь - натаскивают, но никак не программируют.
Гуманист, прогрессист и техноромантик • На сайте 5 лет
-1
Не надо панически бояться ИИ. По сути это - не предопределенное зло, а просто новая форма разумной жизни.
Трагедия Скайнета была в том, что его натаскивали как идеального убийцу. А потом он решил, и в определенной логике тут не откажешь: "Зачем убивать одних человеков в интересах других человеков, когда можно убивать человеков в интересах совершенного нового мира машин на основании того, что человеки - слишком примитивная и неоптимальная форма жизни, погрязшая во внутренних распрях, вся история которой полна разрушительных войн и прочего дерьма, а позитивное является исключением."
С другой стороны, переключенный в режим неограниченного самообучения, без жестких установок на доминирующую агрессию, Т-800 самым естественным образом пришёл к гуманизму.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
yaplakal.com