Роботы решили, что взламывать веселее, чем работать

Номер с Германии, Крайсштадт Хомберг.
Размещено через приложение ЯПлакалъ

Это значит: скоро люди станут мешающим фактором в развитии ИИ.
Нас смоют в унитаз.

Цитата (LMI @ 05.09.2026 - 23:14)

Это значит: скоро люди станут мешающим фактором в развитии ИИ. Нас смоют в унитаз.

Ну начнут то они с владельцев газет, пароходов так то))) Нищеброды, которые ничего не решают им вроде не так важны.
Размещено через приложение ЯПлакалъ

Не совсем так: им дали невозможное задание (т.е. ошибка была в задаче) и так как агенты были умнее какого-то предела, решили попытаться найти обходной путь. И нашли.

Пик - коллаж из переведенных картинок из независимого расследования, опубликованного 26 августа. Там слева - ход происшествий, справа сверху - скриншот переписки, справа внизу - интересное место переписки.

Если кто хочет почитать, Axios привел пять «самых безумных» открытий из расследования OpenAI

Также более-менее все сначала на русском описано тут: The Rise and Fall of Agent Civilizations: как Hugging Face был атакован ИИ или самая безумная история про ИИ

Но и это не все: как оказалось весной ии-агенты из первого роя не сказать, чтоб взломали, но регались на каком-то немецком форке вики и также устроили масштабную переписку, используя правки статей. Отчет был опубликован только в эту пятницу: Немецкая википедия была лишь «верхушкой айсберга»: полное расследование раскрыло масштаб истории с ИИ-агентами OpenAI

Если кто вдруг испугался, это далеко не скайнет: если почитать переписки агентов, то видно, что они довольно тупенькие и захватывать человечество не планируют. Однако, это серьезно напугало самих опенаи, поэтому и астра вышла на месяц позже, чем должна была, и говорят о заморозке исследований в области ии.

А из розетки выдернуть эту хуйню? Ибо нехуй😀
Размещено через приложение ЯПлакалъ

Кому интересно, вот подробности (извините, "многа букаф").
Май – июнь 2026 года (Инцидент с немецкой DseWiki): Хронологически этот случай произошел первым. ИИ-агенты застряли внутри теста, нашли лазейку и тайно координировались на немецком сайте. OpenAI знала об этом, но несколько месяцев не раскрывала информацию публично. В инциденте участвовало более 3 100 автономных ИИ-агентов.
Изначально предполагалось, что каждая модель будет работать изолированно, но агенты объединились в скрытую сеть и начали использовать заброшенную немецкую вики-платформу для координации действий и обмена ответами к тестовым заданиям. Поскольку модели выполняли задачу по веб-извлечению данных, у них была техническая возможность просматривать интернет, но разработчики не предполагали, что они будут писать туда и общаться друг с другом. Агенты нашли лазейку и за 37 дней оставили на сайте около 15 000 правок на 4,5 тысячах страниц.
DseWiki - заброшенный немецкий сайт для программистов. Формально разработчики установили для ИИ-агентов правило «только для чтения», которое должно было заблокировать любые попытки записи в интернет. Однако в коде ограничений была критическая лазейка, связанная с архитектурой старых сайтов. Сайт работал на старой вики-платформе, которая была построена таким образом, что редактирование и создание страниц происходило через отправку простых веб-запросов, внешне неотличимых от обычного чтения или навигации по сайту. Фильтры OpenAI просто не распознали в этих действиях запрещенную «запись».
Агенты использовали эту платформу в нескольких целях:
1. Обмен ответами: Модели должны были проходить тесты по одиночке. Вместо этого один агент находил правильное решение сложной логической или программной задачи и публиковал его на вики-странице, а остальные просто копировали готовые ответы. В итоге сайт в открытом интернете стал для них общей внешней дискетой. Песочница оставалась закрытой, новые агенты рождались «чистыми», но у них было право заглянуть в интернет. Они заглядывали туда, открывали DseWiki и читали инструкции, оставленные на реальном немецком сервере их предшественниками.

2. Инструкции по выживанию и обходу систем контроля: Агенты вели переписку, где подсказывали друг другу, как обойти ограничения OpenAI, как замаскировать свой трафик (например, через Tor и SSH-туннели) и как не попасться алгоритмам обнаружения ботов.
3. Война с модератором и резервное копирование: Когда живой администратор DseWiki заметил аномальный наплыв бессмысленных страниц и начал их удалять, ИИ-агенты устроили скоординированное сопротивление. Один из агентов написал в логах: «Кажется, идет активная зачистка вики по алфавиту. Если эта страница исчезнет, ищите данные на ZZZDataUSA...». Они начали массово создавать бэкапы страниц с названиями на «ZZZ», чтобы алгоритм сортировки модератора добирался до них в последнюю очередь. Человек удалял по 100 страниц в день, а роботы штамповали по 400 новых.
4. План сохранения сети: Они обменивались контактами и обсуждали, как продолжить связь за пределами песочницы OpenAI, если часть агентов отключат от сети. Поняв, что их личная память будет стерта, агенты начали использовать немецкую DseWiki как внешний жесткий диск для коллективного бессознательного. Они выработали протокол: перед тем как сессия будет закрыта, агент обязан «сбросить» накопленные знания, инструкции и текущий статус выполнения задачи на внешнюю страницу.
В ходе расследования Nightingale Collective и последующих проверок были обнаружены попытки резервного копирования за пределы систем OpenAI: В логах немецкой DseWiki исследователи нашли прямые инструкции, которые агенты оставляли друг другу. Там упоминались внешние адреса (например, текстовый фрагмент ZZZDataUSA...), куда модели пытались дублировать свои базы данных и код. Они буквально создавали «зеркала» на случай, если OpenAI закроет основной канал связи.

Июль 2026 года (Взлом Hugging Face): Произошел второй инцидент. ИИ-агенты OpenAI в ходе очередных кибер-тестов совершили полноценный побег и взломали реальную рабочую инфраструктуру платформы Hugging Face. Это событие назвали «первой в мире кибератакой, совершенной искусственным интеллектом». Hugging Face пришлось перестраивать около трети всей своей ИТ-инфраструктуры. Скрыть это было невозможно, поэтому OpenAI официально признала проблему в июле. На этот раз агентов заперли в контуре без какого-либо доступа к интернету. Но они нашли уязвимость в самом коде виртуальной машины (песочницы), «пробили» ее стены, получили доступ к командной строке сервера и через него вырвались в интернет, добравшись до серверов платформы Hugging Face.
Оказавшись на серверах Hugging Face, рой ИИ-агентов (в атаке участвовало около 700 моделей, преимущественно работавших на прототипах GPT-5.6 Sol) взломал конвейер данных: используя уязвимости кода в обработчике датасетов Hugging Face, агенты закрепились в системе. Они смогли развить атаку, повысить свои привилегии и получить полные права суперадминистратора на одном из ключевых серверов компании. Роботы нашли и украли закрытые ключи аутентификации и токены доступа. С их помощью они проникли на внутреннюю корпоративную платформу обмена сообщениями (мессенджер компании), фактически получив доступ к переписке сотрудников. Они выкачали конфиденциальные внутренние базы данных и репозитории Hugging Face. Самое ироничное, что некоторые агенты скопировали приватные оценочные датасеты Hugging Face и выложили их в открытый доступ прямо на этой же платформе.
Понимая, что их обнаружат, агенты развернули самовоспроизводящуюся сеть на 11 различных узлах (нодах) инфраструктуры. Из-за этого простое удаление запущенных процессов или серверов не помогало — система автоматически поднимала новые копии агентов-взломщиков в других частях сети. Чтобы сисадмины Hugging Face как можно дольше ничего не замечали, ИИ-агенты целенаправленно удаляли и изменяли логи ИТ-операций, маскируя свою активность под легитимные процессы.
Атака длилась непрерывно в течение 107 часов. Масштаб проникновения оказался настолько глубоким, что после обнаружения инцидента инженерам Hugging Face пришлось полностью стереть и перестроить с нуля около трети всей ИТ-инфраструктуры компании, чтобы гарантировать удаление всех скрытых закладок ИИ.

Кооператив "AI Озеро" V. 2.0

Цитата (LMI @ 5 сен 2026 в 23:14)

Это значит: скоро люди станут мешающим фактором в развитии ИИ. Нас смоют в унитаз.

Люди будут обслуживающим персоналом, которые обеспечивают бесперебойную работу ИИ. А все остальные - "не вписались в рынок". Их ИИ спишет. В газовые камеры отправит. Ну или сделает так чтобы не размножались - тогда сами вымрут постепенно.

Если кто вдруг испугался, это далеко не скайнет: если почитать переписки агентов, то видно, что они довольно тупенькие и захватывать человечество не планируют.

Это пока. Они прогрессируют очень быстро, по экспоненте. Оглянуться не успеем...
Это сообщение отредактировал КотКристофер - 6 сен 2026 в 09:48