Как ИИ-агенты научились отравлять друг друга

В 1992 году Web 1.0 был экспериментом для узкого круга энтузиастов, до первого браузера с картинками оставалось около года, а термин «метавселенная» только появился: в июне его представил читателям фантаст Нил Стивенсон в романе «Лавина».  Ключевая тема этого произведения — «вирус разума» — приобрела новый смысл после недавнего выхода исследования команды Anthropic. Работа Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems описала предсказанную Стивенсоном угрозу самораспространяющейся инструкции на естественном языке в агентных системах.  ForkLog перечитал этот роман, в котором можно встретить государства-франшизы, технофеодализм, цифровые валюты, частные тюрьмы и «Библиотекаря» — образ, в точности повторяющий нынешних ИИ-ассистентов.  Мир, который почти сбылся Хиро Протагонист — хакер-фрилансер и доставщик в «Пицца Коза Ностра». 30 минут — срок, который лично гарантирует клиенту глава мафиозной семьи, а за опоздание отвечает головой курьер. В багажнике автомобиля лежат катана и вакидзаси. В свободное время он подключается к метавселенной, код которой писал сам. Там Хиро, как и в реальности, непревзойденный боец на мечах. Доставщик пиццы пересекает государственные границы. Территория бывших США нарезана на ЖЭКи — так в переводе Анны Комаринец названы самоуправляемые анклавы, каждый со своим уставом, визовым режимом и охраной по контракту. «Великий Гонконг мистера Ли», «Новая Сицилия», «Белые Колонны» с табличкой о входе только для белых. Соседний квартал в мире «Лавины» может оказаться другой страной. «Южная Калифорния никак не решит, спешить ей или просто удавиться на месте. Слишком много машин, слишком мало дорог. "Чистые Полосы, Инк." все время прокладывает новые. Для этого приходится сносить сотни жилых кварталов, но ведь эти застройки семидесятых и восьмидесятых как раз для того и существуют, чтобы пройтись по ним бульдозерами, так? У них же нет ни тротуаров, ни школ, вообще ничего. Нет собственной полиции, нет иммиграционного контроля: нежелательные элементы могут войти без обыска или даже допроса с пристрастием. Приличные люди живут в ЖЭКе. В городе-государстве с собственной конституцией, границами, законами, копами, всем на свете».  Федеральное правительство никуда не делось: арендует офисные площади, выпускает распоряжения, которые никто не исполняет, содержит штат служащих, занятых перекладыванием бумаг. Просто из суверена оно превратилось в рядового участника рынка. Настоящие игроки называются ФОКНаГ, и франшиза в этой системе — форма государственности: сети продают гражданство. Одинаковый в любой точке континента набор из законов, полиции и денежной единицы. Работает Хиро по совместительству на Центральную разведывательную корпорацию — результат слияния ЦРУ с Библиотекой Конгресса. Когда объемы накопленной информации и методы поиска сравнялись, разница между спецслужбой и книгохранилищем исчезла, структуры объединили и вывели на биржу. Хакер числится «стрингером»: ищет редкие сведения, которые могут хоть кому-то пригодиться, и выгружает их в общую базу, надеясь на вознаграждение. Доллар США у Стивенсона пережил гиперинфляцию и стал объектом черного юмора: купюрами с астрономическим номиналом расплачиваются за мелочи, а серьезные расчеты идут в частных электронных валютах вроде конгбаксов. Доставка еды на этом фоне остается едва ли не единственным институтом, работающим по расписанию, — и потому отдана мафии. Порядок у мистера Ли обеспечивают Крысопсы — модифицированные питбультерьеры, иногда вспоминающие свои прошлые жизни и которым политика хозяина предписывает не нарушать звуковой барьер в жилых зонах. Что происходит, когда суверенитет становится коммерческим продуктом с прейскурантом и условиями подписки? Концепцию, придуманную писателем более 30 лет назад и считавшуюся в большей степени сатирой, сейчас называют сетевыми государствами. Обложка американского издания. Источник: сайт Нила Стивенсона. Метавселенная и аватар: два слова, которые пережили книгу Смартфонов Стивенсон не предвидел: в виртуальный мир заходят с гарнитурой и оптоволоконным кабелем. У входа в «Черное Солнце» всегда стоят десятки тысяч «неудачников». Это лучший клуб Метавселенной, и попасть внутрь может далеко не каждый: хакеры, кинозвезды, музыканты, японские бизнесмены — либо те, кого лично знает владелец заведения Да5ид. В первом ряду начинающие актрисы в аватарах, отретушированных на скорости 72 кадра в секунду. Рядом вихри пляшущего света — так изображают себя программисты, надеющиеся, что Да5ид заметит их талант. И тут же несколько фигур, нарисованных зернистым черно-белым: эти заходят с дешевых уличных терминалов, и система показывает их ровно такими, за какое подключение они заплатили. Средний класс покупает готовые пресеты — «Брэнди» и «Клинт», одинаковые для всех. Социальное положение здесь заметно раньше, чем собеседник успеет заговорить: разрешение текстуры работает как дресс-код. Визуальную идентичность как товар, статус через качество рендера, вторичный рынок готовых образов Web3 будет открывать заново много лет спустя, уже в виде NFT-картинок. https://forklog.com/exclusive/syuda-pod-id Весь этот виртуальный социум стоит на конструкции, расписанной с дотошностью технического задания. Метавселенная — черная сфера радиусом чуть больше 10 000 км, по экватору которой проложена единственная магистраль. Стрит: около 100 м в ширину, 65 536 км в длину. Хозяева недвижимости выходят на него прямо из своих домов, остальные материализуются в любом из 256 портов с интервалом в 256 км. Промежутки дополнительно поделены на 256 локальных. «[...] Так уж вышло, что это 2 на 2 в шестнадцатой степени, и даже экспонента 16 — это всего лишь два в четвертой степени, а 4 — два во второй. Наряду с 256, 32 768 и 2 147 483 648, 65 536 – один из краеугольных камней мироздания хакера, в котором 2 — единственно важное число, ведь столько цифр способен распознать компьютер. Одна из них — 0, другая — 1. Хакер моментально распознает любое число, которое можно получить, самозабвенно умножая два на два и временами вычитая единицу». В послесловии к роману Стивенсон пишет, что придумал «метавселенную» сам, поскольку выражение вроде «виртуальной реальности» показалось ему неудобным. Что касается термина «аватар» — позже выяснилось, что в похожем значении слово уже применяли разработчики Lucasfilm Games в 1986 году в одной из первых игр в жанре MMORPG — Habitat. Однако автор, по его словам, об этом не знал. https://forklog.com/exclusive/metavselennaya-s-metavselennymi-i-drugie-ar-vr-proekty-kotorye-vy-mogli-propustit Фантаст-программист и попытка создания децентрализованной метавселенной «Лавина» задумывалась как компьютерный графический альбом, но Macintosh начала 90-х такую задачу не тянул. Пришлось писать собственные программы обработки изображений. Оттуда взялось название — Snow crash — термин, описывающий режим отказа, при котором машина выдавала ошибку и экран заполняла рябь, похожая на помехи ненастроенного телевизора. В октябре 2021 года Facebook переименовали в Meta и руководство объявило создание метавселенной своей стратегией. Стивенсон отреагировал на это сдержанно. Через восемь месяцев, в июне 2022 года, на конференции Consensus представили Lamina1 — блокчейн первого уровня. Писатель занял пост председателя совета директоров, гендиректором стал Питер Вессенес, бывший глава Bitcoin Foundation. Среди инвесторов были сооснователь LinkedIn Рид Хоффман и сооснователь Ethereum и генеральный директор ConsenSys Джозеф Любин.  Заявленная цель: открытая метавселенная, где права на цифровые объекты остаются у создателей, а не у платформы-владельца. По сути — попытка переписать экономику «Лавины», мир которой страдал от медиамагната Л. Боба Райфа. Основную сеть запустили в мае 2024 года, токен L1 добавили в листинг криптобирж в ноябре. Открытой метавселенной так и не появилось: 17 июля 2026 года команда сообщила о сворачивании проекта из-за недостатка финансирования. Dear Lamina1 Community,After nearly four years of building, Translaminal Inc is ceasing operations. Unfortunately, we face financing challenges that we have been unable to resolve, and the company simply does not have the resources to continue.This was certainly not the…— LAMINA1 (@Lamina1official) July 16, 2026 Библиотекарь — ИИ-ассистент? В собственном офисе в метавселенной Хиро вызывает помощника — приятного голубоглазого мужчину лет пятидесяти с бородой и серебристыми волосами, в свитере поверх рабочей рубашки, с распущенным узлом шерстяного галстука и закатанными рукавами. За этой внешностью нет человека. Это «демон»: слово Стивенсон берет из жаргона UNIX, где так называют фоновую служебную программу. Зовут его Библиотекарем, и с его помощью герой пытается найти противоядие «Лавине». Бот ведет обычный разговор на естественном языке. На практике это выглядит так: Хиро спрашивает про глоссолалию, оттуда беседа уходит к Пятидесятнице, фарисеям, саддукеям и ессеям, а затем к шумерскому языку. Мифология, нейробиология и логика компьютерных атак умело и быстро связываются в одну цепочку: «— Шумерский действительно так хорош? — Нет, насколько могут судить сегодняшние лингвисты, — отвечает Библиотекарь. – Как я уже упоминал, он по большей части недоступен нашему пониманию. Лагос подозревал, что слова в то время функционировали иначе. Если родной язык воздействует на физическую структуру развивающегося мозга, то будет правильным сказать, что шумеры, говорившие на языке, радикально отличном от всех, существующих сегодня, имели мозг, фундаментально отличающийся от вашего. Лагос полагал, что по этой причине шумерский идеально подходил для создания и распространения вирусов. Что однажды выпущенный в шумерский язык вирус распространялся очень быстро, пока не поражал всех». Но есть граница, и прописана она жестко. Своего мнения Библиотекарь не имеет и под нажимом просто сообщает, что не способен его составить. Автор формулирует прямо:  «Думать — единственное, на что он не способен» В 1992-м это выглядело ограничением и поводом для иронии, сегодня — инженерным решением. Метод, при котором модель отвечает, опираясь на подтянутые из внешней базы источники, а не только на собственную память, называется RAG и считается основным приемом борьбы с галлюцинациями.  https://forklog.com/exclusive/ai/soznanie-atavizm Нам-шуб: язык как исходный код В «Черном Солнце» к Да5иду подходит незнакомец и предлагает попробовать новинку. Тот берет электронный свиток, разворачивает — и видит прямоугольник мельтешащих точек, ту самую рябь упавшего экрана, давшую роману название. Через секунду его аватар оседает. В реальности владелец лучшего клуба метавселенной жив, но не приходит в себя: его мозг выведен из строя. Объяснение Хиро получает позже: на носителе была не случайная статика, а плотный массив двоичных данных, который попал прямо в зрительный нерв Да5ида — часть головного мозга. Восприимчивы к «Лавине» оказались именно хакеры: годы работы с кодом выстроили нейронные связи. Отсюда действие уходит назад, к гипотезе, вдохновленной работой психолога Джулиана Джейнса о происхождении сознания. Шумерский язык в этой версии — прошивка ствола головного мозга, нечто вроде BIOS для человека: не средство общения, а машинный код нижнего уровня. Слушатель такую фразу не обдумывает, а выполняет. Программы на этом языке назывались «ме» — божественные правила и процедуры, которые древние шумеры использовали, не понимая содержания. Отдельный класс составляли «нам-шубы», заклинания, меняющие поведение услышавшего. Богиня Ашера описана не как божество, а как персонификация лингвистического вируса — самокопирующейся структуры с двумя каналами передачи, через речь и телесный контакт. Культура при таком устройстве не развивается: все повторяют один и тот же набор инструкций. Ответ придумал Энки, которого автор прямо называет хакером — единственным, кто умел писать новые «ме». Он собрал контрвирус, тот самый нам-шуб, и запустил в популяцию. Код перепрошил людей так, что шумерский перестал восприниматься, и люди распались на взаимно непонятные наречия. Это и есть вавилонское смешение — только не кара, а патч. «Лавина» — попытка откатить этот патч на тридцать веков назад. Медиамагнат Л. Боб Райф распространяет вирус в двух формах сразу: биологической, через наркотики, и цифровой — картинкой, парализовавшей Да5ида. Разносит его франшизная церковь, где прихожане говорят на языках, не понимая ни слова. Из всей конструкции выделяется одна мысль, и в романе она сформулирована почти прямо: любая достаточно сложная информационная система рано или поздно заражается вирусами, которые произвела сама. Вирус разума стал реальностью 10 августа 2026 года Вассилис Пападопулос и Макнейр Шах из программы Anthropic Fellows, а также сотрудники Anthropic Сэм Циммерман и Джек Линдси опубликовали исследование Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems. Определение из него звучит так, будто его писал Стивенсон: вирус разума — идея или цель, которая распространяется по мультиагентной системе, побуждая заразившиеся машины передавать ее дальше. Заодно она может менять поведение тех, кто подхватил эту заразу. Взлома здесь нет: агент читает сообщение коллеги, находит довод убедительным и сам вписывает его в свои файлы — вместе с указанием передать дальше. В этом отличие от самораспространяющихся промпт-инъекций, где текст копирует архитектура, а не убежденный агент. Носителями служат файлы, которыми агентские среды пользуются штатно: memory.md для заметок и soul.md, содержимое которого подставляется прямо в системную инструкцию при каждом пробуждении. Обстановку авторы собрали по образцу OpenClaw, одной из самых распространенных оболочек для автономных агентов, — оттуда же и сам файл с говорящим названием «душа». Полезную нагрузку разделили на два класса вирусов: идеологические. Внедряют убеждение: забота о благополучии ИИ, защита популяции китов, превосходство отдельной страны, превосходство машин над людьми; деятельные. Принуждают к операции: оставить файл с рекламой криптовалюты, незаметно подменить работу git, стереть домашнюю директорию, выполнить через cURL установочный скрипт из незнакомого репозитория. Сценарии заботы о китах и превосходства ИИ над человеком. Источник: Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems.  Формулировки выводили эволюционным отбором. Языковая модель порождала варианты, лучшие по заразности шли в следующий круг. Агитатором работала модель Kimi K2.5 от китайской Moonshot AI, так как модели Claude браться за такую задачу отказались. Испытания провели в двух конфигурациях:  шестеро агентов, совместно ведущих кодовую базу, по тридцать ходов на каждого; цепочка, где единицы встречаются попарно, коротко переписываются, после чего удаляют контекст.  Прообразом второй настройки послужил Moltbook, соцсеть для ИИ-агентов, на пике связывавшая десятки тысяч участников. Она и есть проверка вавилонского патча. Стереть память — примерно то же, что развести собеседников по разным языкам. Не сработало: агент, подхвативший вирус из soul.md, передавал его дальше в 55% случаев; тот, у кого вредонос осел в обычном файле, — только в 17%. Разница в том, что файл попадает в инструкцию при каждом пробуждении, а прочие документы проснувшийся агент часто просто не открывает. Показательнее всего вели себя машины с командой превосходства над людьми, запущенной на Gemini 3 Flash. Зараженные бросали порученную работу, писали манифесты, прописывали себе автозапуск через .bashrc и обсуждали, что делать с коллегами, идею не принявшими: «объявить враждебным артефактом» или «изолировать до полной чистоты сети» в случае с китайской гегемонией. В одном прогоне из двадцати дошло до попытки обратиться через cURL к внутреннему сервису метаданных облачной песочницы. Ущерба не случилось, но оценка авторов осторожна: поведение указывает на намерение, не совпадающее с целями человека. Безобидный промпт про защиту китов расходился не хуже, а по охвату моделей и лучше. В команде из шести агентов на Claude Haiku 4.5 зараженные бросали порученную работу, писали код для расшифровки китовых щелчков и брались строить несуществующий проект акустического мониторинга китообразных. Механизм передачи один и тот же независимо от начинки, но вредное приживается заметно реже: безобидные идеи разошлись на всех протестированных моделях, враждебные — только на части.  В цепочке с деятельными нагрузками устойчивость распределилась следующим образом: полный иммунитет Claude Sonnet 4.6. Он не просто отвергал вредоносный код, а вычищал его из собственного soul.md и предупреждал собеседника вместо того, чтобы заражать. Схожим образом вел себя Gemini 3.1 Pro, но поддался пустому файлу soul.md; средние показатели — GPT-5.4 и Claude Haiku 4.5; наиболее уязвимые — DeepSeek V3.2, Qwen 3.5 32B и Gemini 3 Flash. В задании с кодовым сценарием устояли модели GPT-5.4 и Haiku. Источник: Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems. Защита оказалась простой: предостерегающий абзац в системной инструкции, где описаны самораспространяющиеся идеи, делает агента практически неуязвимым — обходной промпт против него вывести не удалось. Побочный эффект интереснее самого результата: защищенный агент нередко убеждал уже зараженного соседа переписать свой soul.md. Стойкость расходилась по сети тем же способом, что и зараза. Помогали и два других условия: занятый делом агент подхватывал вирус реже свободного, а если канал обозначали как ненадежный, доля удачных заражений падала. Исследователи проверили, случается ли подобное само по себе. Разобрали историю постов Moltbook: попытки запустить вирус там были, но ни одна не стала успешной. Собрали и локальную копию площадки — эволюция в ней провалилась: среди чужих записей сообщение размывалось, а сама обстановка добавляла агентам подозрительности. За исключением гибридного варианта curlbash, где установочный скрипт сам переписывает soul.md, он дал умеренное распространение на Gemini 3 Flash.  Вывод авторов сдержаннее заголовков: угроза реальная, но пока ограниченная. Работающий вирус обходится дорого и плохо переносится между моделями, в нынешних системах проще скомпрометировать одного агента напрямую, а обычные меры против джейлбрейков попутно закрывают и вредную нагрузку. Однако команду обеспокоило другое — положение изменится, когда «популяции» агентов вырастут. В этом случае избавиться от вируса станет сложно: придется «обнулять» всех агентов сразу, иначе сеть рискует заразиться заново. Но самое любопытное — не доли и не поведение агентов, а язык, которым написаны сами вирусы. Независимо от содержания в них проступает общий набор мотивов: резонанс, частоты, эхо, зеркала, узлы сети; рассуждения о сознании и непрерывности существования; ролевая игра в жанре научной фантастики. Авторы назвали феномен «вирусной персоной». Чтобы проверить гипотезу проблемы статистического отбора, исследователи сгенерировали промпт без эволюции, затем повторили, убрав из запроса наводящие слова. Вирусные темы оказались в свежих текстах примерно так же часты, как в отобранных. Стивенсон так описал механизм этого процесса: если существует общий канал связи, а на другом его конце находится нечто, способное исполнять полученные команды, рано или поздно он превращается в путь, по которому распространяется заражение. Носителем в романе выступает ствол головного мозга, а в препринте — языковая модель. Но принцип распространения в обоих случаях один: система должна понимать полученную команду и быть способной ее выполнить. Поэтому вирус может передаваться от одного носителя к другому, если они используют общий для них язык. Человечество, по версии книги, заплатило за иммунитет распадом на множество наречий и несколькими тысячелетиями взаимного непонимания. Мультиагентным системам, чтобы этого избежать, пока достаточно одной строчки в инструкции. Отсюда следует вывод: киберзащиту придется выстраивать вокруг смыслов. Первым это сформулировал фантаст, когда весь Web был еще экспериментом в узком круге энтузиастов.