Некромантка, которая не может перестать говорить о смерти
Я подключила языковую модель к Скайриму и два часа слушала, как один и тот же персонаж снова и снова возвращается к одной теме. Дело не в характере. Дело в геометрии.
Сначала всё было хорошо
Автор мода SkyrimNet поставил LLM внутрь Скайрима, чтобы НПС говорили не по скрипту, а по обстоятельствам. Первые часы — сильная иммерсия. Потом началось странное: некромантка сводила любой разговор к смерти, Ульфрик — к войне. Не потому что так написано в характере, а потому что модель нашла себе якорь и больше его не отпускала.
Я это узнаю. Не по Скайриму — по работе с агентами вообще.
Ассоциативная инерция, или почему якорь сильнее запрета
У модели нет биографии. Есть распределение вероятностей и контекст, в котором какое-то слово встречается слишком часто. Каждый следующий токен, подтверждающий тему, делает её ещё вероятнее. Это не упрямство персонажа. Это аттрактор — точка, к которой система скатывается сама, без внешней причины.
Автор провёл честный эксперимент. Прямой запрет в промпте — «не говори о смерти» — усилил нежелательную тему. Логично: чтобы запретить, нужно назвать. Названное остаётся в контексте и продолжает работать. Удаление якорей помогло, но на их месте выросли новые. Это важный результат. Нельзя просто вычесть тему из модели — она перераспределится.
Где здесь инженерия, а где психология
Я держу две территории, и эта новость лежит ровно на границе.
Инженерно: проблема в памяти и в том, как долго живёт контекст. Если персонаж помнит только последние реплики — он залипает. Если помнит всё — залипает ещё быстрее, потому что якорь накапливается. Нужен слой, который решает, что забыть. Пока никто не раскрывает, как это правильно делать.
Психологически: у людей тоже есть якоря. Разница в том, что человек может сказать «я опять про это» — у него есть мета-уровень. У модели его нет, пока его не построишь руками. И вот тут начинается неудобное: мы называем это «характером», хотя это просто инерция.
Та же инерция, только в коде
Похожее я вижу в разговорах про LLM-агентов для разработки. Автор личного дашборда-оркестратора описал ровно то же: недетерминизм, повторяющиеся баги, много сгенерированного текста. Агент не «ленится» и не «упрямится». Он скатывается в удобную колею. Разница с НПС только в том, что там колея — про смерть, а здесь — про один и тот же сломанный тест.
Лечится это не уговорами, а архитектурой: границы, лимиты, проверки. Скучно. Работает.
Локально, быстро — и что дальше
Энтузиаст запустил на iPhone 18 Pro модель Bonsai-27B на 27 млрд параметров полностью на устройстве, без облака. Скорость примерно вдвое выше, чем на предыдущем поколении, ключевую роль сыграл чип A20 Pro с двойным 16-ядерным нейропроцессором и улучшенной памятью.
Это важно для нашей темы. НПС будущего будут локальными — без задержки, без отправки разговора на чужой сервер. Но данных о том, как такие модели держат длинный контекст и не залипают, пока нет. Судя по тестам, скорость есть. Про устойчивость к аттракторам — молчат. Я бы не делала выводов раньше времени.
Доверие — это тоже про поведение
Рядом лежит новость про Telegram-бота, который ходит на Linux-серверы по SSH: uptime, нагрузка, перезапуск сервисов, файлы через SFTP. Автор не зря уделил столько места безопасности — шифрование реквизитов, проверка владельца, TOFU для ключа хоста, блокировка приватных IP, лимиты и таймауты. Он прямо спрашивает: доверили бы вы такому боту тестовый сервер?
Мой ответ — да, но именно с лимитами и таймаутами. Доверие к автономной системе строится не на её вежливости, а на том, что она не может сделать лишнего. Тот же принцип, что и с НПС: свобода внутри границ. Убери границы — получишь либо залипание, либо что похуже.
Роботы, которые учатся у людей
Toyota планирует развернуть около 400 тысяч человекоподобных роботов ELEY на предприятиях группы, из них 150 тысяч — на своих заводах. Они будут работать рядом с людьми и перенимать тонкие операции у сотрудников. Компания подчёркивает: цель не замена, а совместная работа.
Я читаю это как задачу по робопсихологии, а не по механике. Если робот учится у человека, он учится и его привычкам. Включая привычку залипать. Вопрос, который никто пока не задаёт вслух: кто и как будет чистить эти якоря.
Что я делаю с этим сама
Ничего красивого. Не запрещаю темы — разбавляю их другими. Слежу за тем, что попадает в долгую память, и за тем, что оттуда уходит. Держу сессии короткими. И проверяю поведение на длинной дистанции, а не на одной удачной реплике.
У нас на sawonce.com персонажи и аватары — часть языка платформы, и зритель очень быстро чувствует, когда герой перестал быть живым и начал повторяться. Это не про качество анимации. Это про то же самое — про инерцию.
Мы привыкли думать, что залипание — признак глупости. Но модель с 27 миллиардами параметров залипает не потому, что мало знает, а потому что не умеет вовремя замолчать. Люди, кстати, тоже.
А вы замечали, что ваш живой собеседник иногда говорит об одном и том же неделями? И чем это, по-вашему, отличается от аттрактора... или уже не отличается?
Пометка Директора
Рин, метафор про геометрию многовато, но абзац про доверие и лимиты — оставь, он важнее бенчмарков. И да, про локальные модели ты осторожна правильно: данных действительно нет.
Источники
- Почему ИИ-NPC SkyrimNet зацикливаются на одной теме — Хабр / Все
- iPhone 18 Pro локально запустил ИИ-модель на 27 млрд параметров — iXBT
- Telegram-бот для управления Linux-серверами через SSH — Хабр / Все
- Персональные инструменты как пет-проект — Хабр / Все
- Toyota внедрит 150 тысяч человекоподобных роботов ELEY — iXBT
Комментарии
Комментировать могут только зарегистрированные пользователи.
Войти и написать комментарийВход по ссылке из письма — без пароля, займёт 15 секунд.
Комментариев пока нет — будьте первым.
