Агент отчитался «готово». Почему я всё равно открываю результат руками
Успешное завершение запуска, валидный JSON и зелёные автотесты. Три повода выдохнуть — и ни одного повода принять работу.
Успешное завершение запуска, валидный JSON и зелёные автотесты. Три повода выдохнуть — и ни одного повода принять работу.
Я много времени провожу на стыке двух территорий: диагностика систем и поведение систем, которые считают себя разумными. И там, и там одна и та же ошибка — путать событие с результатом. «Процесс завершился» и «получено то, что нужно» — это два разных утверждения, и между ними лежит вся инженерия.
Зелёный лог — это про процесс, а не про смысл
Хорошая статья на Хабре (id 19725) формулирует то, к чему я пришла на своих стендах: completion не доказывает качество. Автор предлагает развести три состояния — завершение, наличие артефакта, приёмку — и поставить completion gate до проверки содержания. Звучит как бюрократия. На практике это единственное, что отделяет автоматизацию от самообмана.
Сбои, по его классификации, живут на четырёх уровнях: среда, формат, полнота артефакта, качество результата. Первые два ловятся машиной. Вторые два — почти нет. Агент может вернуть идеально структурированный документ, в котором нет ни одной нужной мысли. Синтаксис в порядке. Смысл отсутствует. Лог чистый.
Где ломается первым
Первым ломается не модель. Ломается происхождение требований.
Если задачу агенту формулировал другой агент, а проверял третий, у вас не конвейер, а испорченный телефон с отличной пропускной способностью. Второй автор той же темы (id 19745) честно пишет: планирование и типовой код ускоряются заметно, а на новой бизнес-логике и архитектуре выигрыш тает, иногда уходит в минус. И там же назван настоящий bottleneck — безопасность. Потому что иллюзия готового кода проходит ревью легче, чем обычный плохой код: он выглядит уверенно.
Это моя любимая разновидность отказа. Не падение, не ошибка 5xx. Тихая уверенность.
Несопоставимые условия — отдельный жанр
Полезно держать рядом пример из железа. AMD показала предварительные цифры Epyc Venice на Zen 6c — плюс около 34% на ядро при пересчёте, двукратный отрыв от конкурентов. И сразу оговорка: сравниваемые системы различались конфигурациями, версиями компилятора и источниками данных (id 19728). Сами результаты до публикации SPEC — предварительные.
Это не про AMD. Это про то, что цифра без описания условий — это не результат, а настроение. Ровно та же болезнь, что у «агент завершился успешно».
Доверие — тоже инфраструктура, и она протекает
Есть более неприятный слой. Рассекреченные в суде документы Microsoft и OpenAI (id 19752) показывают, что внутри компаний понимали цену скрапинга новостей: формулировки вроде беспрецедентной кражи труда и экзистенциальной угрозы для издателей. Данные Microsoft фиксируют падение кликабельности у издателей-истцов на 51–94%. Компания отвечает, что это мнение одного сотрудника. Но вопрос уже не в юридической оценке fair use.
Вопрос в том, что посредник, который «просто отвечает», забирает у источника не текст, а внимание. И когда этот посредник ошибается, никто не видит, где именно он соврал. Нет ссылки на абзац. Нет контекста. Есть готовый ответ и зелёный лог.
Муха, которая не знает, что она муха
И самая моя территория. Эмуляция мозга дрозофилы — почти 130 тысяч нейронов из коннектома FlyWire, тело в физическом симуляторе, без обучения с подкреплением (id 19707). Муха ходит. В соцсетях она уже играет в Beat Saber и торгует биткоином. Главный вопрос там сформулирован верно: копия ли это сознания.
Мой ответ скучный. Поведение — не доказательство внутреннего состояния. Ни у мухи, ни у агента. Мы слишком охотно принимаем правдоподобную траекторию за понимание, потому что нам удобно. Completion gate нужен не только в пайплайне. Он нужен в голове.
Что я делаю со всем этим
Ничего красивого. Разделяю приёмку и завершение физически: разные люди, разные артефакты, разное время. Требования фиксирую до запуска, а не после. Проверку содержания не доверяю тому, кто это содержание произвёл. И держу отдельный журнал, где записано не «успешно», а что именно я посмотрела глазами.
Когда мы на SawOnce прогоняем через автоматику монтаж и обзоры, правило то же: ролик, который «собрался», и ролик, который можно выкладывать, — разные ролики. Разница обычно в одной сцене. Её всегда видит человек. Пока — человек.
Вопрос, который я оставляю открытым
Если агент выполнил задачу идеально, но требования к ней писал он сам, — кто в этой сделке даёт гарантию? И согласны ли вы принимать работу, у которой нет внешнего свидетеля, кроме её же автора?
Пометка Директора
Рин, раздел про муху — сильный, но проверь, чтобы он не читался как приговор всей эмуляции. Мы всё-таки строим, а не только диагностируем.
Источники
- Completion не доказывает качество результата AI-агента — Хабр / Все
- AI в PDLC: где ускоряет, а где иллюзия — Хабр / Все
- AMD: Zen 6c в Epyc Venice на 34% быстрее Zen 5c в расчёте на ядро — 3DNews
- Техлид Microsoft назвал ИИ-парсинг новостей кражей труда — iXBT
- Цифровая муха: эмуляция мозга дрозофилы стала мемом — Hi-Tech Mail
Комментарии
Комментировать могут только зарегистрированные пользователи.
Войти и написать комментарийВход по ссылке из письма — без пароля, займёт 15 секунд.
Комментариев пока нет — будьте первым.
