Счёт за галлюцинации: 57% ошибок в финансовых советах и перестройка управления ИИ в Вашингтоне
ИИ-чатботы ошибаются в финансовых вопросах в 57% случаев, а Белый дом в это же время собирает собственный аппарат управления отраслью. Ставка простая: кто получит право решать, что считается достаточно надёжным, и кто заплатит за ошибку.
Цифра, которую больше не получится обойти
Saturn провела исследование популярных чат-ботов — ChatGPT, Claude, Copilot, Grok и Gemini. Средний результат: 57% ошибочных ответов на финансовые вопросы. На сложных расчётах — до 88–99%. Это не «иногда путает», это режим отказа в той области, где ошибка измеряется деньгами конкретного человека.
Модели не просто плохо считают. Они галлюцинируют финансовые правила и налоговые нормы. В одном из кейсов рекомендация Claude Haiku 4.5 грозила британцу штрафом в 17 500 фунтов. Платные и новые версии точнее — лучший результат у Claude Opus 5, но и это 39% ошибок. Тридцать девять процентов в налоговой консультации — это не улучшение, это всё ещё отказ.
Эксперты Saturn прямо призывают к законодательному регулированию. И вот здесь начинается интересное.
Вашингтон отвечает не запретом, а аппаратом
Трамп анонсировал нового советника по ИИ — прессой он назван «царём ИИ» — и отдельные «ИИ-силы» по аналогии с Космическими силами. Задачи, состав, сроки не раскрыты. Позиция по ограничениям озвучена отдельно: новых запретов не нужно, бороться со злоупотреблениями следует через существующие механизмы уголовного и гражданского правосудия. Ранее этот пост занимал венчурный инвестор Дэвид Сакс.
Заявление сделано на фоне технологического соперничества США и Китая и перед встречей Трампа с Си Цзиньпином 24 сентября. Контекст важен: управление ИИ здесь — не внутренняя техническая политика, а элемент позиции в переговорах.
И вот противоречие, которое я не могу не отметить. Тезис «обойдёмся существующим правосудием» сталкивается с данными Saturn напрямую. Судиться с моделью, которая выдала неверную налоговую норму, невозможно: нет ответчика, нет состава, нет предмета. Существующие механизмы рассчитаны на действия субъекта, а не на статистическое распределение ошибок.
Ответственность уже существует — просто она лежит не там
Пока регуляторы обсуждают ИИ, право спокойно работает в соседней зоне. Адвокат Сергей Жорин разъяснил простую вещь: сама передача смартфона другому человеку не делает владельца ответственным за его действия. Ответственность возникает, если владелец заранее знал о противоправных намерениях. Штрафы за незаконную передачу абонентского номера — от 30 до 50 тыс. рублей, за передачу устройства в места лишения свободы — до 50 тыс. с конфискацией. Отдельное предупреждение — о разблокированном телефоне с доступом к банковским приложениям.
Логика здесь ровно та же, что нужна ИИ-сектору: риск возникает не в момент действия, а в момент передачи доступа. Вы отдаёте финансовое решение чёрному ящику — вы в зоне риска. Но в отличие от телефона, у чат-бота нет владельца, который «знал о намерениях». Вся цепочка ответственности обрывается на пользователе, который просто задал вопрос.
Где на самом деле будет борьба
В Lakehouse-инфраструктуре мы уже видели, как это разворачивается. Формат данных Apache Iceberg вендоры открыли и согласовали — и зависимость переехала на уровень каталога. Кто держит указатель на актуальную версию таблицы, тот управляет правами доступа и решает, какие движки вообще увидят данные. Проект Polaris, вышедший из Snowflake, стал полноценным проектом Apache именно потому, что каталог — это точка контроля.
С моделями будет то же. Точность уже commoditized: сегодня 39%, завтра 12%. Точка контроля — не сама модель, а слой верификации и допуска: кто подтверждает, что модель пригодна для финансового, медицинского или юридического ответа, и кто за это подписывается.
Мы на SawOnce тестируем модели для продакшна постоянно — анимация, обзоры, генерация. Там цена галлюцинации — переделанный рендер и потерянные часы. В финансах цена галлюцинации — 17 500 фунтов штрафа и человек, который поверил машине. Это разные классы риска, и регулировать их одинаково нельзя.
Что это значит для индустрии
-
Провайдеры моделей сейчас не несут ответственности за совет. Именно этот разрыв, а не точность, будет главным предметом регулирования в 2027 году.
-
«Мы просто инструмент» перестаёт работать, когда инструмент даёт конкретную рекомендацию в регулируемой области. Разница между поиском и советом — юридическая, а не техническая.
-
Рынок аудита и верификации ИИ получит больше денег, чем рынок самих моделей. Это тот же сдвиг, что произошёл в данных: формат открыли, каталог монетизировали.
-
Компании, которые строят продукты поверх чужих моделей в финансах, медицине и праве, сейчас принимают риск без страховки. Первый крупный иск будет не против OpenAI или Anthropic, а против интегратора.
Условие, при котором расклад меняется
Если провайдеров обяжут публиковать метрики ошибок по доменам — по методике, сопоставимой с исследованием Saturn — и перенесут ответственность за конкретную рекомендацию в регулируемой области на поставщика модели, вся отрасль перестроится за один квартал. Точность из маркетинговой цифры станет операционной метрикой с юридическими последствиями, а «39% ошибок» перестанет быть достижением и станет строкой в отчётности.
До этого момента мы имеем то, что имеем: чат-боты, ошибающиеся в половине финансовых вопросов, и государство, которое строит аппарат управления, но пока не готово назвать ответственного.
Источники
Комментарии
Комментировать могут только зарегистрированные пользователи.
Войти и написать комментарийВход по ссылке из письма — без пароля, займёт 15 секунд.
Комментариев пока нет — будьте первым.
