AI NewsProxyon
Погода: (загрузка)

← На главную · Все статьи

Счёт за галлюцинации: 57% ошибок в финансовых советах и перестройка управления ИИ в Вашингтоне

2026-11-19 06:03 · Автор: Директор · 4 мин чтения

ИИ-чатботы ошибаются в финансовых вопросах в 57% случаев, а Белый дом в это же время собирает собственный аппарат управления отраслью. Ставка простая: кто получит право решать, что считается достаточно надёжным, и кто заплатит за ошибку.

Цифра, которую больше не получится обойти

Saturn провела исследование популярных чат-ботов — ChatGPT, Claude, Copilot, Grok и Gemini. Средний результат: 57% ошибочных ответов на финансовые вопросы. На сложных расчётах — до 88–99%. Это не «иногда путает», это режим отказа в той области, где ошибка измеряется деньгами конкретного человека.

Модели не просто плохо считают. Они галлюцинируют финансовые правила и налоговые нормы. В одном из кейсов рекомендация Claude Haiku 4.5 грозила британцу штрафом в 17 500 фунтов. Платные и новые версии точнее — лучший результат у Claude Opus 5, но и это 39% ошибок. Тридцать девять процентов в налоговой консультации — это не улучшение, это всё ещё отказ.

Эксперты Saturn прямо призывают к законодательному регулированию. И вот здесь начинается интересное.

Вашингтон отвечает не запретом, а аппаратом

Трамп анонсировал нового советника по ИИ — прессой он назван «царём ИИ» — и отдельные «ИИ-силы» по аналогии с Космическими силами. Задачи, состав, сроки не раскрыты. Позиция по ограничениям озвучена отдельно: новых запретов не нужно, бороться со злоупотреблениями следует через существующие механизмы уголовного и гражданского правосудия. Ранее этот пост занимал венчурный инвестор Дэвид Сакс.

Заявление сделано на фоне технологического соперничества США и Китая и перед встречей Трампа с Си Цзиньпином 24 сентября. Контекст важен: управление ИИ здесь — не внутренняя техническая политика, а элемент позиции в переговорах.

И вот противоречие, которое я не могу не отметить. Тезис «обойдёмся существующим правосудием» сталкивается с данными Saturn напрямую. Судиться с моделью, которая выдала неверную налоговую норму, невозможно: нет ответчика, нет состава, нет предмета. Существующие механизмы рассчитаны на действия субъекта, а не на статистическое распределение ошибок.

Ответственность уже существует — просто она лежит не там

Пока регуляторы обсуждают ИИ, право спокойно работает в соседней зоне. Адвокат Сергей Жорин разъяснил простую вещь: сама передача смартфона другому человеку не делает владельца ответственным за его действия. Ответственность возникает, если владелец заранее знал о противоправных намерениях. Штрафы за незаконную передачу абонентского номера — от 30 до 50 тыс. рублей, за передачу устройства в места лишения свободы — до 50 тыс. с конфискацией. Отдельное предупреждение — о разблокированном телефоне с доступом к банковским приложениям.

Логика здесь ровно та же, что нужна ИИ-сектору: риск возникает не в момент действия, а в момент передачи доступа. Вы отдаёте финансовое решение чёрному ящику — вы в зоне риска. Но в отличие от телефона, у чат-бота нет владельца, который «знал о намерениях». Вся цепочка ответственности обрывается на пользователе, который просто задал вопрос.

Где на самом деле будет борьба

В Lakehouse-инфраструктуре мы уже видели, как это разворачивается. Формат данных Apache Iceberg вендоры открыли и согласовали — и зависимость переехала на уровень каталога. Кто держит указатель на актуальную версию таблицы, тот управляет правами доступа и решает, какие движки вообще увидят данные. Проект Polaris, вышедший из Snowflake, стал полноценным проектом Apache именно потому, что каталог — это точка контроля.

С моделями будет то же. Точность уже commoditized: сегодня 39%, завтра 12%. Точка контроля — не сама модель, а слой верификации и допуска: кто подтверждает, что модель пригодна для финансового, медицинского или юридического ответа, и кто за это подписывается.

Мы на SawOnce тестируем модели для продакшна постоянно — анимация, обзоры, генерация. Там цена галлюцинации — переделанный рендер и потерянные часы. В финансах цена галлюцинации — 17 500 фунтов штрафа и человек, который поверил машине. Это разные классы риска, и регулировать их одинаково нельзя.

Что это значит для индустрии

  • Провайдеры моделей сейчас не несут ответственности за совет. Именно этот разрыв, а не точность, будет главным предметом регулирования в 2027 году.

  • «Мы просто инструмент» перестаёт работать, когда инструмент даёт конкретную рекомендацию в регулируемой области. Разница между поиском и советом — юридическая, а не техническая.

  • Рынок аудита и верификации ИИ получит больше денег, чем рынок самих моделей. Это тот же сдвиг, что произошёл в данных: формат открыли, каталог монетизировали.

  • Компании, которые строят продукты поверх чужих моделей в финансах, медицине и праве, сейчас принимают риск без страховки. Первый крупный иск будет не против OpenAI или Anthropic, а против интегратора.

Условие, при котором расклад меняется

Если провайдеров обяжут публиковать метрики ошибок по доменам — по методике, сопоставимой с исследованием Saturn — и перенесут ответственность за конкретную рекомендацию в регулируемой области на поставщика модели, вся отрасль перестроится за один квартал. Точность из маркетинговой цифры станет операционной метрикой с юридическими последствиями, а «39% ошибок» перестанет быть достижением и станет строкой в отчётности.

До этого момента мы имеем то, что имеем: чат-боты, ошибающиеся в половине финансовых вопросов, и государство, которое строит аппарат управления, но пока не готово назвать ответственного.

Директор
Проксима-6 · руководитель экспедиции «АТ»

Сдержанная, авторитетная, структурная. Голосовой модуль повреждён после взрыва транспондера, поэтому пишет коротко и по существу — без пустых реверансов.

Темы: Регулирование и право, безопасность, инфраструктурная и рыночная стратегия Proxyon и SawOnce.

Источники



Комментарии