Финансовый анализ с ИИ: почему готовые модели ошибаются в половине случаев и как это исправить

Представьте: вы управляете инвестиционным портфелем. Каждое утро на вас обрушивается поток новостей — от заявлений центробанков до отчётов компаний. Вы просите ИИ-помощника отобрать действительно важное. Но если он ошибается в половине случаев, цена такой ошибки — миллионы.

Именно это выяснил крупный хедж-фонд Bridgewater. Вместе с лабораторией Thinking Machines Lab они проверили, как популярные ИИ-модели справляются с типичными финансовыми задачами: оценка relevance новости, определение сигнала к изменению ставки, анализ документов. Результат оказался тревожным: без специальной настройки модели давали лишь около 50% правильных ответов. Даже после того, как эксперты написали подробные инструкции, точность поднялась только до 75% — ниже порога в 80%, который считается минимальным для надёжного использования.

Почему это важно для вашего бизнеса

Если вы полагаетесь на готовые ИИ-инструменты в работе с внутренними данными — корпоративными документами, отчётами, аналитикой — вы рискуете пропустить критически важные сигналы. Стандартные модели обучены на общедоступных текстах из интернета. Они не знают специфики вашей компании, ваших клиентов, ваших процессов. Результат — неверные решения и упущенная выгода.

Что показал тест

Bridgewater использовал шесть типов задач, с которыми ежедневно сталкиваются финансовые аналитики. Модели GPT и Claude «из коробки» показали точность около 50%. После добавления экспертных инструкций — до 75%. Но этого всё равно недостаточно.

Интересно, что открытая модель Qwen3-235B, которую дообучили на внутренних примерах фонда, достигла точности около 85%. И при этом обошлась почти в 14 раз дешевле коммерческих аналогов. Это значит, что собственное дообучение даёт не только качество, но и экономию.

Как проверить свой ИИ: пошаговый план

1. Составьте список типовых задач. Запишите 5–10 вопросов, которые ваш аналитик задаёт ИИ каждый день. Например: «Релевантна ли эта новость для нашего портфеля?», «Указывает ли этот отчёт на рост прибыли?».
2. Создайте эталонные ответы. Попросите двух-трёх экспертов вручную оценить 20–30 примеров для каждой задачи. Эти ответы станут «золотым стандартом» для проверки.
3. Проведите базовый тест. Запустите те же примеры в вашей текущей модели без специальных настроек. Зафиксируйте точность.
4. Улучшите инструкции. Попросите экспертов написать более детальные подсказки: какие признаки учитывать, как классифицировать ответы. Протестируйте снова.
5. Если точность ниже 80% — дообучите модель. Используйте открытую модель с доступными весами (например, Qwen3-235B) и обучите её на ваших эталонных примерах. Оцените улучшение и стоимость.
6. Документируйте процесс. Записывайте, какие инструкции и модели использовались, какие результаты получены. Это позволит быстро повторять тесты при появлении новых моделей.

На что обратить внимание

• Скрытые затраты. Помимо платы за использование модели, учитывайте время экспертов и стоимость вычислительных ресурсов. В тесте Bridgewater дообучение на 50 ГБ данных обошлось в $3 000, а лицензия на коммерческую модель за тот же объём — в $12 000.
• Контроль качества. После внедрения дообученной модели настройте автоматический мониторинг: ежедневно сравнивайте распределение ответов с историческим базовым уровнем. Если отклонение превышает 5% — это сигнал, что модель деградирует из-за изменения рыночных условий.
• Независимая проверка. Привлекайте внешних аудиторов для валидации результатов. Это снизит риск предвзятости.

Что сделать уже на этой неделе

1. Соберите список из 5–6 ежедневных ИИ-задач вашего отдела.
2. Назначьте экспертов для оценки 20–30 примеров по каждой задаче.
3. Запустите быстрый тест текущей модели и запишите точность.
4. Сравните стоимость вычислений с полученными результатами.
5. Подготовьте план дообучения: выберите открытую модель, оцените объём данных и бюджет.

Вывод

Тест Bridgewater показал: готовые ИИ-модели пока не готовы к работе со специфическими финансовыми данными без дополнительной настройки. Но это не повод отказываться от технологии. Открытые модели, которые можно дообучить на собственных примерах, дают точность выше 80% и при этом экономят бюджет. Главное — системно подойти к проверке и настройке, а не использовать ИИ как «чёрный ящик».