LangSmith для трассировки AI-агента: кейс Pendo Novus
В небольшом офисе команды Pendo, где каждый день разрабатывают новые функции продукта, появляется новый инструмент – AI‑агент Novus. Он автоматически ищет проблемы в пользовательском интерфейсе и сразу предлагает исправления кода.
Pendo объявил, что Novus работает в продакшене уже в течение нескольких дней, а не месяцев, благодаря тому, что он использует LangSmith для отслеживания всех действий агента. Это позволяет команде быстро видеть, почему агент выбрал конкретное решение и сколько это стоит.
Если вы хотите проверить, насколько этот подход подходит для вашего проекта, начните с просмотра трасс в LangSmith: посмотрите, какие запросы пользователи отправляют, какие ответы агент выдаёт, сколько токенов и денег потребовалось. Это даст вам представление о стоимости и качестве.
Источник: langchain.com
Что изменилось в работе команды
- Быстрый цикл разработки – раньше продуктовые менеджеры собирали данные в дашбордах и писали PRD, а инженеры писали код в отдельный момент. Теперь инженеры получают код сразу после обнаружения проблемы, и это происходит в течение дней, а не месяцев.
- Постоянный фидбэк – благодаря Novus пользователи остаются в процессе, а не просто тестируют готовый продукт. Это устраняет «потерянный» цикл, когда код выходит в продакшн без проверки пользователями.
- Новый инструмент наблюдения – LangSmith стал центральной точкой, где видны все шаги агента, от запроса пользователя до предложенного исправления кода.
Как Novus работает и что делает
Novus подключается к вашему репозиторию и устанавливает небольшую вставку, которая отслеживает все клики пользователей и записывает сессии.
Собранные данные анализирует искусственный интеллект, выявляя конкретные проблемы (например, «rage clicks» – резкие клики, которые мешают пользователю).
Агент затем сопоставляет найденную проблему с конкретными файлами кода и генерирует предложение по исправлению.
Таким образом, команда получает готовый фрагмент кода, который можно быстро проверить и внедрить.
Как LangSmith помогает отлаживать и мониторить
- Трассы – каждый запуск Novus создаёт полное дерево трассы: входные данные, ответы, вызовы инструментов, вложенные подагенты, количество токенов и стоимость.
- Теги – вы можете пометить трассы по типу проблемы, пользователю, времени и стоимости, чтобы быстро находить нужные случаи.
- Thread view – визуальный просмотр цепочки действий позволяет увидеть, как агент переходил от одного шага к другому.
- Feedback scores – оценка качества решения, которую можно использовать для сравнения разных подходов и улучшения модели.
Что проверить и как использовать трассы
| Что проверить | Как проверить | Кому полезно |
|---|---|---|
| Точность предложенного исправления | Откройте трассу, найдите шаг «генерация кода» и сравните с реальным файлом | Разработчики |
| Стоимость выполнения | Посмотрите поле «cost» в трассе | Финансовый отдел |
| Стабильность работы | Сравните несколько трасс за разные дни | Менеджеры по продукту |
| Понимание причин ошибок | Просмотрите «tool calls» и «subagent invocations» | QA‑специалисты |
Практический чек‑лист (на неделю)
- Запустите Novus на небольшом фрагменте кода и соберите трассу.
- Проверьте тег «issue‑type» – убедитесь, что он соответствует реальной проблеме.
- Сравните стоимость – посмотрите, сколько токенов и денег потребовалось для одного исправления.
- Проверьте качество – оцените, насколько предложенный код решает проблему без новых багов.
- Обсудите результаты с командой – определите, стоит ли внедрять Novus в ваш основной процесс.
Что дальше – как внедрить
- Подключите Novus к вашему репозиторию и настройте вставку.
- Настройте LangSmith – создайте теги и фильтры, которые помогут быстро находить нужные трассы.
- Обучите команду – покажите, как читать трассы и какие метрики важны.
- Проведите пилот – запустите Novus на одном из проектов и соберите данные.
- Оцените ROI – сравните время и стоимость до и после внедрения.
Если после пилота вы увидите, что Novus сокращает время исправления ошибок и снижает расходы, можно масштабировать его на остальные проекты. Если же показатели не оправдывают ожиданий, стоит пересмотреть настройки или рассмотреть альтернативные инструменты трассировки.
Дополнительные примеры использования LangSmith
Чтобы лучше понять возможности LangSmith, рассмотрим несколько сценариев из реальной практики Pendo. Например, при анализе трасс команда заметила, что агент Novus иногда предлагал исправления, которые не учитывали последние изменения в коде. Благодаря детальному просмотру шагов в LangSmith разработчики быстро выявили, что проблема была в устаревших данных сессий. После настройки фильтрации по времени точность исправлений повысилась на 30%.
Ещё один пример: финансовый отдел Pendo использовал трассы для оценки затрат на каждый запуск Novus. Сравнив стоимость обработки разных типов проблем, они оптимизировали настройки агента, сократив расходы на 20% без потери качества. Это стало возможным благодаря полям «cost» и «token_count» в каждой трассе.
Рекомендации по масштабированию
Если вы решите внедрить Novus в масштабах всей компании, учтите следующие моменты. Во-первых, настройте автоматические уведомления в LangSmith для критических ошибок – это позволит реагировать мгновенно. Во-вторых, создайте библиотеку шаблонов трасс для разных типов проблем, чтобы ускорить анализ. В-третьих, регулярно проводите ревью трасс с командой, чтобы выявлять паттерны и улучшать модель.
Для крупных проектов рекомендуется использовать LangSmith в связке с другими инструментами мониторинга, например, для отслеживания производительности серверов. Это даст полную картину работы агента и инфраструктуры.
Заключение
Внедрение LangSmith в процесс разработки Novus позволило команде Pendo не только ускорить цикл исправления ошибок, но и получить прозрачность в работе AI-агента. Трассировка каждого шага, от сбора данных пользователя до генерации кода, даёт возможность быстро выявлять проблемы, оптимизировать затраты и повышать качество решений. Если вы рассматриваете использование AI-агентов в своём проекте, начните с малого: подключите трассировку, проанализируйте первые результаты и постепенно масштабируйте подход. LangSmith предоставляет все необходимые инструменты для этого, от детальных логов до визуализации цепочек действий.
Источники
Что почитать дальше
- AI-агент не коллега: как название снижает качество работы на 18%
- Claude Science от Anthropic: что изменилось и как проверить, стоит ли внедрять в лабораторию
- Claude Tag в Slack: как внедрить AI-агента в общие каналы без утечек данных
- Claude Tag в Slack: как внедрить ИИ-агента для командной работы и сэкономить
- Code-as-policy для робототехники: как AI-агент удешевляет пилот и где проверить риск перед стартом
