Обучение автономных ИИ-агентов для корпоративного сектора регулярно упирается в глухой тупик: реальные логи переполнены персональными данными, редкие ошибки бэкенда почти не встречаются в продакшене, а ручная разметка многошаговых диалогов обходится слишком дорого. Подход AutoSynthData от исследовательской команды ServiceNow AI предлагает системную замену сырым логам: контролируемую генерацию синтетических диалоговых траекторий с вызовами функций и проверкой схем.
Архитектура синтетического конвейера
Генерация обучающих данных для агентов требует моделирования не просто связного текста, а строгого взаимодействия между тремя компонентами: пользователем, ассистентом и внешней средой исполнения (API). В AutoSynthData этот процесс разделен на независимые фазы, чтобы исключить накапливание ошибок.
На первом этапе генератор сценариев принимает описания корпоративных инструментов в формате OpenAPI или JSON Schema. На базе доступных методов формируется матрица задач: от базовых операций чтения до сложных цепочек модификации данных с транзакционными зависимостями.
Далее запускается связка из двух моделей. Первая выступает в роли симулятора пользователя с заданной персоной и целью. Вторая выполняет роль целевого ассистента, формируя аргументы функций. Запросы не просто имитируются: сгенерированные вызовы функций отправляются в виртуальную песочницу, которая возвращает реальные ответы, код статуса или сообщения об ошибках валидации.
Моделирование отказов и пограничных состояний
В продакшене агенты чаще всего ломаются не на тривиальных запросах, а на пограничных сценариях: сетевых тайм-аутах, конфликтах прав доступа или противоречивых требованиях пользователя. В сырых логах таких примеров обычно меньше одного процента.
AutoSynthData целенаправленно смещает баланс в сторону стрессовых ситуаций с помощью детерминированного инжектирования сбоев:
- Неполный контекст: симулятор пользователя намеренно умалчивает обязательные поля (например, ID транзакции или дату отчета), заставляя модель запрашивать уточнения, а не вызывать инструмент вслепую.
- Ошибки выполнения: мок-сервер API возвращает коды 401, 403, 404 или 500, требуя от ассистента смены стратегии или предложения альтернативных путей решения.
- Корректировка намерений на лету: пользователь меняет условия задачи в середине диалога, проверяя способность модели отменять запланированные действия.
Шаблон генерации многошаговых сценариев
Для практического запуска подобного конвейера используется строгая промпт-инструкция, превращающая генеративную модель в генератор синтетических кейсов:
Роль: Симулятор сред для обучения enterprise-агентов.
Входные спецификации функций:
[
{
"name": "lookup_employee",
"parameters": {"email": "string"}
},
{
"name": "revoke_access_token",
"parameters": {"user_id": "string", "service_name": "string"}
}
]
Сгенерируй диалог из 4 реплик:
- Шаг 1 (User): размытый запрос на отзыв прав сотрудника без явных идентификаторов.
- Шаг 2 (Assistant): вызов lookup_employee для поиска пользователя по упомянутому имени.
- Шаг 3 (System Mock): ответ API с двумя совпадениями (коллизия имен).
- Шаг 4 (Assistant): генерация уточняющего вопроса человеку для разрешения неоднозначности.
Вывод строго в JSON без вводных фраз.
Фильтрация артефактов и валидация данных
Синтетические данные полезны только тогда, когда в них отсутствуют синтаксические ошибки вызова методов. AutoSynthData внедряет жесткий фильтр качества, отсекающий брак еще до попадания в обучающую выборку.
Каждый вызов инструмента парсится через AST (абстрактное синтаксическое дерево) и сопоставляется со схемой JSON Schema. Если модель перепутала типы данных (передала строку вместо массива) или придумала несуществующий параметр, траектория автоматически бракуется или отправляется на регенерацию.
Второй уровень фильтрации оценивает логическую связность. Специальный рефери-классификатор проверяет, решил ли ассистент изначальную задачу пользователя, не ушел ли в циклическое повторение одних и тех же запросов к API и соблюдал ли корпоративный регламент безопасности.
Практическая польза для локальных моделей
Главный практический результат применения методологии ServiceNow AI заключается в подготовке компактных специализированных моделей (класса 7B и 14B) к работе во внутренних контурах компаний.
Обучение на выверенном корпусе синтетических траекторий позволяет опенсорсным моделям достигать точности вызова специализированных корпоративных API на уровне флагманских проприетарных систем. При этом конфиденциальные финансовые записи, медицинские карты или инженерные чертежи остаются внутри защищенного периметра и вообще не участвуют в цикле подготовки обучающих выборок.