Начните с одной задачи клиента: напишите её по-русски, по-белорусски и смешайте оба языка в одном сообщении. Затем проверьте, ведёт ли чат-бот к нужному ответу и сохраняет ли смысл заявки. Для малого бизнеса в Беларуси такая проверка помогает найти ошибки до запуска: например, когда бот принимает перенос записи за отмену. Ниже разберём, как подготовить проверочные фразы, испытать сценарий в Aimylogic и определить, какие ошибки требуют правки базы ответов, а какие связаны с логикой диалога.
Что считать правильным ответом на смешанное обращение?
Сначала опишите результат, который ждёте от бота. «Понимает белорусский» — слишком широкое требование для проверки. Для сценария записи результат конкретнее: бот распознал просьбу перенести визит, уточнил новую дату и не отменил текущую запись без подтверждения.
Разделите понимание запроса и язык ответа. Клиент пишет «Хачу перенести запись на пятницу», а бот отвечает по-русски. Если он правильно продолжает диалог, задача распознавания решена. Ответ на белорусском — отдельное требование, которое нужно заранее включить в сценарий и проверить. Само наличие белорусских фраз в базе ещё не подтверждает, что бот поддерживает полноценный диалог на этом языке.
- Задача клиента: что человек хочет сделать, например узнать время работы или перенести запись.
- Значимые детали: какую услугу, дату или часть заказа он назвал.
- Следующий шаг: ответить, уточнить вопрос или передать обращение сотруднику.
- Язык ответа: использовать выбранный клиентом язык либо предложить выбор, если так устроен сценарий.
Для каждого запроса запишите ожидаемое действие до теста. Иначе легко принять вежливый, но бесполезный ответ за успех. Фраза «Рады помочь с записью» не решает задачу, если после неё бот снова показывает общее меню.
Как собрать фразы для проверки двух языков?
Возьмите реальные задачи из переписки с клиентами и вручную составьте для них языковые варианты. Если подходящих обращений пока нет, используйте учебные примеры и пометьте их как тестовые. Начать можно с вопросов, на которые бизнес уже отвечает: график работы, получение заказа, запись на услугу.
Для одной задачи подготовьте небольшой набор формулировок. Например, для переноса записи:
- По-русски: «Хочу перенести запись на пятницу».
- По-белорусски: «Хачу перанесці запіс на пятніцу».
- Со смешением языков: «Хачу перенести запись на пятницу».
- С коротким продолжением: сначала «Хочу перенести запись», затем «На пятніцу».
- С отрицанием: «Не отменяйте запись, хачу толькі перанесці».
Сохраните фразы в обычном рабочем документе. Рядом с каждой укажите задачу, ожидаемый следующий шаг и фактический ответ. Для примера с отрицанием отдельно запишите запрет: бот не должен запускать отмену. Такая деталь помогает заметить ошибку, которую скрывает внешне связный диалог.
Добавьте близкие по словам, но разные по смыслу запросы. «Можно забрать заказ сегодня?» и «Ці гатовы мой заказ?» требуют разных действий: в первом случае клиент спрашивает о возможности получения, во втором — о готовности конкретного заказа. Не назначайте им общий ответ только из-за слова «заказ».
Белорусские формулировки стоит проверить с человеком, который использует язык в работе. Механический перевод русского шаблона не заменяет живую речь клиента. Сохраните разговорные варианты, если их смысл понятен, но не добавляйте искусственные ошибки ради количества тестов.
Как провести проверку в Aimylogic?
Проверяйте конкретный сценарий и канал, где будет общаться клиент. Успех во внутреннем тесте ещё не подтверждает, что в рабочем канале доступны те же кнопки и переходы. Поддержку белорусских формулировок проверяйте на своей конфигурации Aimylogic: по описанию конструктора нельзя сделать вывод о качестве распознавания смешанной речи.
- Выберите один законченный путь, например вопрос о записи с переходом к уточнению даты.
- Введите каждую проверочную фразу в новом диалоге, чтобы предыдущие сообщения не подсказывали боту ответ.
- Пройдите тот же путь с продолжением разговора: начните по-русски, затем ответьте по-белорусски.
- Запишите ответ бота и результат действия, включая переход к сотруднику, если он предусмотрен.
- Повторите проверку в канале, который собираетесь открыть клиентам.
Отдельно испытайте короткие ответы: «так», «не», «заўтра», «іншы час». Их смысл зависит от предыдущего вопроса. После предложения отменить запись слово «не» должно остановить отмену; после вопроса о доступности другого времени оно относится уже к другому выбору.
Если бот передаёт обращение сотруднику, проверьте, получает ли тот текст вопроса и причину передачи. Иначе человеку придётся заново объяснять ситуацию. Как организовать такую передачу, разбирает материал об автоматизации поддержки клиентов с помощью чат-ботов.
Проверка понимания заканчивается там, где начинается выполнение действия. Если бот верно распознал перенос, но CRM не приняла изменение, языковой тест пройден, а весь сценарий — ещё нет. Этот случай стоит проверять отдельно по плану подготовки Aimylogic к сбою CRM.
Как исправлять ошибки, не переписывая весь сценарий?
Исправляйте причину конкретного сбоя. Если бот не узнал слово «запіс», проверьте примеры запросов для записи. Если он понял задачу, но потерял дату, проверьте, как сценарий получает и использует ответ клиента. Перевод текста приветствия не исправит ни одну из этих ошибок.
Для сценария с заранее заданными переходами проверьте, куда попадает проблемная фраза и какие условия открывают следующий шаг. Если ответ формирует ИИ-агент, проверьте доступную ему базу ответов и инструкции: есть ли нужное правило, нет ли противоречий, описано ли поведение при непонятном запросе. Не приписывайте ошибку языку, пока не проверили тот же вопрос по-русски.
После правки повторите проблемную фразу и соседние по смыслу запросы. Например, добавили вариант «перанесці запіс» — снова проверьте отмену и вопрос о времени записи. Правка полезна, если она исправила нужный переход и не сломала соседний.
Для непонятного сообщения подготовьте короткое уточнение с выбором действия: «Хотите перенести запись или узнать время визита?» Если уверенного ответа всё равно нет, предусмотрите передачу сотруднику. Особенно внимательно проверяйте действия, которые меняют заказ или запись.
Если настройкой занимается подрядчик, передайте ему набор фраз с ожидаемыми результатами. Это конкретная основа для аналитики и настройки: видно, что исправлять и как принимать работу. Для сопровождения сохраните тот же набор, чтобы проверять сценарий после обновлений.
Какие типичные ошибки искажают результаты проверки?
- Проверять только перевод приветствия. Добавьте путь до ответа или действия, ради которого клиент начал разговор.
- Использовать только полные литературные фразы. Добавьте короткое продолжение и смену языка внутри диалога.
- Считать любой связный ответ правильным. Сверяйте его с ожидаемым действием и деталями запроса.
- Исправлять сценарий без повторного теста. После изменения прогоните проблемный запрос и соседние задачи.
- Обещать поддержку двух языков по результату одного удачного диалога. Проверьте каждый сценарий, который планируете открыть клиентам.
Начните сейчас: за две минуты запишите рядом две фразы — «Хочу перенести запись» и «Хачу перенести запись» — и укажите для обеих один ожидаемый следующий вопрос бота.
