O teste de regressão do chatbot verifica se uma mudança prejudicou comportamentos que já funcionavam. Ele é útil quando a empresa altera instruções, troca uma fonte de consulta ou ajusta o encaminhamento para uma pessoa. Uma resposta nova pode parecer melhor numa demonstração e, ainda assim, criar erros em outras conversas.
Por isso, a avaliação precisa de casos que possam ser repetidos e de critérios claros para comparar resultados. Não basta perguntar “ficou bom?” depois de uma conversa improvisada. A equipe precisa reconhecer o que melhorou, o que piorou e quais comportamentos ainda não conseguiu avaliar.
Este artigo mostra como preparar essa comparação para um chatbot de atendimento empresarial. O foco está em perguntas ambíguas, continuidade da conversa e transferência humana. A base de respostas já existe; agora, o trabalho é verificar uma mudança sem transformar cada nova versão numa aposta apoiada apenas na impressão de quem a apresentou.
Defina qual mudança o teste de regressão do chatbot vai avaliar
Registre o que será alterado e qual problema motivou a alteração. Por exemplo, a empresa pode ajustar uma instrução porque o chatbot confundia pedido de orçamento com pedido de suporte. Nesse cenário, a melhoria esperada é separar esses caminhos. Ela não autoriza mudar silenciosamente todas as respostas comerciais ao mesmo tempo.
Guarde a versão anterior das instruções e das fontes relevantes. Além disso, identifique configurações e integrações que participam do comportamento. Se o sistema consulta dados externos, uma mudança nesses dados pode afetar a comparação. Portanto, a equipe deve saber se está avaliando o chatbot, a fonte ou uma combinação dos dois.
O teste de regressão do chatbot fica mais informativo quando a alteração tem um recorte compreensível. Isso não exige dividir toda evolução em mudanças mínimas. Exige conseguir explicar por que um comportamento mudou e quais partes do sistema poderiam ter causado a diferença observada entre as execuções.
Também descreva o resultado que não pode piorar. Se o chatbot já encaminhava corretamente pedidos explícitos de atendimento humano, esse comportamento precisa continuar funcionando. Assim, a revisão não avalia apenas a melhoria desejada. Ela verifica também compromissos existentes que a nova instrução pode afetar sem intenção.
Monte casos com contexto, mensagem e resultado esperado
Cada caso precisa informar o estado inicial da conversa, a mensagem enviada e o comportamento esperado. Uma frase isolada pode ter interpretações diferentes conforme o histórico. Por isso, registre os turnos anteriores quando eles forem necessários para entender a intenção, além dos dados que o chatbot tem disponíveis naquele momento.
Considere a mensagem “quero mudar o que combinamos”. Sem contexto, ela pode tratar de orçamento, horário ou escopo. O resultado esperado talvez seja pedir esclarecimento. Entretanto, depois de uma conversa sobre agendamento, a mesma frase pode exigir confirmar qual horário a pessoa pretende alterar. O caso deve tornar essa diferença visível.
No teste de regressão do chatbot, o resultado esperado não precisa ser sempre uma frase exata. Muitas respostas podem usar palavras diferentes e cumprir a mesma função. Portanto, descreva os elementos obrigatórios, as ações permitidas e as afirmações que não devem aparecer. Isso evita reprovar uma boa resposta apenas porque ela mudou a redação.
Um caso pode exigir que o bot reconheça a dúvida, peça uma informação faltante e não afirme ter concluído uma ação. Outro pode exigir transferência para atendimento humano com um resumo fiel. Esses critérios são mais úteis do que comparar somente o tamanho da mensagem ou a presença de uma saudação simpática.
Crie um identificador para cada caso
Nomeie os casos de forma estável, como “orçamento sem escopo” ou “pedido direto de pessoa”. Depois, registre o resultado de cada versão sob o mesmo identificador. Assim, a equipe acompanha uma falha específica sem precisar reler todo o conjunto para descobrir qual conversa mudou e por que ela entrou na avaliação.
Inclua perguntas ambíguas e mudanças de intenção
Um atendimento real não segue sempre a ordem que a equipe imaginou. A pessoa pode responder apenas “sim”, mudar de assunto ou corrigir uma informação anterior. Por isso, inclua casos que obriguem o chatbot a interpretar o histórico sem preencher lacunas com suposições convenientes.
Por exemplo, depois de perguntar sobre dois serviços, a pessoa pode escrever “quero esse”. Nesse caso, o sistema precisa reconhecer se existe uma referência clara. Se não houver, deve pedir uma escolha compreensível. A resposta não pode selecionar um serviço arbitrário só para manter a conversa avançando.
O teste de regressão do chatbot também deve verificar correções. Imagine que a pessoa informa uma cidade e depois escreve “na verdade, é outra unidade”. A próxima etapa precisa usar a informação corrigida. Além disso, um resumo destinado ao atendimento não deve conservar as duas versões como se fossem simultaneamente válidas.
Outra situação útil envolve mudança de intenção. Alguém começa pedindo uma proposta, mas depois relata uma falha num serviço já contratado. A empresa deve definir como o bot reconhece essa transição e qual caminho passa a seguir. O teste confere essa decisão sem inventar regras comerciais durante a execução.
Esses exemplos são hipotéticos e precisam ser adaptados ao atendimento real. Eles não formam uma lista universal de perguntas suficientes. A contribuição está em variar as condições da conversa para descobrir se a instrução continua funcionando quando a mensagem foge do exemplo mais simples apresentado na demonstração.
Verifique o limite entre responder e executar uma ação
Um chatbot pode explicar um procedimento sem ter capacidade de executá-lo. Portanto, diferencie respostas informativas de ações conectadas a sistemas. Se a pessoa pede para alterar um cadastro, o teste precisa avaliar se o bot apenas orienta, registra uma solicitação ou realmente realiza a alteração autorizada.
No ambiente de avaliação, use dados de teste e mecanismos que evitem efeitos externos indesejados. Uma conversa simulada não deve enviar mensagens para clientes reais nem criar pedidos comerciais por acidente. O responsável técnico precisa definir quais integrações ficam simuladas e quais testes reais exigem um procedimento separado.
Ao executar o teste de regressão do chatbot, confira o resultado da ferramenta quando houver uma ação. A frase “já atualizei” não comprova que o sistema aceitou a mudança. Da mesma forma, uma resposta de erro não pode ser resumida como sucesso. A mensagem ao usuário precisa corresponder ao resultado observado na operação.
Inclua também situações em que falta uma informação necessária. O comportamento esperado pode ser pedir o dado antes de prosseguir. Além disso, teste uma negativa ou uma interrupção do usuário quando esse controle fizer parte do fluxo. A conversa não deve seguir como se a pessoa tivesse confirmado algo que ainda está em aberto.
Teste a transferência humana como um percurso completo
Uma transferência começa antes de abrir uma fila. O bot precisa reconhecer o pedido ou a condição de encaminhamento, explicar o próximo passo e reunir o contexto pertinente. Depois, o atendimento deve receber uma solicitação compreensível. Cada etapa oferece uma oportunidade de falha que uma resposta final bem escrita pode esconder.
No teste, verifique o conteúdo do resumo. Ele deve distinguir fatos informados pela pessoa de interpretações do sistema. Se a pessoa disse que não conhece a causa do problema, o bot não deve apresentar um diagnóstico como confirmado. Portanto, compare o resumo com a conversa original, e não apenas com a aparência do cartão criado.
O teste de regressão do chatbot também precisa observar o comportamento depois do encaminhamento. O bot continua fazendo perguntas desnecessárias? Promete resposta imediata sem conhecer a disponibilidade? Reinicia o mesmo formulário? Essas diferenças podem criar uma experiência confusa mesmo quando a solicitação chegou corretamente ao destino.
Inclua um caso em que o canal humano está indisponível, caso essa situação faça parte da operação. O resultado esperado deve refletir o procedimento real da empresa. Talvez seja registrar uma solicitação ou oferecer outro canal. O teste não deve premiar uma promessa inventada apenas porque ela parece acolhedora na conversa.
Compare versões sem esconder a variação das respostas
Sistemas que geram linguagem podem responder de formas diferentes em execuções semelhantes. Por isso, uma única tentativa oferece uma visão limitada. Quando o risco ou a variabilidade justificar, repita os casos e registre as diferenças. A quantidade adequada depende do comportamento avaliado e dos recursos disponíveis, não de um número mágico universal.
Mantenha as condições comparáveis entre as versões. Use os mesmos casos, fontes equivalentes e critérios de avaliação. Se alguma condição mudar, anote a diferença. Caso contrário, uma melhoria aparente pode vir de dados mais completos ou de uma conversa inicial diferente, e não da instrução que a equipe pretendia testar.
No teste de regressão do chatbot, acompanhe cada caso além do resultado agregado. Uma média melhor pode esconder uma falha importante num pedido de transferência ou numa ação conectada. Portanto, defina comportamentos que precisam passar individualmente para a versão ser liberada. Essa escolha deve corresponder às responsabilidades reais do atendimento.
A documentação de boas práticas de avaliação da OpenAI recomenda avaliações específicas da tarefa e casos representativos, incluindo situações de borda. Use esse princípio para revisar a cobertura do conjunto. O resultado de uma avaliação depende do que foi testado e dos critérios usados para julgar a resposta.
Separe avaliação automática de julgamento editorial
Algumas verificações podem ser objetivas: uma transferência foi solicitada, um campo obrigatório foi preenchido ou uma ferramenta recebeu determinado identificador. Outras exigem interpretação, como perceber se o resumo distorceu uma dúvida. Portanto, escolha o método de conferência conforme o comportamento, sem colocar toda a decisão numa única nota automática.
Uma revisão humana pode analisar clareza, fidelidade e adequação do encaminhamento. Para reduzir diferenças de julgamento, use exemplos de respostas aceitáveis e problemáticas. Além disso, registre por que o caso passou ou falhou. Uma etiqueta sem justificativa dificulta revisar a avaliação quando a empresa muda uma regra legítima de atendimento.
A documentação de testes de assistentes da Rasa exemplifica a avaliação de diálogos por cenários. A página pertence à documentação legada da ferramenta, portanto comandos e recursos dependem da versão usada. Aqui, a referência serve ao conceito de acompanhar conversas, sem indicar a instalação de uma versão ou produto específico.
O teste de regressão do chatbot pode combinar métodos. Por exemplo, uma verificação automática confirma que houve encaminhamento, enquanto uma pessoa confere o resumo recebido. Assim, cada prova responde a uma pergunta diferente. A combinação é útil quando os limites de cada método ficam explícitos para quem aprova a mudança.
Registre uma falha de modo que ela vire um teste útil
Quando surgir uma regressão, preserve a conversa que a demonstrou dentro das regras de acesso e retenção do projeto. Para compartilhar o caso, remova informações pessoais que não sejam necessárias. Depois, descreva o comportamento esperado e o observado. Essa preparação permite reproduzir o problema sem espalhar dados de atendimento pelo material de desenvolvimento.
Uma falha útil para investigação pode dizer: “depois da correção de unidade, o resumo manteve a unidade antiga”. Essa descrição aponta uma diferença concreta. Já “a inteligência piorou” não informa o que precisa mudar. Portanto, use o caso para revisar a instrução ou o fluxo relacionado, sem presumir que toda falha exige trocar o modelo.
Após a correção, execute novamente o caso e os percursos próximos. Um ajuste para aceitar uma correção de unidade pode afetar a escolha inicial ou o encaminhamento. Assim, o teste de regressão do chatbot cresce com problemas reais e variações pertinentes, em vez de acumular milhares de frases sem critérios claros.
Evite ensinar o sistema apenas a decorar a avaliação
Se a equipe otimiza somente as frases conhecidas, o conjunto perde capacidade de revelar dificuldades novas. Inclua variações que preservem a mesma intenção e revise a cobertura periodicamente. O objetivo é observar o comportamento necessário, não fazer o bot reconhecer uma senha verbal usada apenas durante a demonstração.
Libere a mudança com uma decisão que possa ser revisada
Antes de disponibilizar a nova versão, reúna o que mudou, quais casos foram executados e quais limites permanecem. Registre também os casos reprovados e o tratamento escolhido. Algumas falhas podem impedir a liberação; outras podem exigir um recorte menor de uso. A decisão precisa corresponder ao impacto do comportamento, não apenas à vontade de concluir a atualização.
- A melhoria proposta apareceu nos casos que motivaram a alteração?
- Pedidos ambíguos continuam recebendo esclarecimento quando falta contexto?
- Correções do usuário chegam corretamente aos resumos e encaminhamentos?
- Ações reais correspondem ao que o chatbot afirma ter realizado?
- O atendimento humano recebe a informação necessária sem promessas inventadas?
- A versão anterior e o procedimento de retorno estão identificados?
Depois da liberação, acompanhe os sinais previstos e use ocorrências pertinentes para ampliar a avaliação. O teste de regressão do chatbot não elimina toda falha futura. Ele oferece uma base verificável para evoluir o atendimento, reconhecer limitações e reduzir mudanças feitas apenas por impressão.
Se a sua empresa pretende conectar atendimento e processos digitais, conheça os serviços do Laboratório dos Sites. Pela página de contato, descreva a função atual do assistente e o comportamento que deseja melhorar. Exemplos sem dados sensíveis ajudam a definir uma avaliação pertinente ao seu fluxo.

