🎯 Agente IA

Treinar e refinar o Agente IA com base nas conversas reais

12 min de leitura Atualizado em Jan 2025

Ativar o Agente IA é apenas o primeiro passo. O verdadeiro poder vem do processo contínuo de revisão, correção e refinamento baseado em como o agente se comporta com clientes reais. Um agente bem treinado ao longo de semanas supera em muito qualquer configuração inicial, por mais cuidadosa que seja.

Neste artigo você vai aprender a usar as ferramentas do Chatys — Aprovações IA, Insights IA e o painel de conversas — para identificar falhas, corrigir respostas incorretas, preencher lacunas da Knowledge Base e construir um ciclo de melhoria contínua que eleva progressivamente a taxa de resolução automática do seu agente.

Mentalidade correta: "Treinar" o Agente IA no Chatys não significa reprocessar dados de machine learning. Significa revisar conversas, identificar onde o agente errou, adicionar o conteúdo certo na Knowledge Base, refinar as instruções do System Prompt e repetir o ciclo. É um processo editorial, não técnico.

Revisando conversas do agente IA

O ponto de partida de todo ciclo de melhoria é revisar as conversas que o agente conduziu. É nelas que você encontra os padrões de erro, as perguntas sem resposta e as oportunidades de melhoria mais valiosas.

No menu lateral do Chatys, acesse "Conversas" (inbox). Use o filtro "Atendidas pela IA" para ver apenas as conversas que foram conduzidas pelo Agente IA, sem intervenção humana.

Aplique o filtro de período — recomendado: últimos 7 dias. Para uma revisão semanal eficiente, separe de 30 a 45 minutos por semana para analisar uma amostra representativa das conversas.

Para cada conversa, avalie a qualidade das respostas do agente em 4 critérios: Precisão (a informação estava correta?), Relevância (a resposta respondia a pergunta feita?), Tom (o tom estava alinhado com a personalidade configurada?) e Resolução (o cliente ficou satisfeito ou precisou insistir?).

Marque as conversas com problemas usando as Tags internas do Chatys (ex: "IA-erro", "IA-sem-resposta", "IA-tom-errado"). Isso cria uma fila de trabalho organizada para correções posteriores.

Filtre por conversas que foram transferidas para humano pela IA. Analise especificamente o motivo da transferência — se o agente disse "não encontrei essa informação", você acabou de identificar um gap na Knowledge Base.

Aprovações IA — fila de respostas geradas pelo agente aguardando revisão e aprovação antes de chegar ao cliente

Usando a fila de Aprovações IA

O módulo de Aprovações IA (Diretor IA) é uma ferramenta poderosa para revisar respostas antes que cheguem ao cliente — especialmente durante as primeiras semanas de uso do agente, quando a KB ainda está sendo construída e refinada.

Acesse "Aprovações IA" no menu lateral. Você verá a fila de respostas geradas pelo Agente IA que aguardam aprovação humana. Cada item mostra: a mensagem original do cliente, a resposta sugerida pela IA e a fonte na KB utilizada.

Para aprovar uma resposta sem alteração, clique em "Enviar" ou no botão de check verde. A resposta será enviada ao cliente imediatamente.

Para editar antes de enviar, clique no campo de texto da resposta, faça as alterações necessárias e depois clique em "Enviar". Essa edição não altera a KB automaticamente — mas você pode usar a alteração como insumo para atualizar o conteúdo manualmente.

Para rejeitar e escrever manualmente, clique em "Rejeitar" e em seguida escreva sua própria resposta no campo de texto. Use esta opção quando a resposta da IA estiver completamente equivocada e você precisar de uma resposta totalmente diferente.

Configure notificações de aprovação pendente para receber alertas via email ou Slack quando novas respostas estiverem na fila. Isso evita que o cliente fique esperando por muito tempo.

Dica de fluxo de trabalho: Use as Aprovações IA intensivamente nas primeiras 2 a 3 semanas. À medida que o agente demonstra consistência e precisão, você pode ir liberando categorias de perguntas para resposta automática, reduzindo gradualmente o volume na fila de aprovações.

Corrigindo respostas incorretas

Identificar respostas incorretas é apenas metade do trabalho. O mais importante é entender o motivo do erro e corrigir a causa-raiz para que o agente não repita o mesmo erro.

Em uma conversa com resposta incorreta, clique na mensagem do agente e selecione "Marcar como incorreta" ou "Sinalizar resposta". Um painel de feedback aparecerá.

Selecione a categoria do erro: Informação incorreta (IA deu dado errado), Sem resposta adequada (IA disse que não sabia, mas a info está na KB), Tom inadequado (resposta correta mas no tom errado) ou Resposta inventada (IA "alucionou" uma informação não existente).

Para erros de Informação incorreta: vá à Knowledge Base e corrija ou adicione o conteúdo certo. Verifique também se há conteúdo conflitante que possa ter confundido o agente.

Para Sem resposta adequada: o conteúdo provavelmente está na KB mas está escrito de forma muito diferente da pergunta do cliente. Adicione a variação da pergunta no FAQ correspondente para melhorar o matching semântico.

Para Tom inadequado: revise o System Prompt e adicione instruções mais específicas sobre o comportamento em situações similares. Teste com a função "Simular Conversa" após a alteração.

Adicionando conteúdo baseado em gaps identificados

Os gaps (lacunas) da Knowledge Base são as principais causas de transferências desnecessárias para humanos e de respostas incorretas. Identificá-los e preenchê-los é o processo de "treinamento" mais eficaz disponível.

Toda vez que o agente disser "não encontrei essa informação" ou variacoes ("não tenho detalhes sobre isso"), anote o assunto da pergunta do cliente. Esse é um gap explícito na KB.

Compile uma lista de gaps durante a semana. No final da semana, em sessão de revisão, acesse Conteúdos da IA e adicione FAQs cobrindo cada um dos gaps identificados.

Ao criar o novo FAQ, escreva a pergunta exatamente como o cliente a fez — e também em variações diferentes. Isso maximiza as chances de matching semântico em perguntas futuras similares.

Após adicionar o conteúdo, use a função "Testar KB" para confirmar que o sistema recupera o trecho certo quando você digita a pergunta original que gerou o gap.

Insights IA — analytics de desempenho do agente com tópicos mais perguntados, taxa de resolução e perguntas sem resposta

Usando Insights IA para identificar lacunas

O módulo Insights IA automatiza boa parte do trabalho de identificação de gaps, mostrando padrões em escala que seriam impossíveis de identificar revisando conversas individualmente.

Acesse "Insights IA" no menu lateral. O painel mostra métricas agregadas de desempenho do agente para o período selecionado (última semana, mês ou personalizado).

Analise o gráfico "Tópicos mais perguntados" (ou wordcloud) — as perguntas que mais aparecem são as que o cliente mais precisa de resposta. Verifique se esses tópicos estão bem cobertos na KB.

Verifique a métrica "% de perguntas sem resposta na KB" — esse é o percentual de conversas em que o agente sinalizou falta de informação. Meta ideal: abaixo de 15%. Acima de 30% indica KB muito rala.

Analise o gráfico de "Horário com mais erros" — se há um horário específico com pico de transferências para humano ou de respostas incorretas, pode indicar que um tipo específico de pergunta (que varia por horário) não está coberto.

Acesse a lista de "Perguntas sem resposta adequada" — o Chatys agrupa automaticamente as perguntas que o agente não conseguiu responder. Use essa lista como checklist para adicionar conteúdo à KB.

Frequência de revisão dos Insights: Verifique o Insights IA semanalmente nas primeiras 4 semanas de uso. Depois, uma revisão quinzenal ou mensal é suficiente para um agente maduro com KB bem estabelecida. Sempre revise após grandes mudanças no seu negócio (novos produtos, mudança de política, promoções).

Ciclo de melhoria contínua

O melhor framework para treinar o Agente IA é um ciclo semanal estruturado, especialmente nas primeiras semanas. Veja como organizá-lo:

Semana 1 — Configuração e ativação

Configure o agente com KB inicial (15-20 FAQs das perguntas mais frequentes), System Prompt com identidade e tom, e ative no Modo Diretor IA (aprovação obrigatória). Observe 100% das conversas.

Semana 2 — Revisão intensiva

Revise todas as conversas e Aprovações IA. Identifique os 10 principais gaps da KB. Adicione novo conteúdo cobrindo esses gaps. Ajuste o System Prompt com base em comportamentos inesperados. Ainda em modo Diretor IA.

Semana 3 — Refinamento e expansão

Analise Insights IA para padrões em escala. Adicione mais conteúdo à KB (documentos de produto, políticas completas). Teste categorias de pergunta para ativar resposta automática parcial. Monitore a taxa de resolução automática.

Semana 4 em diante — Operação e melhoria contínua

Avalie se a taxa de resolução está acima de 60%. Se sim, considere migrar para resposta automática com Modo Híbrido. Mantenha revisão semanal de 20 a 30 minutos. Atualização mensal da KB. Revisão trimestral do System Prompt.

Casos de uso — como aplicar no seu negócio

Veja como empresas de diferentes segmentos utilizam esta funcionalidade na prática:

🛍️ E-commerce e lojas online

A gestora revisa 20 conversas por semana e marca quais respostas da IA foram imprecisas. Ao descobrir que a IA não sabia diferenciar "prazo de entrega normal" de "entrega expressa", adicionou um FAQ específico sobre o tema. Em uma semana, o erro desapareceu completamente das conversas.

🏥 Clínicas e profissionais de saúde

O médico chefe revisa as conversas do agente toda sexta-feira. Quando a IA forneceu uma informação imprecisa sobre medicamento, o conteúdo foi corrigido na KB no mesmo dia. Esse processo de melhoria contínua garante segurança para os pacientes e confiança da equipe no sistema.

🏠 Imobiliárias e construtoras

Usando o Insights IA, o gestor descobriu que 40% das perguntas eram sobre financiamento bancário — algo que a KB não cobria. Após adicionar um guia de financiamento como PDF, o gap desapareceu do relatório de perguntas sem resposta na semana seguinte. Os dados guiam o treinamento com precisão.

🍕 Restaurantes e food service

Antes da Black Friday, o e-commerce treina a IA com os produtos em promoção, as condições especiais e as FAQs da campanha. A IA já está "atualizada" antes da data de lançamento. Na Black Friday, resolve 85% das dúvidas sem intervenção humana, suportando o pico de demanda sem contratar reforços.

💼 Serviços, consultoria e SaaS

Times pequenos usam o modo "Aprovações IA" — a IA sugere a resposta e o agente aprova com 1 clique. Em 1 mês, o agente aprova 90% sem editar, o que sinaliza que a IA chegou ao nível de confiança para operar sem supervisão constante. O treinamento acontece naturalmente durante o uso diário.

Melhores práticas:

Reserve 30 minutos toda semana para revisar conversas do agente IA — não pule essa rotina, pois é ela que garante a melhoria contínua da qualidade.
Priorize corrigir os erros que se repetem, não os casos únicos — um erro recorrente impacta dezenas de clientes por semana.
Use os Insights IA para identificar quais tópicos a IA mais erra antes de sair revisando conversas aleatoriamente — trabalhe com dados, não com intuição.

Problemas comuns

IA não melhora mesmo após adicionar conteúdo à KB: Verifique se o novo conteúdo foi indexado corretamente (status "Indexado" na lista da KB). Depois, use "Testar KB" para confirmar que o sistema recupera o trecho certo para a pergunta que estava falhando. Se o conteúdo está indexado mas não é recuperado, tente reescrever o FAQ com a pergunta mais próxima da forma como o cliente perguntou. Também certifique-se de que não há conteúdo conflitante que possa estar sendo preferido pelo sistema.
Insights IA mostra dados zerados ou desatualizados: Verifique se o filtro de período está configurado corretamente. Se o agente foi ativado recentemente, pode ser que ainda não haja dados suficientes para os gráficos serem exibidos (mínimo recomendado: 50 conversas). Também confirme que o Agente IA está de fato respondendo conversas — se todas as conversas estão sendo atendidas por humanos, não haverá dados de IA para analisar.
Aprovação pendente há muito tempo sem notificação chegando ao responsável: Verifique as configurações de notificação em Configurações → Notificações e certifique-se de que as notificações de "Aprovação IA pendente" estão ativas para os agentes responsáveis. Configure também um tempo máximo de espera — por exemplo, se não aprovado em 10 minutos durante o horário comercial, escalar para o gerente. Verifique também se os emails de notificação não estão caindo no spam.
Taxa de resolução automática estagnada mesmo após semanas de ajuste: Se a taxa não passou de 40% após 4 semanas, o problema pode não ser a KB — pode ser o tipo de negócio. Negócios com alta variabilidade de situação (imobiliária, advocacia, saúde com casos complexos) naturalmente têm taxas de resolução automática mais baixas. Considere usar o agente apenas para triagem e qualificação, deixando a resolução para humanos, mas melhorando a velocidade do handoff.

Este artigo foi útil?