O dashboard está organizado em três abas principais:
- Desempenho do Bot: permite analisar o volume de interações, os caminhos de resposta do assistente e as principais métricas de retenção, respostas evasivas, transferências e desempenho do RAG.
- Conhecimento GenAI: permite avaliar o uso da base de conhecimento, identificar a porcentagem de interações respondidas e detectar oportunidades de melhoria nos documentos, nas intenções e na qualidade das respostas.
- Conversas: permite analisar as sessões por categoria, intenção, canal e status de resolução, além de revisar conversas individuais e seus detalhes.
Tip: para ter uma visão completa do desempenho do Assistente, siga este fluxo:1) Comece em Desempenho do Bot para identificar o volume de interações, como elas se distribuem de acordo com o caminho de resposta e quais são as principais tendências.
2) Continue em Conhecimento GenAI para identificar os documentos e as intenções envolvidos, analisar as respostas não respondidas e detectar os tipos de problemas mais frequentes.
3) Finalize em Conversas para revisar casos específicos, entender o que aconteceu, analisar o status de resolução e definir ações de melhoria.
Como relacionar as principais métricas?É importante não interpretar nenhuma métrica de forma isolada. Estas são algumas relações importantes para analisar os dados do dashboard:
- Sentimento não é o mesmo que resolução: o sentimento descreve como o usuário se expressou, não se sua necessidade foi resolvida. Um usuário insatisfeito pode ter sua necessidade resolvida, enquanto um usuário cordial pode ficar sem resposta.
- Qualidade da resposta não é o mesmo que resolução: a qualidade da resposta avalia a resposta da IA, enquanto o status de resolução indica se a necessidade do usuário foi atendida. Uma resposta incompleta pode ser seguida de uma transferência para um agente que resolva a necessidade.
- Transferência não significa necessariamente uma falha: há processos em que a transferência para um agente é esperada. Para interpretar a taxa de transferência, é recomendável analisá-la junto com a qualidade da resposta e as respostas evasivas.
- Respostas evasivas + atrito conversacional + respostas deficientes: essas métricas permitem identificar oportunidades de melhoria sob diferentes perspectivas. As respostas evasivas indicam que o assistente não conseguiu responder adequadamente; o atrito reflete situações em que o usuário precisou reformular sua pergunta ou repetir informações; e as respostas deficientes apontam problemas na qualidade da resposta. Por exemplo, se um mesmo documento ou uma mesma intenção apresenta muitas respostas evasivas, alto atrito conversacional e uma porcentagem elevada de respostas deficientes, é recomendável priorizar sua revisão.
- Categoria não identificada e intenção não identificada: as consultas que não podem ser atribuídas a uma categoria ou intenção configurada podem ajudar a descobrir novas necessidades dos usuários e identificar oportunidades para criar ou ajustar intenções.
Aprenda o significado de cada métrica e gráfico do dashboard de GenAI no tutorial a seguir.