Criterios para llamadas

Auto QA evalúa una llamada a partir de su transcripción, no del audio. Eso tiene consecuencias al escribir criterios: hay cosas que la IA ve muy bien, otras que ve con ruido y otras que no ve. Esta página las recorre y dice cómo instruir en cada caso.

De dónde sale la transcripción

• Si la conexión tiene Transcribir audios, Sniff! transcribe la grabación con marcas de tiempo y separa a los hablantes. El ticket queda listo para evaluar.
• Si tu sistema manda la conversación en texto (comments del ticket, o un bot que entrega sus turnos), se usa esa transcripción tal cual y no se vuelve a transcribir.

La transcripción automática es buena con el contenido y regular con los nombres propios: suele perder el nombre del operador («mi nombre es, de la agencia») y deformar apellidos. Los términos clave que cargás en Flujos › Auto QA ayudan a que reconozca las palabras de tu negocio (nombre de la empresa, productos, «cuota», «convenio»). En los criterios de identificación conviene aceptar la fórmula de presentación aunque falte el nombre.

Hablantes

En la transcripción cada turno es del reviewee o del cliente. Sniff! decide quién es quién con pistas del guion (quién se presenta, quién nombra a la empresa) y, si no hay señal, por el sentido de la llamada (en una entrante atiende el operador y habla primero; en una saliente atiende el cliente). Cuando la grabación tiene un solo canal y la separación es dudosa o directamente no existe, Sniff! lo marca en el ticket y se lo avisa a Auto QA en los metadatos: «distinguí agente y cliente por el contenido». Si una llamada quedó con todos los turnos del mismo lado, la IA lo resuelve leyendo, con más margen de error.

Al escribir checks, hablá siempre de «reviewee» y «cliente», nunca de «el primer hablante».

Buzón de voz

Una llamada que cayó en contestador no es una gestión. Sniff! la detecta en capas: por la gestión registrada en la central (buzón, no atiende), por la transcripción (el cliente no habla, dura menos de dos minutos y aparece una frase de contestador) y, si ninguna decide, con una verificación automática sobre el texto. El ticket recibe el tag buzon y queda Salteado: Auto QA no lo evalúa y en el ciclo del workload cuenta como salteado con el motivo «buzón de voz».

Lo mismo pasa con un ticket donde el reviewee no habla: queda Salteado con el motivo «el reviewee no tiene mensajes en el ticket».

No hace falta escribir instrucciones para el buzón, pero sí para las llamadas cortas que no lo son: «si el cliente corta antes de la negociación, los checks de sondeo y cierre no se exigen».

Lo que la IA no puede ver

Auto QA ve la conversación y los metadatos. No ve:

• El sistema de gestión. Si el saldo que dijo el operador es correcto, si registró la promesa, si tipificó bien. Para «Información correcta» sólo puede detectar contradicciones dentro de la propia llamada (el cliente dice una cuota, el operador otra).
• La tipificación, salvo que llegue como campo. Con una central telefónica conectada, Sniff! cruza la llamada con la gestión registrada y la pasa como «tipificación registrada» (evento, estado final y comentario). Con otras fuentes, llega sólo si viene en los campos del ticket y los elegiste en Campos del ticket a mostrar.
• Lo que pasó después: si el cliente pagó, si se escaló el caso por un canal interno, si se mandó el comprobante.
• El audio en sí: tono, volumen, silencios largos, música de espera. La transcripción trae las palabras y los tiempos; una espera anunciada («aguárdeme un momento») se ve, un suspiro no.

Cómo instruir sobre lo que no se ve

La regla que mejor funciona: «cumple salvo evidencia en contra». Para un criterio que depende del sistema, escribí qué evidencia dentro de la llamada o de los metadatos lo haría fallar, y que en ausencia de esa evidencia se califica cumple. Ejemplo para «Tipificación correcta»:

Checks:
- Si los metadatos traen «tipificación registrada», el evento y el estado final son coherentes con lo que pasó en la llamada (una promesa de pago registrada como promesa; un «no contesta» no corresponde a una conversación con el titular).
- Si no hay tipificación en los metadatos, el criterio se califica cumple: no hay forma de verificarlo desde la conversación.

Metodología de puntaje:
- Cumple: coherente, o sin información para verificar.
- No cumple: la tipificación registrada contradice lo que se escucha en la llamada.

Para los críticos vale el doble: la IA marca no cumple sólo con evidencia explícita, y ante la duda, cumple. Si además reprueba un crítico sin estar segura, la evaluación no se anula: el criterio queda en cumple con la marca Para revisar, que ven los evaluadores en Evaluaciones › Completadas por Auto QA para mirarlo a mano (ver Resultados de Auto QA).

Lo que la IA ve mejor que una persona apurada

Toda la llamada, sin saltearse tramos: si el operador preguntó alguna vez cómo y cuándo va a pagar el cliente, si repitió fecha y monto antes de despedirse, si hubo una contrapropuesta después de la primera negativa, cuántas veces interrumpió. Los criterios que se apoyan en esos hechos (sondeo, negociación, cierre, mención de consecuencias o beneficios) son los que mejor acuerdo dan con los evaluadores humanos. Los que dependen de una impresión («dominio de la llamada», «empatía») necesitan checks negativos concretos: «no hay más de una pregunta del cliente sin respuesta», «el reviewee no corta al cliente a mitad de una frase».

Los criterios no se saltean

Los evaluadores humanos de cobranza casi nunca marcan no aplica: cuando el criterio no es exigible, ponen cumple. Si querés que el puntaje de Auto QA sea comparable con el de tus evaluadores, dejá ¿Permitir que el criterio se saltee? inactivo y describí las excepciones en «Cuándo no aplica». Ver Cómo se puntúa.