Monitoreo de la calificación crediticia en Power BI

En condiciones en las que la mayoría de las solicitudes de préstamos se consideran automáticamente, el monitoreo se vuelve especialmente importante. ¿Funciona todo de la manera habitual, cómo cambian los indicadores clave, qué cambios deben hacerse para lograr el resultado deseado?

En este artículo, le contaré cómo supervisamos la cartera de crédito mediante Power BI, qué informes y métricas que utilizamos para evaluar la calidad de la emisión.

Indicadores intradía clave

* aquí y en todos los cuadros, las cifras inventadas se darán a continuación

El tablero de instrumentos se actualiza cada 2 horas, compara los indicadores de hoy en el momento de la actualización con los indicadores en promedio durante los últimos 20 días al mismo tiempo.

El borde inferior es del 10% cuantil en términos de los últimos 20 días, el borde superior es del 90% cuantil, la línea gris es la mediana. Relleno de color es el resultado de hoy.

Indicadores en el tablero de instrumentos:

• Numero de aplicaciones
• Cola (número de solicitudes para las que no se tomó ninguna decisión en ese momento)
• Nivel de aprobación
• Cantidad promedio
• Nivel de desembolsos (relación entre el número de préstamos emitidos y las solicitudes aprobadas)

Según este panel de control, se configuran alertas que se envían a los empleados responsables por correo. Esta es una herramienta útil para el análisis operativo diario. Es especialmente útil verlo el día después de que se realicen cambios importantes.

Solicitar enrutamiento

En los préstamos en línea, el principal factor de toma de decisiones es la velocidad. El cliente puede dejar una solicitud en varios sitios, y el acuerdo irá a quien tome la decisión más rápido. La automatización de la toma de decisiones le permite considerar las aplicaciones rápidamente y no tener miedo a los saltos repentinos en el tráfico.

Puede ir más allá y ver la ruta con más detalle. Por ejemplo, dependiendo de la información disponible sobre el prestatario, la solicitud puede enviarse a un modelo específico. Esto es conveniente cuando hay muchos modelos, y quiero entender rápidamente cuál de ellos funciona en qué segmento de tráfico, cuántas solicitudes procesa.

Calidad de emisión

Uno de los indicadores más populares para evaluar la calidad de los resultados es la tasa de recuperación. Se calcula como la relación entre el flujo de caja entrante y el flujo de caja saliente para una cohorte particular. Por lo general, la tasa de recuperación se analiza por generaciones: análisis vintage. Observamos cómo la métrica de cada cosecha cambia con el tiempo.

Esta vista tiene varias ventajas:

• No solo el resultado de hoy es visible, sino también la dinámica
• Puede mentalmente o con la ayuda de la regresión extender la línea a un cierto período y con alta precisión ver el valor esperado del indicador
• Puede comprender visualmente qué dispersión tiene el indicador y sacar conclusiones más equilibradas.

Las cosechas pueden ser no solo meses, sino también tipos de toma de decisiones o modelos de puntuación. Es incorrecto usar el indicador de tasa de recuperación para evaluar el sistema de toma de decisiones en caso de cambios en los productos que afectan fuertemente la rentabilidad.

Comparación de modelos de puntuación

En el caso de que la decisión tenga una forma binaria: aprobar / rechazar, la calidad de la emisión se caracteriza por dos indicadores: el nivel de aprobación y la demora. Puede verlos en diferentes secciones: por tiempo, por tipo de toma de decisiones o por modelos de puntuación. Por ejemplo, el nivel de aprobación y retraso en los modelos de puntuación se ve así:

* podemos concluir que de estos tres modelos, el "Modelo 2.1" se ve mejor. Tiene los atrasos más bajos con un alto nivel de aprobación. En la práctica, sucede que dicha elección es más difícil de hacer, además de la importancia estadística de los resultados obtenidos debe tenerse en cuenta.

Ingresos de solicitud

Se vuelve más difícil cuando la decisión es no aprobar / rechazar, pero x (límite basado en el riesgo) rublos se aprueba a la tasa de interés r (fijación de precios basada en el riesgo). En tales circunstancias, es fácil imaginar una situación en la que aumenta el retraso, disminuye el nivel de aprobación por partes, mientras que aumenta el beneficio.

La calidad de la emisión ya está evaluada por 4 indicadores: nivel de aprobación, demora, monto promedio desembolsado y porcentaje promedio ponderado. Si tenemos una prueba A / B de varios modelos de puntuación, se vuelve bastante difícil compararlos con 4 indicadores.

Tuve que introducir una nueva métrica, que incluye los 4 factores y los expresa con un número: el ingreso de la aplicación, que se calcula de la siguiente manera:

Ingresos de la aplicación = (cantidad de pagos - cantidad de emisión) / número de solicitudes


Ahora echemos un vistazo a los modelos anteriores para los ingresos de la aplicación:

Los modelos 2.0 y 2.1 utilizan los mismos puntajes de diferentes maneras desde el punto de vista de determinar el límite de crédito y la elección de las condiciones de crédito. Y de acuerdo con el indicador integral, el "Modelo 2.0" ya parece preferible.

Los ingresos de la aplicación son una herramienta universal y muy conveniente. Pero hay varios puntos a considerar: el indicador puede ser inestable con los cambios en el tráfico, también tiene un período de maduración bastante largo, es decir, es adecuado para préstamos pdl o préstamos de consumo cortos.

Monitoreo de modelo

En los préstamos, siempre hay un lapso de tiempo entre el momento de la emisión y la retroalimentación. Incluso si toma el indicador FPD 7+, son 40 días. En una situación en la que todo está cambiando rápidamente (nuevos productos, nuevos modelos de puntaje, fuentes de información, cambios en la política crediticia), quiero recibir el primer comentario no en 40 días, sino más rápido, preferiblemente todo el día.

Nuestro monitoreo se basa en la siguiente idea: un producto complejo y a menudo cambiante puede en algún momento "descomponerse", comenzar a cometer errores sistemáticos en grandes cantidades, una persona es más estable a este respecto. Para probar los modelos, parte del tráfico se envía aleatoriamente al suscriptor.

Después de eso, puede comparar las decisiones que tomó el modelo con las decisiones del asegurador. Una gran cantidad de desviaciones es una ocasión para comprender urgentemente el problema y tomar medidas. Puede usar cualquier puntaje de calidad de clasificación que sea apropiado para las condiciones, por ejemplo, puntaje F1.

Se puede ver que el puntaje de F1 para un modelo se hundió fuertemente en cierto punto. Esto se debió a cambios en el cuestionario. Dashboard hizo posible ver oportunamente tal cambio y reaccionar ante él.

La distribución de las solicitudes según los puntajes del modelo brinda mucha información sobre la sostenibilidad. No debe diferir mucho de la distribución en la red de validación ni cambiar con el tiempo.

Para seleccionar el nivel de aprobación y su ajuste, es conveniente mostrar el retraso anotando puntos. Puede cambiar el umbral de aprobación según la disposición de la empresa a asumir riesgos.

En conclusión

En el artículo mostré solo una parte de los paneles, en la práctica hay más de ellos. Ahora el 80-90% de las preguntas se pueden responder sin escribir el código. Las empresas y los analistas pueden generar hipótesis más interesantes y probar algunas de sus ideas por su cuenta.

Los efectos que se pueden ver en los paneles están lejos de ser siempre estadísticamente significativos. Debe tener esto en cuenta y realizar una investigación importante al tomar decisiones importantes.