Monitorando a pontuação de crédito no Power BI

Nas condições em que a maioria dos pedidos de empréstimo é considerada automaticamente, o monitoramento se torna especialmente importante. Tudo funciona como de costume, como os principais indicadores mudam, que mudanças precisam ser feitas para alcançar o resultado desejado?

No artigo, mostrarei como monitoramos o pipeline de crédito usando o Power BI, quais relatórios e métricas usamos para avaliar a qualidade da emissão.

Principais indicadores intradiários

* aqui e em todos os gráficos, os valores inventados serão apresentados abaixo

O painel é atualizado a cada 2 horas; ele compara os indicadores de hoje no momento da atualização com os indicadores em média nos últimos 20 dias ao mesmo tempo.

A borda inferior é 10% quantil em termos dos últimos 20 dias, a borda superior é 90% quantil, a linha cinza é a mediana. Preencher com cores é o resultado de hoje.

Indicadores no painel:

• Número de aplicações
• Fila (número de aplicativos para os quais nenhuma decisão foi tomada no momento)
• Nível de aprovação
• Montante médio
• Nível de desembolsos (razão entre o número de empréstimos concedidos e os pedidos aprovados)

Com base nesse painel, os alertas são configurados para os funcionários responsáveis ​​pelo correio. Essa é uma ferramenta útil para análises operacionais diárias. É especialmente útil assisti-lo no dia seguinte às grandes alterações.

Solicitar roteamento

Nos empréstimos on-line, o principal fator de tomada de decisão é a velocidade. O cliente pode deixar uma solicitação em vários sites e o acordo será direcionado para quem tomar a decisão mais rapidamente. A automação da tomada de decisão permite que você considere os aplicativos rapidamente e não tenha medo de saltos repentinos no tráfego.

Você pode ir além e ver o roteiro com mais detalhes. Por exemplo, dependendo das informações disponíveis sobre o mutuário, o aplicativo pode ser enviado para um modelo específico. Isso é conveniente quando existem muitos modelos e quero entender rapidamente qual deles funciona em qual segmento de tráfego, quantas solicitações ele processa.

Qualidade da questão

Um dos indicadores mais populares para avaliar a qualidade dos resultados é a taxa de recuperação. É calculado como a razão entre o fluxo de caixa recebido e o fluxo de caixa enviado para uma determinada coorte. Geralmente, a taxa de recuperação é analisada por gerações - análise vintage. Observamos como a métrica de cada safra muda com o tempo.

Essa visão tem várias vantagens:

• Não apenas o resultado de hoje é visível, mas também a dinâmica
• Você pode mentalmente ou com a ajuda da regressão estender a linha para um determinado período e, com alta precisão, ver o valor esperado do indicador
• Você pode entender visualmente qual dispersão o indicador possui e tirar conclusões mais equilibradas.

As safras podem durar não apenas meses, mas também tipos de modelos de tomada de decisão ou pontuação. É incorreto usar o indicador de taxa de recuperação para avaliar o sistema de tomada de decisão em caso de alterações nos produtos que afetam fortemente a lucratividade.

Comparação de modelos de pontuação

No caso em que a decisão tem uma forma binária: aprovar / recusar, a qualidade da emissão é caracterizada por dois indicadores: o nível de aprovação e o atraso. Você pode vê-los em diferentes seções: por tempo, por tipo de tomada de decisão ou por modelos de pontuação. Por exemplo, o nível de aprovação e atraso nos modelos de pontuação é assim:

* Podemos concluir que, desses três modelos, o "Modelo 2.1" parece melhor. Possui os menores atrasados ​​com alto nível de aprovação. Na prática, acontece que fazer essa escolha é mais difícil, mais a significância estatística dos resultados obtidos deve ser levada em consideração.

Receita do aplicativo

Torna-se mais difícil quando a decisão não é aprovar / recusar, mas x rublos (limite baseado no risco) são aprovados à taxa de juros r (preço baseado no risco). Em tais circunstâncias, é fácil imaginar uma situação em que o atraso aumenta, o nível de aprovação em peças diminui, enquanto o lucro aumenta.

A qualidade da emissão já é avaliada por 4 indicadores: nível de aprovação, atraso, valor médio desembolsado e% médio ponderado da taxa. Se tivermos um teste A / B de vários modelos de pontuação, torna-se bastante difícil compará-los por 4 indicadores.

Eu tive que introduzir uma nova métrica, que inclui todos os quatro fatores e os expressa com um número - a receita do aplicativo, calculada da seguinte maneira:

Receitas da aplicação = (montante dos pagamentos - montante da emissão) / número de pedidos


Agora, vejamos os modelos acima para a receita do aplicativo:

Os modelos 2.0 e 2.1 usam as mesmas pontuações de maneiras diferentes do ponto de vista da determinação do limite de crédito e da escolha das condições de crédito. E de acordo com o indicador abrangente, o "Modelo 2.0" já parece preferível.

A receita do aplicativo é uma ferramenta universal e muito conveniente. Mas há vários pontos a considerar: o indicador pode ser instável com mudanças no tráfego, também possui um período de amadurecimento bastante longo, ou seja, é adequado para empréstimos pdl ou empréstimos curtos ao consumidor.

Monitoramento de modelo

Nos empréstimos, há sempre um intervalo de tempo entre o momento da emissão e o feedback. Mesmo se você usar o indicador FPD 7+, são 40 dias. Em uma situação em que tudo está mudando rapidamente (novos produtos, novos modelos de pontuação, fontes de informação, mudanças na política de crédito), desejo receber o primeiro feedback não em 40 dias, mas mais rápido, de preferência o dia todo.

Nosso monitoramento baseia-se na seguinte idéia: um produto complexo e muitas vezes alterado pode, em algum momento, "quebrar", começar a cometer erros sistemáticos em grandes números, uma pessoa é mais estável nesse sentido. Para testar os modelos, parte do tráfego é enviada aleatoriamente ao subscritor.

Depois disso, você pode comparar as decisões que o modelo tomou com as decisões do subscritor. Um grande número de desvios é uma ocasião para entender urgentemente o problema e agir. Você pode usar qualquer índice de qualidade de classificação apropriado para as condições, por exemplo, pontuação F1.

Pode-se observar que o escore F1 de um modelo caiu fortemente em um determinado ponto. Isso ocorreu devido a alterações no questionário. O painel tornou possível ver oportuna essa alteração e reagir a ela.

A distribuição de aplicativos pelas pontuações do modelo fornece muitas informações sobre sustentabilidade. Não deve diferir muito da distribuição na rede de validação ou mudar com o tempo.

Para selecionar o nível de aprovação e seu ajuste, é conveniente exibir o atraso por pontos de pontuação. Você pode alterar o limite de aprovação, dependendo da disposição da empresa em assumir riscos.

Em conclusão

No artigo, mostrei apenas parte dos painéis, na prática há mais deles. Agora, 80-90% das perguntas podem ser respondidas sem escrever código. Empresas e analistas podem gerar hipóteses mais interessantes e testar algumas de suas idéias por conta própria.

Os efeitos que podem ser vistos nos painéis estão longe de ser sempre estatisticamente significativos. Você precisa ter isso em mente e fazer pesquisas importantes ao tomar decisões importantes.