Características de los préstamos de prueba: cómo un error afecta miles de dólares en ingresos

Hola Mi nombre es Olga Mikhalchuk, soy ingeniero de control de calidad (ingeniero o probador de garantía de calidad) en la empresa fintech de ID Finance. En esta publicación, le diré qué hace el control de calidad y cómo buscar y corregir errores en las estimaciones de crédito, hasta que generen grandes pérdidas en su empresa.

Un poco sobre mi trabajo: control de calidad o probador

ID Finance es una empresa fintech cuyos proyectos se presentan en siete países. Trabajo para Brasil, un producto de MoneyMan (servicio de préstamos en línea).

Para empezar, me gustaría definir un poco con los términos "ingeniero de garantía de calidad" y "probador", aunque este es un tema para un artículo separado. No hay una sola idea de estos conceptos. En la mayoría de los casos, los evaluadores se denominan expertos que verifican el funcionamiento correcto del sistema después del desarrollo y antes de proporcionar funcionalidad a los usuarios finales. Y QA significa un trabajo más global y más profundo para garantizar la calidad del producto. Esto incluye el estudio de las causas de los defectos que han surgido, su prevención, mantenimiento posterior a la liberación, mejora continua del proceso y mucho más.

De hecho, mi trabajo se ve más o menos así: analizamos y verificamos las tareas que otros departamentos compilaron y desarrollaron por programadores, ingresamos y analizamos errores, escribimos documentación e informes de pruebas, monitoreamos el estado de producción, realizamos demostraciones, etc. También tenemos el concepto de Producción QA Los chicos de nuestro departamento también deberían tener una idea sobre el proceso de desarrollo: todos los días bajamos a la base de datos y al nivel de registro del sistema, miramos el código y la consola, y usamos el sistema para monitorear la carga y el estado del sistema. Debemos comprender los detalles específicos del negocio: esto incluye el análisis de tareas y la comunicación con otros departamentos. Debe conocer las características del trabajo de otros departamentos. Ejemplo: ¿cómo puede probar que las acumulaciones de crédito se llevan a cabo correctamente cuando no comprende esto? Es por eso que continuaré llamando a mi posición QA, es decir, un especialista en garantía de calidad, aunque no me ofenderé si me llaman un probador.

Pruebas de costos de crédito

En nuestra empresa, los cálculos de crédito se refieren a todos los cálculos de parámetros e indicadores de crédito. Este es un cronograma de pagos, la cantidad de capital e intereses, una multa en caso de retraso, devengo de aranceles, impuestos, etc. Un total de más de 100 indicadores en diferentes tablas de bases de datos. Además de los servicios básicos, hay otros adicionales: extensión, reestructuración, renovación. También hay un sistema de descuentos, bonificaciones, varios productos de crédito disponibles para el usuario y muchas otras características.



Los cálculos de crédito son una de las áreas más difíciles que encontré durante mi trabajo en la empresa. En mi opinión, solo una política de crédito tiene un nivel de complejidad (un conjunto de reglas y algoritmos según los cuales se toma una decisión sobre la posibilidad de otorgar un préstamo y qué préstamo podemos otorgar a este usuario).

Características de probar estimaciones de crédito

1. Prepárese para el proceso de prueba por adelantado, idealmente, antes del desarrollo. Analice los requisitos, prepare la documentación de la prueba.
2. Pasamos de los cheques más básicos a los más complejos y combinados: primero verificamos la emisión de un préstamo, los pagos a tiempo, el monto en cantidad, etc. Luego, un poco más los cheques más complejos, como el reembolso anticipado, el retraso, el sobrepago y luego combinaciones de diferentes casos.
3. Verificamos la configuración inicial y el contrato que firma el prestatario.
4. No te olvides de los servicios adicionales (renovación, descuentos, etc.)
5. Entorno de producción: un almacén de casos de prueba. Es una buena idea tomar los casos de "referencia" y comparar los costos con ellos.
6. No se puede permitir el impacto de los cambios en los costos en los clientes existentes.
7. Siempre debe recordar acerca de la regresión después de cualquier cambio.
8. Consideramos si otras tareas de terceros pueden afectar las estimaciones crediticias.

Casos específicos: cómo los errores pueden afectar miles de dólares en ingresos y cómo luchamos con ellos

Comencé a trabajar con estimaciones cuando ya estaban en el lanzamiento durante aproximadamente dos años, por lo que no conocía los muchos encantos del origen de este proceso. Sin embargo, tuve que enfrentar su estabilización y corregir errores. Te contaré sobre los casos que más recuerdo:

Efecto Mariposa en Costeo

Si busca en Google la definición de "efecto mariposa", puede ver: "El efecto mariposa es un término que denota la propiedad de algunos sistemas caóticos: un ligero efecto en el sistema puede tener consecuencias grandes e impredecibles, incluso en un lugar completamente diferente". Creo que esta definición describe perfectamente la situación en las estimaciones crediticias.
Como ejemplo, una vez que solucionamos un error menor: había una pequeña imprecisión en el redondeo de algunos campos. Después de volver a contar todos los préstamos (bueno en el entorno de prueba), resultó que cerca de mil préstamos estaban atrasados, ¡aunque realmente no deberían hacerlo! Entonces, la corrección de ese error insignificante afectó, porque en los cálculos de crédito todos los parámetros están fuertemente entrelazados y se afectan entre sí, a veces en lugares inesperados. Gracias a Dios, esto se notó rápidamente, se reparó y no se permitió a los usuarios finales. El hecho es que enviamos información sobre la demora a la agencia de crédito. Podríamos estropear cientos de historiales crediticios de clientes y nuestra reputación. Y, por supuesto, un error de este tipo provocaría pérdidas de miles de dólares.



No se puede corregir el 100% de los errores.

Como escribí en el primer párrafo, todos los parámetros en los cálculos se influyen mucho entre sí. Debido a esto, durante la corrección en un lugar, muy a menudo algo se rompe en otro. Cuando nos enfrentamos a la reparación de una gran cantidad de errores acumulados, por supuesto, el departamento comercial quería que se corrigieran absolutamente todos los errores. Pero resultó que en un intento de corregir algunos errores sin importancia, crecieron más y más errores, como una bola de nieve. Como dicen, el ideal es enemigo de lo bueno. Por lo tanto, nuestra tarea principal en ese momento era llevar el sistema al estado más estable, con un impacto mínimo de errores en el negocio, y no reparar el 100% de los defectos. Este enfoque resultó ser mucho más productivo que la corrección interminable de más y más errores que se generan entre sí.



Atención a combinaciones no triviales.

La mayoría de los errores ocurren precisamente con combinaciones no triviales de métodos de pago y uso de un préstamo, cuando las ramas del código se confunden entre sí. Por ejemplo: el usuario paga la primera cuota por adelantado, la segunda paga en 5 pasos, toma una extensión en la tercera y luego se retrasa durante varias semanas ... Desafortunadamente, a menudo los errores ya están en el producto. Conclusión: prestamos atención a la combinación de casos y recordamos el sexto punto de la última sección (prod. Miércoles - un almacén de casos de prueba).

¡No toque a los clientes existentes!

Es imposible permitir que cualquier cambio en el monto, plazo o condiciones del préstamo afecte a los clientes existentes que lo tomaron bajo ciertas condiciones. Si esto sucede, traerá muchos problemas al departamento de soporte y a toda la empresa.

Comparación de carteras de préstamos.

Una forma muy efectiva de verificar si las estimaciones de crédito funcionan correctamente si se han realizado cambios es comparar las carteras de préstamos antes y después de los cambios. Esto significa que tenemos una base de préstamos condicionalmente correcta, con estimaciones que cumplen con las expectativas del negocio. Y aplicamos nuevos cálculos de crédito a esta base de datos, y luego, utilizando herramientas especiales y análisis de datos, comparamos algunos indicadores generales de este montón de préstamos, por ejemplo, el número de préstamos vencidos antes y después de los cambios o la cantidad de interés de todos los préstamos. Este método es muy útil tanto en pruebas como en resolución de problemas.

Conclusiones

Los cálculos de crédito son un tema serio y difícil, pero muy interesante y lleno de acertijos. Al trabajar con él, debe ser un pequeño analista de datos, financiero y matemático. Pero incluso una bestia tan peligrosa puede ser domesticada si encuentras un enfoque para ella.

Y puntos simples ayudarán en esto:

• Preparación cuidadosa: requisitos de calidad, documentación comercial y de control de calidad, diseño de prueba cuidadoso;
• Regresión (recuerde el "efecto mariposa");
• El entorno de producción como fuente indispensable de casos de prueba y referencia.