Em 2008, o BigData foi um novo termo e tendência da moda. Em 2019, o BigData é um objeto de venda, uma fonte de lucro e uma ocasião para novas contas.
No outono passado, o governo russo iniciou um projeto de lei para regular o big data. É proibido identificar pessoas de acordo com as informações, mas é permitido fazê-lo a pedido das autoridades federais. Processando BigData para terceiros - somente após notificação de Roskomnadzor. As empresas que possuem mais de 100 mil endereços de rede estão sujeitas à lei. E, é claro, onde sem registros - é suposto criar um com uma lista de operadores de banco de dados. E se antes esse BigData não era levado a sério por todos, agora ele deve ser considerado.
Não posso ignorar o banco de dados e eu, como diretor de uma empresa desenvolvedora de cobrança que processa esse mesmo BigData. Pensarei em big data através do prisma de operadoras de telecomunicações, através de cujos sistemas de cobrança fluxos diários de informações sobre milhares de assinantes.
O teorema
Vamos começar, como no problema de matemática: primeiro, provamos que os dados dos operadores de comunicação podem ser chamados de BigDat. Dados geralmente grandes são caracterizados por três sinais de VVV, embora em interpretações livres o número de "V" tenha atingido sete.
Volume Somente o MVNO da Rostelecom atende a mais de um milhão de assinantes. Os principais operadores de host processam dados de 44 a 78 milhões de pessoas. O tráfego está crescendo a cada segundo: no primeiro trimestre de 2019, os assinantes já receberam 3,3 bilhões de GB de telefones celulares.
Velocity Ninguém pode dizer melhor a dinâmica do que as estatísticas, por isso analisarei as previsões da Cisco. Até 2021, 20% do tráfego IP irá para o tráfego móvel - crescerá quase três vezes em cinco anos. Um terço das conexões móveis estará no M2M - o desenvolvimento da IoT levará a um aumento de seis vezes nas conexões. A Internet das coisas se tornará não apenas lucrativa, mas também consumidora de recursos; portanto, algumas operadoras se concentrarão apenas nela. E aqueles que desenvolvem a IoT como um serviço separado receberão tráfego em dobro.
Variedade Diversidade é um conceito subjetivo, mas as operadoras de telecomunicações realmente sabem quase tudo sobre seus assinantes. Do nome e dados do passaporte ao modelo do telefone, compras, locais visitados e interesses. Os arquivos de mídia sob a lei da Spring são armazenados por seis meses. Então, tomemos como axioma que os dados coletados sejam diversos.
Software e Metodologia
Os fornecedores são um dos principais consumidores do BigData; portanto, a maioria das técnicas de análise de big data é aplicável ao setor de telecomunicações. Outra pergunta é quem está disposto a investir no desenvolvimento de ML, AI, Deep Learning, investir em data centers e mineração de dados. O trabalho completo com o banco de dados consiste na infraestrutura e na equipe, cujos custos nem todos podem pagar. Apostar no BigData custa às empresas que já possuem um repositório corporativo ou estão desenvolvendo a metodologia de Governança de Dados. Para aqueles que não estão prontos para investimentos de longo prazo, aconselho a construir gradualmente a arquitetura do software e colocar componentes por vez. Módulos pesados e Hadoop podem ser deixados no final. Poucas pessoas compram uma solução pronta para tarefas como Data Quality e Data Mining, principalmente as empresas que adaptam o sistema às suas especificidades e necessidades - elas próprias ou com a ajuda de desenvolvedores.
Mas nem todo faturamento pode ser modificado para funcionar com o BigData. Pelo contrário, nem todos podem modificar. Poucos podem fazer isso.
Três sinais de que um sistema de cobrança tem a chance de se tornar uma ferramenta de processamento de banco de dados:
- Escalabilidade horizontal. O software deve ser flexível - estamos falando de big data. Um aumento na quantidade de informações deve ser tratado com um aumento proporcional no ferro no cluster.
- Tolerância a falhas. Sistemas pré-pagos sérios geralmente são tolerantes a falhas por padrão: o faturamento é implantado em um cluster em várias localizações geográficas, para que eles se segurem automaticamente. Os computadores no cluster do Hadoop também devem ser suficientes caso um ou mais deles quebre.
- Localidade. Os dados devem ser armazenados e processados no mesmo servidor, caso contrário, você poderá interromper a transferência de dados. Um dos esquemas populares de abordagem Map-Reduce: lojas HDFS, processos Spark. Idealmente, o software deve integrar-se perfeitamente à infraestrutura do data center e ser capaz de executar três em um: coletar, organizar e analisar informações.
A equipe
O que, como e com que finalidade o programa processará big data - a equipe decide. Muitas vezes, consiste em uma pessoa - um cientista de dados. Embora, na minha opinião, o pacote mínimo de funcionários para o BigData inclua um gerente de produtos, engenheiro de dados e um gerente. O primeiro entende os serviços, traduz uma linguagem técnica para humanos e vice-versa. O Data Engineer dá vida a modelos usando Java / Scala e experimentando o Machine Learning. O líder coordena, estabelece metas, controla os estágios.
Os problemas
É precisamente da equipe da BigData que os problemas geralmente surgem ao coletar e processar dados. O programa precisa explicar o que coletar e como processá-lo - para explicar isso, primeiro você precisa entender. E os provedores não são tão simples. Estou falando de problemas usando o exemplo da tarefa de reduzir a rotatividade de assinantes - são precisamente os operadores de telecomunicações que estão tentando resolver usando o BigData em primeiro lugar.
Declaração de tarefas. TK corretamente escrito e uma compreensão diferente dos termos são uma dor de séculos, não apenas para freelancers. Até os assinantes "caídos" podem ser interpretados de maneiras diferentes - como não usar os serviços da operadora por um mês, seis meses ou um ano. E para criar MVP com dados históricos, você precisa entender a frequência de assinantes retornando da saída - aqueles que tentaram a comunicação de outras operadoras ou deixaram a cidade e usaram um número diferente. Outra questão importante: quanto tempo antes da partida esperada do assinante o provedor deve determinar isso e agir? Por meio ano - cedo, por uma semana - é tarde demais.
Substituição de conceitos. Normalmente, as operadoras identificam o cliente pelo número de telefone; portanto, é lógico que os sinais precisem ser descarregados nele. Que tal uma conta pessoal ou número de aplicativo de serviço? É necessário decidir qual unidade deve ser levada para o cliente para que os dados no sistema do operador não sejam diferentes. A avaliação do valor do cliente também está em questão - qual assinante é mais valioso para a empresa, reter quais usuários são necessários mais esforços e quais "caem" em qualquer caso, e não há sentido em desperdiçar recursos com eles.
Falta de informação. Nem todos os funcionários do fornecedor são capazes de explicar à equipe BigData o que exatamente afeta a saída de assinantes e como os possíveis fatores no faturamento são considerados. Mesmo que você tenha nomeado um deles - ARPU -, é possível calculá-lo de diferentes maneiras: por pagamentos periódicos do cliente ou por cobrança automática de cobrança. E no processo de trabalho, surgem um milhão de outras questões. Se todos os clientes são cobertos pelo modelo, qual é o preço para retenção de clientes, faz sentido pensar em modelos alternativos e o que fazer com os clientes que foram mantidos artificialmente por engano.
Estabelecimento de metas. Conheço três tipos de erros relacionados a resultados que deixam os operadores desapontados no banco de dados.
- O provedor investe no BigData, processa gigabytes de informações, mas recebe um resultado que pode ser obtido ainda mais barato. Esquemas e modelos simples, análises primitivas são usadas. O custo é muitas vezes maior, mas o resultado é o mesmo.
- O operador recebe dados multifacetados na saída, mas não entende como usá-los. Há análises - aqui está, compreensível e volumoso, e o sentido é zero. O resultado final, que não pode consistir no objetivo "processar dados", não foi pensado. Para processar um pouco, a análise deve se tornar a base para a atualização dos processos de negócios.
- Os obstáculos ao uso da análise do BigData podem ser processos de negócios desatualizados e software inadequado para novos propósitos. Então, eles erraram na fase de preparação - não pensaram no algoritmo das ações e nas etapas de introdução do BigData no trabalho.
Porque
Falando dos resultados. Analisarei os métodos de uso e monetização do BigData, que já são usados pelas operadoras de telecomunicações.
Os fornecedores preveem não apenas a saída de assinantes, mas também a carga nas estações base.
- As informações sobre a movimentação de assinantes, serviços de atividade e frequência são analisadas. Resultado: sobrecarga reduzida devido à otimização e modernização de seções problemáticas da infraestrutura.
- As informações sobre a geolocalização e a densidade de fluxo dos assinantes são usadas pelas operadoras de telecomunicações ao abrir pontos de venda. Portanto, a análise do BigData já é usada pela MTS e pela Vimpelcom para planejar a localização de novos escritórios.
- Os provedores monetizam seu próprio big data oferecendo-o a terceiros. Os principais clientes das operadoras BigData são bancos comerciais. Usando o banco de dados, eles rastreiam a atividade suspeita do cartão SIM do assinante, ao qual os cartões estão conectados, usam os serviços de pontuação, verificação e monitoramento de riscos. E em 2017, de acordo com a BigData, o governo de Moscou solicitou à Tele2 a dinâmica do movimento para o planejamento da infraestrutura técnica e de transporte.
- A análise da BigData é uma mina de ouro para profissionais de marketing que podem criar campanhas de publicidade personalizadas para milhares de grupos de assinantes, se quiserem. As empresas de telecomunicações agregam perfis sociais, interesses do consumidor e padrões comportamentais de assinantes e, em seguida, usam o BigData coletado para atrair novos clientes. Porém, para o planejamento em larga escala de promoção e relações públicas, o faturamento nem sempre tem funcionalidade suficiente: o programa deve levar em consideração simultaneamente vários fatores em paralelo com informações detalhadas sobre os clientes.
Enquanto alguém ainda considera BigData uma frase vazia, os Big Four já estão ganhando dinheiro com isso. Por seis meses, a MTS ganha 14 bilhões de rublos no processamento de big data, enquanto a Tele2 aumentou sua receita de projeto em três vezes e meia. O BigData está passando de uma tendência para um must have, sob o qual toda a estrutura das operadoras de telecomunicações será reconstruída.