En 2008, BigData était une nouvelle tendance de terme et de mode. En 2019, BigData est un objet de vente, une source de profit et une occasion de nouvelles factures.
L'automne dernier, le gouvernement russe a déposé un projet de loi pour réglementer les mégadonnées. Il est interdit d'identifier des personnes en fonction des informations, mais il est autorisé à le faire à la demande des autorités fédérales. Traitement de BigData pour des tiers - uniquement après notification de Roskomnadzor. Les entreprises qui ont plus de 100 000 adresses réseau sont soumises à la loi. Et, bien sûr, où sans registres - il est censé en créer un avec une liste d'opérateurs de base de données. Et si avant, ce BigData n'était pas pris au sérieux par tout le monde, il faudra maintenant le prendre en compte.
Je ne peux pas ignorer la base de données et moi, en tant que directeur d'une société de développement de facturation qui traite ce même BigData. Je penserai au big data à travers le prisme des opérateurs télécoms, à travers les systèmes de facturation desquels circulent quotidiennement des informations sur des milliers d'abonnés.
Le théorème
Commençons, comme dans le problème mathématique: tout d'abord, nous prouvons que les données des opérateurs de communication peuvent être appelées BigDat. Les données généralement volumineuses sont caractérisées par trois signes de VVV, bien que dans les interprétations libres, le nombre de «V» atteigne sept.
Le volume Le MVNO de Rostelecom dessert à lui seul plus d'un million d'abonnés. Les principaux opérateurs hôtes traitent les données de 44 à 78 millions de personnes. Le trafic augmente chaque seconde: pour le premier trimestre 2019, les abonnés ont déjà reçu 3,3 milliards de Go de téléphones portables.
Vitesse Personne ne peut mieux dire la dynamique que les statistiques. Je vais donc parcourir les prévisions Cisco. D'ici 2021, 20% du trafic IP ira au trafic mobile - il augmentera presque trois fois en cinq ans. Un tiers des connexions mobiles seront sur M2M - le développement de l'IoT entraînera une multiplication par six des connexions. L'Internet des objets deviendra non seulement rentable, mais aussi consommateur de ressources, de sorte que certains opérateurs ne se concentreront que sur lui. Et ceux qui développent l'IoT en tant que service distinct recevront un double trafic.
Variété La diversité est un concept subjectif, mais les opérateurs de télécommunications savent vraiment presque tout sur leurs abonnés. Du nom et des données de passeport au modèle de téléphone, aux achats, aux lieux visités et aux intérêts. Les fichiers multimédias en vertu de la loi du printemps sont stockés pendant six mois. Prenons donc comme un axiome que les données collectées sont diverses.
Logiciel et méthodologie
Les fournisseurs sont l'un des principaux consommateurs de BigData, de sorte que la plupart des techniques d'analyse des mégadonnées s'appliquent à l'industrie des télécommunications. Une autre question est de savoir qui est prêt à investir dans le développement du ML, de l'IA, du Deep Learning, d'investir dans les centres de données et l'exploration de données. Le travail à part entière avec la base de données comprend l'infrastructure et l'équipe, dont tout le monde ne peut se permettre les coûts. Les paris sur BigData coûtent aux entreprises qui ont déjà un référentiel d'entreprise ou qui développent la méthodologie de gouvernance des données. Pour ceux qui ne sont pas prêts pour des investissements à long terme, je vous conseille de monter progressivement l'architecture logicielle et de mettre les composants à tour de rôle. Les modules lourds et Hadoop peuvent être laissés à la fin. Peu de gens achètent une solution prête à l'emploi pour des tâches telles que la qualité des données et l'exploration de données, principalement les entreprises adaptent le système à leurs spécificités et besoins - soit elles-mêmes, soit avec l'aide de développeurs.
Mais toutes les factures ne peuvent pas être modifiées pour fonctionner avec BigData. Au contraire, non seulement tout le monde peut modifier. Peu peuvent le faire.
Trois signes qu'un système de facturation a une chance de devenir un outil de traitement de base de données:
- Évolutivité horizontale. Le logiciel doit être flexible - nous parlons de big data. Une augmentation de la quantité d'informations doit être traitée avec une augmentation proportionnelle du «fer» dans le cluster.
- Tolérance aux pannes. Les systèmes prépayés sérieux sont généralement tolérants aux pannes par défaut: la facturation est déployée dans un cluster dans plusieurs géolocalisations, de sorte qu'ils s'assurent automatiquement les uns les autres. Les ordinateurs du cluster Hadoop devraient également suffire en cas de panne d'un ou de plusieurs d'entre eux.
- Localité. Les données doivent être stockées et traitées sur le même serveur, sinon vous pouvez faire faillite lors du transfert de données. L'un des schémas d'approche Map-Reduce populaires: magasins HDFS, processus Spark. Idéalement, le logiciel devrait s'intégrer de manière transparente dans l'infrastructure du centre de données et être capable de faire trois en un: collecter, organiser et analyser les informations.
L'équipe
Quoi, comment et dans quel but le programme traitera les mégadonnées - l'équipe décide. Il se compose souvent d'une seule personne - un data scientist. Bien que, à mon avis, le package minimum d'employés pour BigData comprend un chef de produit, un ingénieur de données et un responsable. Le premier comprend les services, traduit un langage technique en humain et vice versa. Data Engineer donne vie aux modèles en utilisant Java / Scala et en expérimentant avec Machine Learning. Le leader coordonne, fixe les objectifs, contrôle les étapes.
Les problèmes
C'est précisément de la part de l'équipe BigData que des problèmes surviennent généralement lors de la collecte et du traitement des données. Le programme doit expliquer ce qu'il faut collecter et comment le traiter - pour l'expliquer, vous devez d'abord le comprendre vous-même. Et les prestataires ne sont pas si simples. Je parle de problèmes en utilisant l'exemple de la tâche pour réduire le taux de désabonnement des abonnés - ce sont précisément ses opérateurs de télécommunications qui essaient de résoudre en utilisant BigData en premier lieu.
Énoncé des tâches. Des savoirs traditionnels correctement écrits et une compréhension différente des termes sont une douleur vieille de plusieurs siècles non seulement pour les pigistes. Même les abonnés «tombés» peuvent être interprétés de différentes manières - comme n'utilisant pas les services de l'opérateur pendant un mois, six mois ou un an. Et pour créer un MVP sur des données historiques, vous devez comprendre la fréquence des abonnés qui reviennent du flux sortant - ceux qui ont essayé de communiquer avec d'autres opérateurs ou ont quitté la ville et ont utilisé un numéro différent. Autre question importante: combien de temps avant le départ prévu de l'abonné le fournisseur doit-il le déterminer et prendre des mesures? Pendant six mois - tôt, pendant une semaine - c'est trop tard.
Substitution de concepts. En règle générale, les opérateurs identifient le client par son numéro de téléphone, il est donc logique que les panneaux doivent y être déchargés. Qu'en est-il d'un compte personnel ou d'un numéro de demande de service? Il est nécessaire de décider quelle unité doit être prise pour le client afin que les données du système de l'opérateur ne diffèrent pas. L'évaluation de la valeur client est également en question - quel abonné a le plus de valeur pour l'entreprise, pour conserver quel utilisateur plus d'efforts sont nécessaires, et lesquels «tombent» dans tous les cas, et il est inutile de gaspiller des ressources.
Manque d'informations. Tous les employés du fournisseur ne sont pas en mesure d'expliquer à l'équipe BigData ce qui affecte exactement le flux sortant des abonnés et comment les facteurs possibles de facturation sont pris en compte. Même si vous en avez nommé un - ARPU, - il s'avère que vous pouvez le calculer de différentes manières: soit par des paiements périodiques du client, soit par une facturation automatique de la facturation. Et en cours de travail, un million d'autres questions se posent. Que tous les clients soient couverts par le modèle, quel est le prix de la fidélisation de la clientèle, est-il judicieux de penser à des modèles alternatifs et que faire des clients qui ont été conservés par erreur artificiellement?
Fixation d'objectifs. Je connais trois types d'erreurs liées aux résultats qui déçoivent les opérateurs dans la base de données.
- Le fournisseur investit dans BigData, traite des gigaoctets d'informations, mais reçoit un résultat qui pourrait être obtenu encore moins cher. Des schémas et des modèles simples, des analyses primitives sont utilisés. Le coût est plusieurs fois plus élevé, mais le résultat est le même.
- L'opérateur reçoit des données à multiples facettes en sortie, mais ne comprend pas comment les utiliser. Il y a l'analyse - la voici, compréhensible et volumineuse, et le sens qui en découle est nul. Le résultat final, qui ne peut consister en l'objectif «traiter les données», n'a pas été pensé. Traiter un peu - l'analytique devrait devenir la base de la mise à jour des processus métier.
- Les obstacles à l'utilisation de l'analyse BigData peuvent être des processus commerciaux obsolètes et des logiciels inappropriés à de nouvelles fins. Donc, ils ont gaffé au stade de la préparation - ils n'ont pas pensé à l'algorithme des actions et aux étapes de l'introduction de BigData dans le travail.
Pourquoi
En parlant des résultats. Je vais passer en revue les méthodes d'utilisation et de monétisation de BigData, qui sont déjà utilisées par les opérateurs de télécommunications.
Les fournisseurs prédisent non seulement le débit des abonnés, mais également la charge sur les stations de base.
- Les informations sur le mouvement des abonnés, l'activité et les services de fréquence sont analysées. Résultat: surcharge réduite grâce à l'optimisation et à la modernisation des sections problématiques de l'infrastructure.
- Les opérateurs télécoms utilisent des informations sur la géolocalisation et la densité de flux des abonnés lors de l'ouverture de points de vente. Ainsi, l'analyse BigData est déjà utilisée par MTS et Vimpelcom pour planifier l'emplacement de nouveaux bureaux.
- Les fournisseurs monétisent leurs propres données volumineuses en les proposant à des tiers. Les principaux clients des opérateurs BigData sont les banques commerciales. À l'aide de la base de données, ils suivent l'activité suspecte de la carte SIM de l'abonné, à laquelle les cartes sont attachées, utilisent les services de notation des risques, de vérification et de surveillance. Et en 2017, selon BigData, le gouvernement de Moscou a demandé à Tele2 la dynamique du mouvement pour la planification des infrastructures techniques et de transport.
- L'analyse BigData est une mine d'or pour les spécialistes du marketing qui peuvent créer des campagnes publicitaires personnalisées pour des milliers de groupes d'abonnés s'ils le souhaitent. Les entreprises de télécommunications regroupent les profils sociaux, les intérêts des consommateurs et les modèles de comportement des abonnés, puis utilisent les BigData collectées pour attirer de nouveaux clients. Mais pour une planification à grande échelle de la promotion et des relations publiques, la facturation n'a pas toujours suffisamment de fonctionnalités: le programme doit simultanément prendre en compte de nombreux facteurs en parallèle avec des informations détaillées sur les clients.
Alors que quelqu'un considère toujours BigData comme une phrase vide, les Big Four y gagnent déjà de l'argent. Pendant six mois, MTS gagne 14 milliards de roubles grâce au traitement des mégadonnées, tandis que Tele2 a augmenté ses revenus de projet de trois fois et demie. Le BigData est en train de passer d'une tendance à un incontournable, en vertu duquel toute la structure des opérateurs télécoms sera reconstruite.