Parfois, un projet vit dans un centre de données étranger peu coûteux, tombe sous les verrous du tapis de Roskomnadzor, se retrouve périodiquement sous des attaques DDoS, mais a en même temps des téraoctets de données et de trafic.
Comment vivre avec ça?
Préambule
Nous avons une petite banque de photos pour vous aider. Nous ne mentionnerons pas le nom et le pays, seulement quelques données techniques:
50 To de données pour le stockage, environ 100 Go sont mis à jour mensuellement, «données chaudes» (95% des demandes leur sont adressées) - 200 Go.
Trafic moyen - 50 To / mois.
Il y a plusieurs années, plusieurs serveurs Hetzner SX avec de grands disques ont été choisis pour publier des photos (pour stocker le PD, j'ai dû trouver une solution plus compliquée, mais plus à ce sujet une autre fois).
Southbridge doutait que Hetzner convienne à un tel projet, mais le niveau requis d'accessibilité et de qualité de connectivité a été atteint.
De plus, pour un tel projet, l'utilisation de CDN sera un ordre de grandeur plus cher que la distribution de données statiques à partir de serveurs dans un centre de données peu coûteux.
Terrain
Ici dans notre histoire apparaît Roskomnadzor, qu'il ne soit pas mentionné en vain. Au printemps 18, les serrures à tapis ont commencé et, en mai, elles couvraient bon nombre de nos clients.
Certains clients ont résolu le problème de l'accès à Hetzner, Amazon, MS Azure, GCE, Digitalocean de façon spectaculaire: ils ont transféré l'ensemble du serveur en Russie (salut, Selectel!), Mais pour notre héros, une petite banque de photos, transporter constamment 50 To de données dans les deux sens est trop cher , et nous n'allions pas quitter les serveurs du projet en Russie après la fin des verrous.
Pour les problèmes importants et inadéquats, des solutions petites et adéquates sont nécessaires.
Résolution de problèmes
Par exemple, utilisez d'autres serveurs ou services (déverrouillés) pour le frontal. Changer la plage d'adresses IP n'a pas aidé à 100%, car ILV bloquait chaque jour de nouveaux sous-réseaux IP, nous avons donc décidé d'activer le proxy via Cloudflare.com. Du coup, qui ne sait pas, ils protègent non seulement contre les attaques DDoS (pas aussi bons que les meilleurs acteurs de ce marché), mais fournissent également un service CDN (et ils le font bien).
Ceci est une excellente solution si vos adresses Cloudflare ne sont pas bloquées)
Ok, allumé - et commencé à surveiller la stabilité du travail et le retour du trafic. Après avoir connecté CF, nous avons vu cette image sur le graphique du comptage du trafic provenant de l'un des serveurs (image des statistiques Hetzner):
Le trafic entrant a changé dans la marge d'erreur (ce qui est confirmé par le calendrier de téléchargement de nouvelles photos, pour lequel une mesure de surveillance distincte a été effectuée), le trafic sortant sur ce serveur au moment de la connexion à CF a chuté 3 fois ou plus. Le trafic réel total n'a pas chuté de 3 fois, juste CF a commencé à répartir le trafic entre les serveurs d'une manière différente.
Par exemple, un graphique pour le même serveur de notre système de surveillance (pendant 3 mois, pour qu'il ne soit pas trop petit):
Et selon l'un des autres:
Mais le trafic global a tout de même baissé de 20%, soit CF a sauvé le projet d'une partie du trafic.
La latence moyenne a augmenté, mais nous ne montrerons pas ces graphiques.
Raison: Cloudflare a peu de points de distribution en Russie. En Europe et en Amérique du Nord, il est déjà beaucoup plus efficace.
Et en parallèle avec le trafic, nous surveillons l'activité d'utilisation du service. De nouvelles photos sont téléchargées sur le service, et nous surveillons leur nombre (et le trafic entrant).
Programmation sur 3 mois (avril-juin) à partir d'un des serveurs traitant les demandes de téléchargement de photos:
Et voici un autre serveur:
Cloudflare a commencé à distribuer le trafic backend d'une manière légèrement différente. Mais le contenu a continué à être chargé, le service a fonctionné, il n'y a pas eu de baisse catastrophique de la qualité (selon les avis des utilisateurs, la différence n'était pas perceptible en principe).
Il existe également un risque d'obtenir une adresse bloquée dans Cloudflare, mais vous pouvez la réduire en prenant un tarif payé.
Après avoir terminé l'ILV Carpet Lock, nous avons désactivé Cloudflare.
Quel est le résultat?
- Pour 5 à 20 $ / mois (dans notre cas, c'était seulement 5 $ / mois), vous pouvez résoudre un problème similaire et ne pas dépenser des milliers de dollars pour louer des serveurs plus chers et transférer des données.
- Même pour les projets avec des téraoctets de trafic, des solutions gratuites ou presque gratuites conviennent. Éprouvé en pratique.
Comme alternative:
- DDoS-GUARD offre un tarif gratuit avec des proxys de trafic et une protection contre les attaques DDoS.
- Plusieurs fournisseurs de services de protection DDoS disposaient d'un service d'aide gratuit pour de tels blocages. (Au fait, nous n'avons pas non plus pris d'argent supplémentaire pour résoudre le problème des serrures).
- Vous pouvez prendre l'un des services CDN bien connus: keycdn.com, cdn77.com, Akamai CDN, CDNVideo, Ngenix.net, etc. Ils résolvent le problème du blocage de la protection de leurs clients eux-mêmes. Mais ceci a) est plus cher b) ne résout pas le problème du retour de contenu non statique.
- Vous pouvez connecter un autre proxy et un service de protection DDoS (nous avons beaucoup travaillé avec Qrator et SkyparkCDN / G-Core Labs, par exemple), mais ils devront payer pour chaque mégabit de trafic utile, et ce sera très cher.
- «Votre frontend déverrouillé» peut être déployé chez n'importe quel fournisseur dans le monde, en même temps vous devez sélectionner une plage d'adresses déverrouillées et assurer une bonne connectivité entre vos serveurs et les serveurs frontaux. Si vous avez vraiment besoin de le faire, vous pouvez d'abord vérifier l'adresse automatiquement dans la liste ou manuellement ici .
Personnellement, je recommande packet.net et servers.com pour de tels "frontends" - une excellente connectivité et la possibilité de prendre un serveur avec un taux horaire.
ps Si quoi que ce soit - je suis l'un des haut-parleurs RedSlerm. Venez, ce sera intéressant:
https://slurm.io/redslurm/