Nouveautés d'AWS: API DATA, Kinesis Data Analytics, S3 Path

API DATA pour Amazon Aurora sans serveur


Comment fonctionne la connexion à une base de données traditionnelle? Vous ouvrez une connexion, l'utilisez pour traiter une ou plusieurs requêtes SQL ou d'autres instructions, puis fermez la connexion. Vous avez probablement utilisé une bibliothèque cliente spécifique à votre système d'exploitation, votre langage de programmation et votre base de données. À un moment donné, vous avez réalisé que la création de connexions prenait beaucoup de temps et occupait de la mémoire sur le moteur de base de données.

L'API DATA se charge de la gestion et de la mise à l'échelle des connexions de base de données à long terme et renvoie les données sous forme JSON pour une analyse facile. Tout le trafic est crypté et s'effectue via HTTPS.

Qu'est-ce que l'API DATA?

ExecuteStatement - exécute une seule requête SQL.
BatchExecuteStatement - exécute une requête SQL pour un tableau de données.
BeginTransaction - démarre une transaction et retourne un identifiant de transaction.
CommitTransaction - terminer la transaction et valider les opérations SQL qui y ont été effectuées.
RollbackTransaction - annule une transaction.

La seule limitation est que chaque fonction doit être exécutée en une minute et peut renvoyer jusqu'à 1 mégaoctet de données.

Lisez plus.
- Art Tonoyan arttonoyan , administrateur de base de données chez Provectus

Amazon Kinesis Data Analytics vous permet désormais d'attribuer des balises de ressources AWS à vos applications en temps réel


Avec l'augmentation du flux de données, la nécessité de traiter et d'analyser ces données d'une manière spéciale augmente. Amazon Kinesis Data Analytics est l'un de ces services qui vous permet, en écrivant du code SQL ou Java (à l'aide d'Apache Flink), de commencer à collecter des données à partir de différentes sources, ainsi qu'à les traiter et les analyser en temps réel. Maintenant, après avoir reçu une image plus complète et multidimensionnelle de vos données, vous pouvez facilement extraire de nouvelles informations utiles, ainsi que répondre rapidement aux besoins des entreprises et des clients.

Avec le nombre croissant de ces applications, le besoin de les gérer de manière compétente augmente. Amazon a récemment annoncé qu'il était désormais possible d'ajouter des balises de ressource à vos applications dans Amazon Kinesis Data Analytics, comme d'autres ressources AWS. La balise est une paire clé-valeur, où la valeur est une partie facultative. L'utilisation de balises est un moyen simple mais efficace de gérer les ressources AWS et d'organiser les données. Exemples de balises possibles:

Environnement: mise en scène
Application: nom de l'application
Projet: Nom du projet

Avec les balises, vous pouvez ajouter plus de contexte à une application. Dans le cas des applications Amazon Kinesis Data Analytics, des balises peuvent être utilisées:
Pour déterminer la facturation d'applications Amazon Kinesis Data Analytics spécifiques.
Pour contrôler l'accès aux ressources d'application.
Aux fins définies par l'utilisateur lui-même - vous pouvez déterminer la fonctionnalité des applications en fonction de la présence de balises utilisateur.
Vous pouvez trouver plus d'informations sur les balises pour les applications Amazon Kinesis Data Analytics ici.
- Bulat Gaineyev grbulat , Ingénieur logiciel chez Provectus

Plan d'amortissement du chemin Amazon S3 - Le reste de l'histoire


Dans l'un des services S3 les plus populaires d'Amazon Web Services (AWS), la façon d'obtenir des fichiers en spécifiant un style de chemin deviendra bientôt obsolète, par exemple, s3.amazonaws.com/usmanovbf/docs/Bulat_Usmanov_CV.pdf ou avec une région - s3-us-east-2.amazonaws.com/usmanovbf/docs/Bulat_Usmanov_CV.pdf , où usmanovbf est le compartiment et /docs/Bulat_Usmanov_CV.pdf est la clé du fichier sur ce compartiment.

La préférence sera donnée à une autre méthode - en utilisant un hôte virtuel (style hébergé virtuel), par exemple, usmanovbf.s3.amazonaws.com/docs/Bulat_Usmanov_CV.pdf ou également avec la région - usmanovbf.s3-us-east-2.amazonaws. com / docs / Bulat_Usmanov_CV.pdf

La transition devrait avoir lieu le 30 septembre 2020. En raison de l'ouverture des ingénieurs AWS à la communauté, tous les liens de style de chemin créés jusqu'à cette date inclusivement ne seront pas supprimés. Autrement dit, ils resteront pleinement opérationnels, juste après cette date, vous ne pouvez utiliser que la deuxième méthode - le style hébergé virtuel.

Ce changement est dicté par deux raisons principales:
1. Un modèle plus centralisé, qui accède aux fichiers en utilisant le style de chemin, limite la mise à l'échelle efficace, car tout le trafic provient d'un petit ensemble de points d'entrée: sous-domaines du troisième niveau s3, s3-us-east-2, s3-us-east -1 et ainsi de suite. Pour la même raison, il devient gênant de travailler avec la résolution de noms DNS, la sécurité et la réflexion des attaques DDOS.
Le style hébergé virtuel vous permet de contrôler de manière plus flexible le flux de données en raison de la liaison à un sous-domaine séparé et à une région, par exemple, usmanovbf et s3-us-east-2 comme dans l'exemple ci-dessus.

2. Les ingénieurs AWS ne restent pas immobiles et afin d'introduire de nouvelles fonctionnalités et d'abandonner les anciennes, ils doivent passer au style hébergé virtuel. Par exemple, il est prévu d'abandonner les anciennes méthodes de chiffrement.

Vous pouvez trouver plus d'informations sur la migration vers la nouvelle méthode sur le blog AWS officiel .
- Bulat Usmanov usmanovbf , ingénieur logiciel chez Provectus

En savoir plus sur les nouveaux services et produits d'Amazon lors de l'AWS Dev Day Moscow!

#AWSDevDayMoscow est une conférence gratuite d'une journée destinée aux ingénieurs en apprentissage automatique, aux scientifiques des données, aux ingénieurs DevOps, aux architectes de solutions et aux ingénieurs logiciels qui sont intéressés ou travaillent déjà avec les services AWS.

Discutons des sujets les plus chauds dans le domaine de la technologie cloud avec des personnes partageant les mêmes idées et l'équipe AWS très bientôt!

Quand: 18 juin
Où: Spring Space
Spartak lane 2s1, numéro d'entrée 7

Inscription

Rencontrez-moi à AWS Dev Day Moscou!

Source: https://habr.com/ru/post/fr455862/


All Articles