Amazon apporte des contrôles plus précis à AWS Lake Formation

Amazon Web Services a annoncé mardi la disponibilité générale d'outils apportant plus contrôle fin de la gestion des lacs de données.

Tout d'abord, la sécurité au niveau des lignes et des cellules pour Lake Formation "met les bonnes données entre les mains des bonnes personnes", a déclaré le PDG d'AWS, Adam Selipsky, lors de son discours d'ouverture sur AWS re: Invent.

Lake Formation permet déjà aux clients de déplacer des données dans des lacs de données S3, de les nettoyer et de les classer à l'aide de l'apprentissage automatique et d'un accès sécurisé aux données sensibles. Le nouvel outil permet désormais aux clients d'appliquer des contrôles d'accès pour des lignes et des cellules individuelles. Au lieu de créer plusieurs tables pour chaque utilisateur et de gérer des pipelines de données, un client peut définir un ensemble de politiques pour des lignes spécifiques pour des utilisateurs spécifiques. Les clients contrôlent l'accès à des lignes et des colonnes spécifiques dans les résultats de requête et dans les tâches ETL AWS Glue en fonction de l'identité de la personne qui effectue l'action.

Pendant ce temps, Transactions for Governed Tables in Lake Formation élimine le besoin de mises à jour par lots. "Les données ne sont pas statiques", a déclaré Selipsky. "De plus en plus de données sont ajoutées et déplacées rapidement."

Désormais, les clients peuvent créer un nouveau type de table -- une table gouvernée -- et Lake Formation gère automatiquement les conflits et les erreurs pour une vue cohérente des données. Les utilisateurs pourront suivre les données en temps réel.

Les tables régies prennent en charge les transactions ACID qui permettent à plusieurs utilisateurs d'insérer et de supprimer simultanément et de manière fiable des données dans plusieurs tables régies. Les transactions ACID permettent également aux clients d'exécuter des requêtes qui renvoient des données cohérentes et à jour. En cas d'erreurs dans les processus ETL, ou lors d'une mise à jour, les modifications ne sont pas validées et ne seront pas visibles.

Les clients utilisant des tables gouvernées peuvent utiliser le compactage automatique pour optimiser le stockage. Lorsque cette option est activée, Lake Formation compacte automatiquement les petits objets S3 dans les tables gouvernées en objets plus grands pour optimiser l'accès via les moteurs d'analyse, tels que Amazone Athéna et Spectre Amazon Redshift.