At re: Invent, CEO AWS-a Adam Selipsky najavio je opću dostupnost novih alata koji će smanjiti potrebu za izgradnjom i upravljanjem cjevovodima podataka.
Amazon Web Services u utorak je najavio opću dostupnost alata koji donose više detaljna kontrola do upravljanja podatkovnim jezerom.
Prvo, Sigurnost na razini redova i stanica za formiranje jezera "stavlja prave podatke u ruke pravih ljudi", rekao je izvršni direktor AWS-a Adam Selipsky tijekom svog uvodnog obraćanja AWS re: Invent.
Lake Formation već omogućuje korisnicima premještanje podataka u S3 podatkovna jezera, njihovo čišćenje i klasificiranje pomoću strojnog učenja i siguran pristup osjetljivim podacima. Novi alat sada omogućuje korisnicima nametanje kontrola pristupa za pojedinačne retke i ćelije. Umjesto stvaranja više tablica za svakog korisnika i upravljanja podatkovnim cjevovodima, korisnik može definirati skup pravila za određene retke za određene korisnike. Korisnici kontroliraju pristup određenim redovima i stupcima u rezultatima upita i unutar AWS Glue ETL poslova na temelju identiteta onoga tko izvodi radnju.
U međuvremenu, Transakcije za upravljane tablice u Lake Formation eliminiraju potrebu za skupnim ažuriranjima. "Podaci nisu statični", rekao je Selipsky. "Sve se više podataka dodaje i ubrzano premješta."
Sada kupci mogu stvoriti novu vrstu tablice -- upravljanu tablicu -- a Lake Formation automatski upravlja sukobima i pogreškama za dosljedan prikaz podataka. Korisnici će moći pratiti podatke u stvarnom vremenu.
Upravljane tablice podržavaju ACID transakcije koje omogućuju višestrukim korisnicima istovremeno i pouzdano umetanje i brisanje podataka u više upravljanih tablica. ACID transakcije također omogućuju korisnicima pokretanje upita koji vraćaju dosljedne i ažurne podatke. U slučaju grešaka u ETL procesima ili tijekom ažuriranja, promjene se ne pokreću i neće biti vidljive.
Korisnici koji koriste regulirane tablice mogu koristiti automatsko sažimanje za optimizaciju pohrane. Kada je ova opcija omogućena, Lake Formation automatski sažima male S3 objekte u upravljanim tablicama u veće objekte radi optimiziranja pristupa putem analitičkih mehanizama, kao što je Amazonka Atena i Amazonov crveni pomak spektra.
AWS re: Invent
- AWS poboljšava svoju industrijsku igru na Re: Invent 2021
- Izvršni direktor AWS-a predstavlja novu privatnu 5G uslugu
- AWS cilja na glavna računala s uslugom migracije
- AWS, CrowdStrike i Presidio partneri za komplet za ublažavanje ransomwarea
- AWS lansira kvartet rješenja na zahtjev bez poslužitelja
- AWS cilja na automobilski i industrijski sektor s FleetWise, TwinMaker
- Plan procesora dodaje Graviton3, Trainium, nove instance
- IoT RoboRunner ima za cilj upravljanje flotama robota