FINRA presúva HBase na Amazon S3: Príbeh zozadu

Medzi oznámeniami, ktoré prišli z Amazon's re: Invent konferencie minulý týždeň, tam bola správa o pridávanieHBase na ponuku Amazon Elastic MapReduce (EMR) na základe S3 skladovanie. Okrem tvorby EMR Hadoop s kompletnejšími funkciami umožňuje HBase využívať výhody ekonomickejšieho úložiska, ktoré S3 ponúka. Môžete nastaviť veľkosť svojho klastra EMR na výpočet namiesto požiadaviek na údaje, pretože sa môžete vyhnúť potrebe obvyklej 3-násobnej replikácie v HDFS.

Port HBase, ktorý spoločne vyvinuli spoločnosti FINRA a Amazon, bol výsledkom stratégie pre FINRA že prehodnotili nielen to, ako optimalizovať pracovné zaťaženie, ale aj to, ako optimalizovať IT procesy, aby organizácia mohla čo najlepšie využívať výhody cloudu.

Spoločnosť FINRA začala uvažovať o migrácii do cloudu, keď bola v roku 2013 požiadaná, aby predložila ponuku na nové Projekt konsolidovaného auditu SEC; zatiaľ čo ocenenie projektu ešte nebolo udelené, FINRA je v súčasnosti jedným z troch finalistov. FINRA sa rozhodla založiť svoj návrh na cloudovom nasadení, pretože projekt, ktorý by vytvoril jeden databázy na sledovanie všetkých obchodných aktivít na kapitálových trhoch, by prijímala údaje z viacerých zdrojov.

To zase podnietilo spoločnosť FINRA, aby zvážila migráciu svojej existujúcej analytickej infraštruktúry, ktorá pôvodne pozostávala zo zmesi Netezza, Zelená slivka, SAV, a Cloudera Hadoop, do dátového jazera v Webové služby Amazon oblak.

Spoločnosť FINRA si uvedomila, že jednoduché „zdvíhanie a presúvanie“ infraštruktúry a pracovnej záťaže do cloudu prinesie v porovnaní s prevádzkou v priestoroch len obmedzené výhody v oblasti nákladov a rýchlosti nasadenia. Plné využitie výhod cloudu znamenalo prehodnotiť fungovanie aplikácií a systémov a ďalšie dôležité je, ako by mali byť prepracované, keď bežia v elastickom prostredí oddeľujúcom skladovanie od vypočítať. A boli tu aj ľudia a procesná stránka.

Cloud poskytoval spoločnosti FINRA množstvo možností. Mohol by presunúť prebiehajúce pracovné zaťaženie do klastrov, ktoré by bolo možné rezervovať na predĺžené zmluvné obdobia so zľavou. Mohlo by tiež využiť elasticitu cloudu na spustenie väčšieho množstva pracovných záťaží ad hoc, najmä na prieskumné účely. analytika, ktorá nemusela dosiahnuť zníženie v priestoroch, kde boli kapacity a/alebo IT zdroje a nevybavené veci showstopers. A ak sa pracovné zaťaženie považovalo za vysoko diskrečné alebo náklady boli skutočným obmedzením, vždy existoval spotový trh Amazonu.

To TO nemuselo nutne vyviesť z miery. Tým, že systémový tím oslobodí IT od potreby poskytovať „čo keby“ kapacitu, mohol by presunúť roly z vrátnika na facilitátora, zatiaľ čo plánovanie infraštruktúry sa posúva smerom k výberu z veľkej ponuky – obe výzvy je ťažšie splniť ako oni zvuk.

Flexibilita a množstvo možností v cloude bola dvojsečná zbraň: poskytovala príležitosť vyladiť výpočty a úložisko pre dáta a pracovné zaťaženie/aplikáciu, ale vzhľadom na tisíce permutácií dostupných na AWS si vyžaduje architektov so špecializovanými znalosťami cloudu, aby zvládli optimálne kombinácie.

Okrem toho, ovládanie cloud computingu stále vyžadovalo správcov databáz na automatizáciu vytvárania databáz. Vyžadovalo si to aj posun smerom k DevOps, a to z hľadiska myslenia aj organizácie. FINRA konsolidovala systémové inžinierstvo a prevádzku do jednotných tímov za predpokladu, že v r cloud prostredí, obe by museli fungovať vedľa seba v súbežnom, nie sekvenčnom inžinierskom režime.

Pokiaľ ide o prehodnotenie architektúry a topológie, jedno rozhodnutie bolo celkom jednoduché: aktívna časť dátového jazera by byť uložený na ekonomickom objektovom úložisku S3, aby mohol byť prístupný širokej škále procesov od interaktívnych SQL až po komplexné dávka. A chladnejšie dáta by boli presunuté Ľadovec archív. Integrácia zdrojov údajov a výber správnych cieľov sa však stáva rovnakou výzvou reinžinieringu, ako je to v prípade miestnych zariadení – možno sa pozeráte na migráciu dátových platforiem, ale aj nie. Možnosti Amazonu sú tam všetko, len nie obmedzené.

Krok racionalizácie dátovej platformy je to, čo viedlo FINRA k tomu, aby išla tam, kde Amazon predtým nešiel: spustenie HBase na S3. Platforma EMR (ktorá beží na S3) funguje dostatočne dobre pre dávkové a interaktívne pracovné zaťaženia Hive, Spark a Presto, ale priamo nepodporovala HBase. FINRA sa stále viac spoliehala na HBase, aby nahradila svoj bývalý dátový sklad Greenplum o veľkosti petabajtov. Ak by na EMR urobil stratégiu „zdvihnúť a presunúť“, stále by musel spustiť HBase na samostatných inštanciách úložiska HDFS v EC2. A to by zase zahŕňalo prevádzkovú zložitosť a náklady na replikáciu údajov z S3 a ich následné uloženie na drahší cieľ.

Spustenie HBase priamo na S3 by sa vyhlo všetkým týmto problémom. Ako strategický zákazník so strategickým projektom pre obe strany získala spoločnosť FINRA podporu Amazonu pri realizácii prístavu. Zatiaľ čo v porovnaní s HDFS beží HBase na S3 o niečo pomalšie, konečným výsledkom je 400-násobné zlepšenie oproti behu rovnaké dotazy na Greenplum a zefektívnenie údajov viac než kompenzujú menšie rozdiely vo výkone.

Spodný riadok? Keďže HBase beží na S3 pod EMR, a nie v samostatnej inštancii EC2 Hadoop, FINRA ušetrila 1 milión dolárov ročne.