Couchbase chef: Skaler eller mislykkes

Teknologi afsløret i dag af open source NoSQL-firmaet Couchbase, der gør det muligt at udføre primære databaseopgaver håndteres af separate servere, er den eneste levedygtige tilgang til at skalere datalagre, ifølge virksomhedens DIREKTØR.

Multi-dimensionel skalering, der kommer til sommer med Couchbase Server 4.0, giver ops-teams mulighed for at allokere forespørgsler, indeksering og læse-skrivning til specifikke servere.

Denne tilgang forbedrer ydeevnen markant, reducerer mængden af ​​nødvendige ressourcer og reducerer netværksbåndbredden, sagde Couchbase CEO Bob Wiederhold.

"For at levere højtydende indeksopbygning og højtydende forespørgsler bliver enhver leverandør nødt til at levere deres version af multidimensionel skalering. Det er bare sådan, det kommer til at gå," sagde han.

"Du bliver nødt til at gøre det på denne måde, eller du leverer en løsning, hvor du simpelthen ikke kan levere højtydende indeksering og forespørgsler."

I øjeblikket er de vigtigste databasefunktioner forespørgsel, indeksering og læsning og skrivning delt mellem alle serverne i en klynge.

"Vi giver dig mulighed for at skalere for at understøtte hver af disse tre funktioner uafhængigt. Så i dag uden multidimensionel skalering, lad os sige, at du har en 10-node klynge, du ville køre alle tre af disse funktioner på den 10-node klynge," sagde Wiederhold.

"Hvis du havde nogle intensive forespørgsler, der kørte, kan det forsinke dine grundlæggende læsninger og skrivninger. Du kan nu konfigurere tre separate servere til at udføre din indeksering og to separate servere til at udføre din forespørgsel. Du kan optimere serverne til de specifikke funktioner."

For eksempel kan servere, der udfører grundlæggende læsninger og skrivninger, have færre CPU'er end dem, der kører forespørgsler.

"Du vil faktisk bruge færre ressourcer. Serveromkostningerne vil være mindre, for lige nu er det, der sker, at du forbedrer dine servere for at kunne understøtte alle tre funktioner. Du vil være i stand til at dimensionere dine servere eller konfigurere dine servere specifikt til enten grundlæggende læsning og skrivning eller indeksering eller forespørgsel," sagde han.

"Det, du vil finde, er virksomheder, der bruger maskiner med lavere strømstyrke - maskiner med mere hukommelse og færre processorer - til at tjene deres grundlæggende læsning og skrivning. Så vil du have større maskiner med mange flere processorer til at udføre deres indeksering og især til at udføre deres forespørgsler. I dag er det, de er tvunget til at have store maskiner overalt."

Fordi allokeringen af ​​ressourcer ikke er automatiseret, skal ops-teamet bestemme konfigurationen af specifikke primære opgaver på klynger, afhængigt af arbejdsbelastninger, antal og størrelse af indekser og antallet og intensiteten af forespørgsler.

"Du skal finde ud af, hvor mange servere du skal konfigurere for hver af disse tre funktioner. Det er klart, at vi giver dig masser af værktøjer til at gøre det. Men det bliver ikke automatisk. Det vil ikke automatisk konfigurere dette for dig," sagde Wiederhold.

"Men en af ​​de vigtigste ting er, at du kan udføre al denne konfiguration på runtime. Det er ikke sådan, at du behøver at konfigurere dette på forhånd, og så er det rettet. Så hvis din arbejdsbyrde ændres med det samme, kan du omkonfigurere med det samme."

Wiederhold sagde, at det at give servere specialistroller også vil reducere kravene til netværksbåndbredde.

"I dag skal du bruge en scatter-samler tilgang til indeksering og forespørgsel. Hvis du har en 10-node klynge, lad os sige, at du har 100 GB data, du har 10 GB data på hver af dine servere. Du skal bygge et indeks på hver server, og det indeks vil være baseret på de data, der sidder på den server. Det er spredestykket," sagde han.

"Så skal du samle indekserne fra hver af de 10 servere og bygge indekset til din database. Især hvis du har et stort indeks, så samler du ofte, og du kommer til at overføre store mængder data."

Couchbases nye tilgang skulle typisk resultere i et mindre antal servere til at bygge indekser og foretage forespørgsler.

"Nu har du måske endda kun én indeksserver. Hvis du har én indeksserver, er der ingen indsamling, du behøver at foretage. Selv hvis du har to eller tre, er der meget mindre samling og som et resultat meget mindre netværksbåndbredde," sagde Wiederhold.

Couchbase beskæftiger sig med spørgsmålet om duplikering af databaser på de forskellige noder gennem core-replikeringsstreamingprotokollen introduceret med Couchbase Server 3.0.

"Vi bruger den databaseændringsprotokol til bare at sende mutationsoplysningerne, der er ændret, til indekseringsnoden. Det er meget effektivt, så du ender med at kommunikere mindre og derfor har brug for meget mindre netværksbåndbredde," sagde han.

Mere om Hadoop og big data

• Databricks CEO: Hvorfor så mange firmaer brænder for Apache Spark
• MySQL: Percona tilslutter TokuDB-lagringsmotor til store datasæt
• Cloudera forbinder med Hadoop-udvikleren Cask
• Mesosphere og MapR forbindes over Myriad for at skabe én stor dataplatform til at styre dem alle
• Teradata udruller big data apps, opdaterer Loom
• MapR CEO taler om Hadoop, IPO-muligheder for 2015
• Teradata køber arkivapp-producenten RainStor
• Hortonworks udvider certificeringsprogram, ser ud til at accelerere virksomhedens Hadoop-adoption
• Actian tilføjer SPARQL Citys grafanalysemotor til sit arsenal
• Splice Machines SQL on Hadoop-database udgives generelt