Databricks kondigt de lancering van Delta Engine en de overname van Redash aan. Deze nieuwe mogelijkheden maken het voor datateams mogelijk om sneller en eenvoudiger met het Unified Data Analytics platform aan de slag te gaan voor data science, machine learning en andere gebruiksmogelijkheden van data analytics. Delta Engine is een query engine voor data lakes in de cloud. Redash is een open source tool voor dashboarding en visualisatie voor data scientists en analisten, om data mee te verkennen.
Delta Engine is ingericht voor gebruik met Delta Lake, de open source transactielaag die de kwaliteit en betrouwbaarheid van data lakes verbetert. Organisaties kunnen nu gecureerde data lakes opzetten die zowel gestructureerde als semigestructureerd data bevatten en hun analyses vervolgens uitvoeren op data van hoge kwaliteit in de cloud. Databricks heeft Redash, het bedrijf achter het succesvolle Redash open source project, overgenomen om gebruiksvriendelijke mogelijkheden voor dashboarding en visualisatie aan deze data lakes toe te voegen. Dankzij Redash hoeven data scientists en SQL-analisten hun data niet langer over te zetten naar andere systemen om analyses uit te kunnen voeren.
De combinatie van deze twee vernieuwingen zorgt ervoor dat bedrijven aan de slag kunnen met één vereenvoudigde cloudarchitectuur voor databeheer, waardoor ze de kosten en complexiteit drastisch verlagen en de productiviteit van datateams verhogen. Bovendien sluiten de ontwikkelingen aan op het ‘lakehouse’ design dat steeds populairder wordt. Steeds meer enterprise organisaties adopteren het lakehouse model om gestructureerde transacties en verbeterde kwaliteit en performance voor hun cloud data lakes mogelijk te maken. De bekendmaking werd vandaag gedaan op de Spark+AI Summit, die de komende week virtueel plaatsvindt voor meer dan 50.000 deelnemers uit de data community, uit meer dan 100 landen.
Snelle query’s op Delta Lake
Traditionele data analyse op gestructureerde en semigestructureerde data vraagt om zeer snelle prestaties, om het tempo van het bedrijf bij te kunnen benen. Oorspronkelijk dupliceerden organisaties data in hun data lakes om deze in verschillende data warehouses op te slaan, omdat de tools voor de analyse van deze data niet geschikt zijn voor snelle uitvoering van query’s. Het beheer van zo’n complexe architectuur brengt verschillende uitdagingen met zich mee, waaronder het ontstaan van gefragmenteerde en inconsistente data silo’s en hoge kosten.
De nieuwe Delta Engine voor Delta Lake maakt zeer snelle uitvoering van query’s mogelijk, voor zowel data analyse als data science, zonder data uit het data lake gehaald hoeft te worden. De hoogwaardige query engine is vanaf de basis opgebouwd om te kunnen profiteren van moderne cloud hardware voor verbeterde query prestaties. Dankzij deze verbeteringen kunnen Databricks klanten verhuizen naar een holistisch platform voor data analyse, dat iedere gebruiksmogelijkheid van data ondersteunt en uiteindelijk resulteert in kostenbesparingen en hogere efficiëntie.
Delta Lake is in 2017 door Databricks gelanceerd en in 2019 gedoneerd aan de Linux Foundation. Sindsdien maken onder meer Comcast, Condé Nast, Nielsen, FINRA, Shell en nog duizenden andere gebruik van Delta Lake. De aankondigingen van vandaag bouwen voort op het succes van het Delta Lake project.
Redash
Het open source project Redash is opgezet om datateams te helpen wegwijs te worden in hun data. Data scientists en SQL-analisten kunnen verschillende databronnen, waaronder operationele databases, data lakes en Delta Lake, in thematische dashboards verwerken. De resultaten kunnen vervolgens op talloze manieren gevisualiseerd worden, in bijvoorbeeld grafieken of cohorten. Deze zijn eenvoudig te delen met andere gebruikers, binnen of buiten de organisatie.
Miljoenen gebruikers bij duizenden organisaties maken al gebruik van Redash om inzichten te verkrijgen en data bruikbaar te maken. Het open source project is opgericht door een toegewijde developers community en is gebouwd door meer dan 300 deelnemers van over de hele wereld, sinds de lancering in 2013. Het open source Redash project kan vanaf vandaag met een gratis connector gebruikt worden met Databricks en Redash wordt de komende maanden volledig geïntegreerd in het Unified Data Analytics Platform van Databricks, en in de Databricks workspace.