Το να χρησιμοποιεί κανείς πλατφόρμες cloud για τις ανάγκες αποθήκευσης δεδομένων, έχει σίγουρα πολλά θετικά, όμως έχει και κάποια αρνητικά. Από την μια είναι φθηνό και βολικό, αλλά από την άλλη δεν είναι τόσο οργανωμένο, ειδικά αν έχετε συνηθίσει τα συστήματα διαχείρισης δεδομένων. Τέτοια συστήματα είναι, για παράδειγμα, οι βάσεις δεδομένων.
Αυτά τα συστήματα σχεδιάστηκαν με υποστήριξη συναλλαγών και metadata. Πράγμα που δεν ισχύει για την αποθήκευση στο cloud. Πρόκειται για χαρακτηριστικά που είναι απαραίτητα αν ένας χρήστης εργάζεται με data. Αυτός είναι και ο λόγος που η Databricks το 2017, έκανε την Delta Lake να προσθέσει τέτοια χαρακτηριστικά στην αποθήκευση cloud.
Πριν λίγους μήνες, η Delta Lake ήταν open sourced. Πρόσφατα, το The Linux Foundation, ο μη κερδοσκοπικός οργανισμός, ανακοίνωσε ότι θα κάνει host στο Delta Lake.
Ο Matei Zaharia -συνιδρυτής της Databricks και ο Ali Ghodsi -ο CEO της εταιρείας, είναι οι δημιουργοί του open source project Apache Spark. Πρόκειται για έναν ενοποιημένο μηχανισμό ανάλυσης που έχει καταστεί πρότυπο για επεξεργασία large-scale δεδομένων. Η Databricks παραμένει η κινητήρια δύναμη πίσω από την εξέλιξη του project Apache Spark.
Μια τέτοια στρατηγική open core είναι χαρακτηριστική για εταιρείες που λειτουργούν ως open source projects και εμπορικές οντότητες. Είναι ένας τρόπος εξισορρόπησης των πλεονεκτημάτων του open source, με την ανάγκη να είναι εμπορικά βιώσιμη. Μπορεί, ωστόσο, να οδηγήσει σε ακούσιες παρενέργειες.
Ο ανταγωνισμός από τους προμηθευτές cloud έχει αναγκάσει ορισμένες εταιρείες να προσφέρουν open source προϊόντα για να αντιδράσουν. Στην ουσία, αυτό που έκαναν ήταν να αλλάξουν τις άδειες του open source, για να απαγορεύσουν στους πωλητές cloud να πάρουν το open source core και να προσφέρουν οι ίδιοι την υπηρεσία. Αυτό φυσικά προκάλεσε τη δυσαρέσκεια πολλών.
Σύμφωνα με τον Matei Zaharia, η Databricks προσπαθεί να στείλει ένα μήνυμα στην κοινότητα. Αυτός ήταν και ο λόγος που επέλεξαν The Linux Foundation ως διαχειριστή της Delta Lake. Παρόλο που μόλις 6 μήνες πριν η Delta Lake ήταν open source, τα δεδομένα που μοιράζονται από την Databricks υποδηλώνουν μεγάλη αφομοίωση.
Από την έναρξη τον Οκτώβριο του 2017, η Delta Lake υιοθετήθηκε από πάνω από 4.000 οργανισμούς και επεξεργάζεται πάνω από δύο exabytes δεδομένων κάθε μήνα.
Κρίνοντας από τους αριθμούς που κοινοποίησε ο ίδιος ο συνιδρυτής της Databricks, η εταιρεία έχει τριπλάσια αύξηση των πελατών και έσοδα άνω των 100 εκατομμυρίων δολαρίων. Παρόλο που η Apache Spark δεν είναι η μόνη πλατφόρμα δεδομένων, η στρατηγική της Databricks φαίνεται να κάνει τη διαφορά.
