Heute gab Databricks *, ein hochkarätiger Anbieter von Technologien, die Durchbrüche in den Bereichen künstliche Intelligenz und Datenanalyse in großen Unternehmen vorantreiben, bekannt, dass er 140 Millionen US-Dollar von einer Gruppe von Investoren unter der Leitung von Andreessen Horowitz, darunter Battery Ventures, aufgebracht hat . Powered by Battery hat sich mit Ali Ghodsi, Mitbegründer und CEO von Databricks, zusammengesetzt, um darüber zu sprechen, wie das Unternehmen angefangen hat, wie es Kunden tatsächlich hilft und was seine Pläne für die Zukunft sind.

Powered by Battery: Warum beginnen wir nicht damit, darüber zu sprechen, wie dieses Unternehmen angefangen hat? Die Kerntechnologie ist aus einem Forschungsprojekt in Berkeley hervorgegangen, richtig? Wie kam es dazu?

Ali Ghodsi : Ja. Um 2009 waren alle Mitbegründer von Databricks an der UC Berkeley, und wir waren akademische Forscher. Wir hatten diese große Erkenntnis: Wir haben erkannt, dass Computer nicht schneller werden. Wir haben etwas erreicht, das Moore's Wall genannt wird: Moores Gesetz gilt nicht mehr. Im Grunde bedeutet dies, dass Computer nicht mehr alle 18 Monate schneller werden.

Das bedeutete also, dass Sie keine Supercomputer mehr kaufen können, um mit Ihren Anforderungen an die Datenanalyse Schritt zu halten. Es gibt einen neuen Computer – es ist das Rechenzentrum in der Cloud. Wir dachten, dies sei eine Chance auf der grünen Wiese, und wir waren sehr aufgeregt, sie zu verfolgen. Wir mussten herausfinden, wie wir diese Hunderttausende von Maschinen in der Cloud jetzt nutzen können, um all diese Daten zu verarbeiten und mehr Erkenntnisse daraus zu gewinnen und Vorhersagen mit Techniken wie maschinellem Lernen und anderen Ansätzen der künstlichen Intelligenz zu treffen.

Vier oder fünf Jahre später, um 2013 herum, haben wir ein Apache-Projekt namens „Spark“ erstellt, um dieses Problem zu lösen.  Spark hatte einige Zugkraft – ich meine, für ein akademisches Projekt hatte es großen Erfolg, würde ich sagen. Aber wir entschieden, ob wir wollten, dass diese Technologie wirklich durchstartet, und wenn Unternehmen und der Rest der Welt sie wirklich übernehmen würden, musste ein Unternehmen dahinter stehen. Und da haben wir uns entschieden, Databricks zu gründen. Wir waren zu sechst und haben das Unternehmen im Sommer 2013 gegründet.

PBB: Und was haben Sie vor dieser Arbeit in Berkeley gemacht?

AG : Ich bin in Schweden aufgewachsen. Ich war einer dieser Geeks, die als Kind mit dem Programmieren begannen. Ich glaube, ich habe im Alter von sieben Jahren angefangen. Ich habe Informatik studiert und danach promoviert. Ich bekam eine Assistenzprofessur in Schweden an der Universität. Ungefähr zu dieser Zeit bekam ich die Gelegenheit, mit dem Berkeley-Team hier drüben zu arbeiten.

Ich sagte zuerst, ich werde für ein Jahr an die UC Berkeley kommen und dann zurück zu meiner Professur nach Schweden gehen. Ich war ein Jahr hier und sagte, hey, das ist wirklich, wirklich interessant. Wir haben Moore's Wall erreicht, da gibt es diese großartige Gelegenheit, und ich werde in meinem Leben keine weitere Gelegenheit wie diese bekommen. Also lass mich ihm noch 12 Monate geben. Also blieb ich noch ein Jahr.

Dann waren zwei Jahre vergangen, und ich sagte, diese Gelegenheit ist so großartig, dass ich ihr noch ein Jahr geben sollte. Ich blieb drei Jahre. Sie sehen also, wohin diese Geschichte führt.

PBB: Es gab also sechs Mitbegründer, Sie eingeschlossen – und Sie sind nie nach Schweden zurückgekehrt.

AG : Ja.

PBB: Wie schnell ist das Unternehmen gewachsen?

AG: Wir haben jetzt etwa 220 Mitarbeiter, also ist es in den letzten vier Jahren schnell gewachsen. Ich denke, wir sind teilweise aufgrund unserer Mission schnell gewachsen: Bei Databricks wollen wir dieses Big-Data-Problem wirklich vereinfachen und den Rest der Fortune 2000 mit künstlicher Intelligenz versorgen.

Nach vier Jahren hat das Spark-Projekt nun über 300.000 Meetup-Mitglieder weltweit. Und in Bezug auf die Anzahl der Personen, die dazu beigetragen haben, ist es das größte (Open-Source-)Projekt im Big-Data-Bereich.

Databricks selbst hat über 500 Kunden. Tatsächlich haben wir unser Produkt, das ein SaaS-Angebot in der Cloud ist, vor etwa zweieinhalb Jahren auf den Markt gebracht. Es sind also ziemlich viele Kunden in kurzer Zeit.

PBB: Erzählen Sie mir also, wie Databricks Kunden tatsächlich hilft. Ich habe Leute sagen hören, dass Ihre Technologie Data Science endlich real oder zumindest zugänglicher macht. Sprechen Sie uns darauf an.

AG : Also, es ist ziemlich einfach. Sie können jede Zeitung aufschlagen und alle reden über Durchbrüche der künstlichen Intelligenz. Alle reden von diesen Erfolgsgeschichten. Und es stimmt, dass (KI) ein großes, fantastisches Potenzial hat. Aber was sie Ihnen nicht sagen, ist, dass es etwa fünf bis zehn Unternehmen gibt, die wirklich von diesen Vorteilen profitieren. All diese Erfolgsgeschichten sind im Wesentlichen mit Programmen bei diesen fünf bis zehn Unternehmen verbunden. Der Rest der Welt, der Rest der Fortune 2000, hat im Wesentlichen zu kämpfen, und sie sehen nicht die gleichen Erfolge. Unsere Mission ist es also, diese Art von Technologie, diese Art von künstlicher Intelligenz, dem Rest der Fortune 2000 zur Verfügung zu stellen. Das ist wirklich unsere Mission.

PBB: Warum haben diese Unternehmen damit zu kämpfen?

AG: Sie treffen im Grunde auf drei Probleme. Einer ist, dass es schwierig ist, die verschiedenen Leute, die an diesen Projekten beteiligt sind, dazu zu bringen, tatsächlich zusammenzuarbeiten und zusammenzuarbeiten. So viele KI-Probleme, die Sie heute lösen möchten, erfordern die Beteiligung verschiedener, unterschiedlicher Personas. Ich gebe Ihnen ein Beispiel. Wenn Sie anhand eines Röntgenbildes feststellen möchten, ob jemand einen Tumor hat, und Sie dies automatisch mit künstlicher Intelligenz tun möchten, benötigen Sie wahrscheinlich beteiligte Ärzte, die Ihnen beim Erstellen dieser Anwendung helfen. Es können nicht nur promovierte Informatiker sein. Es sind also Ärzte beteiligt, aber auch die Informatiker, die die Software entwickeln, und die Datenwissenschaftler, die maschinelles Lernen und KI betreiben können. Aber man braucht auch Data Engineers, die die Daten in die Systeme bringen können. Und was wir in vielen dieser großen Unternehmen sehen, ist, dass es einfach schwierig ist, diese verschiedenen Teams dazu zu bringen, zusammenzuarbeiten, zusammenzuarbeiten und Ergebnisse auszutauschen. Die Politik steht oft im Weg. Ich nenne das das Menschenproblem.

Das zweite Problem, das wir sehen, ist das Prozessproblem. Das bedeutet im Wesentlichen, dass Sie eine Menge Dinge in Gang bringen müssen, damit maschinelles Lernen oder KI durchgängig funktionieren. Sie müssen die Daten in das System bringen, Sie müssen die Daten bereinigen, dann müssen Sie Vorhersagemodelle erstellen – bis hin zu den Vorhersagen. Und heute müssen Sie viele verschiedene Software zusammenfügen, damit dies funktioniert. Es gibt keine einzelne Software, die Sie verwenden können.

Das dritte Problem, das Sie lösen müssen, ist das Infrastrukturproblem. Wie also laden Sie die Software auf die Tausenden von Computern, die Sie verwenden, und wie verwalten Sie sie und stellen sicher, dass sie sicher sind? Unternehmen müssen dafür viele DevOps-Leute einstellen.

Dies sind drei unterschiedliche Herausforderungen, die Hürden schaffen. Aus diesem Grund gibt es im Wesentlichen ein 1%-Problem. Das heißt, nur etwa 1 % der Unternehmen sind mit KI erfolgreich. Es gibt diese große Kluft, wo der Rest, die 99 %, mit diesen drei Problemen zu kämpfen haben.

PBB: Also nur damit ich es verstehe. . . Die fünf bis zehn Unternehmen, von denen Sie gesprochen haben und die mit KI gut abschneiden, sind hauptsächlich die großen Technologieunternehmen, richtig?

AG: Ja, die großen Tech-Unternehmen mit Armeen von Datenwissenschaftlern und riesigen Datenmengen aus dem Internet sind die einzigen, die all diese großartigen Dinge tun.

PBB: Können Sie etwas mehr über die spezifischen Arten von KI-Projekten sprechen, für die die Software von Databricks verwendet wird? Oder wie bestimmte Branchen es verwenden?

AG: Medizin ist zum Beispiel eine. Der medizinische Bereich ist reichhaltig und ich könnte endlos darüber reden. Aber das ist nur ein Sektor. Wenn Sie in den Finanzsektor einsteigen, gibt es auch viele Probleme. Häufig konzentrieren sich diese Herausforderungen auf verschiedene Arten von Anomalien, die Sie automatisch erkennen möchten. So wurde zum Beispiel gerade eine Kreditkarte geklaut – war das eine betrügerische Belastung oder nicht? Es kam gerade ein Angriff über das Netzwerk, oder jemand versuchte, in das Gebäude oder das Banksystem einzudringen. Ist es ein Hacker? Oder hier sind Milliarden und Abermilliarden von Transaktionen an irgendeiner Börse. Gibt es Insiderhandel oder geheime Absprachen?

Dann gibt es natürlich Industrial-IT. Dies sind Unternehmen, die über viele Industrieanlagen verfügen. Und es stellt sich heraus, dass sie in den letzten zehn Jahren viele Sensoren an ihren Geräten angebracht haben und riesige Datenmengen sammeln. Die Ausrüstung könnte alles sein, von Strahlturbinen bis hin zu Bohrausrüstung, was auch immer. Jetzt lesen diese Sensoren all diese Daten, und Unternehmen möchten auf der Grundlage dieser Daten Vorhersagen treffen können. Wird diese Windturbine zum Beispiel ausfallen? Wenn ja, würde ich es gerne wissen, sowohl aus Sicherheitsgründen, aber auch könnte ich einige Teile im Voraus ersetzen, und wir könnten einen Ausfall vermeiden.

Diese Datensätze sind riesig. Sie bewegen sich immer im Petabyte-Bereich.

PBB: Um auf die drei Hauptprobleme zurückzukommen, die Sie skizziert haben, mit denen Unternehmen im Allgemeinen konfrontiert sind, wenn sie versuchen, große Datensätze zu analysieren und KI zu implementieren – wie löst die Lösung von Databricks diese Probleme?

AG : Und um das erste Problem, das Menschenproblem, anzugehen, haben wir einen einheitlichen Arbeitsbereich für die Zusammenarbeit bereitgestellt, der Teil unserer Cloud-Plattform ist. Dies ermöglicht es verschiedenen Personas in der Organisation, Ergebnisse miteinander zu teilen. Sie können zusammenarbeiten, kommen und sich die Vorhersagen, Datensätze und Erkenntnisse ansehen und dies gleichzeitig auf sichere Weise tun, damit die falschen Daten oder Ergebnisse nicht an die falschen Personen gelangen die Organisation. Dies ist das erste, was wir in das Produkt eingebaut haben, und wenn wir mit unseren Kunden sprechen, ist dies eines ihrer Lieblingsthemen, das normalerweise auftaucht. Wie viel einfacher und einfacher dies es macht, diese Ergebnisse zu teilen und die Erkenntnisse von der Plattform zu erhalten. Das Schlüsselwort hier ist Zusammenarbeit.

Um das Prozessproblem anzugehen, ist dies wirklich Spark selbst und die Plattform, die wir darum herum aufgebaut haben. Es vereint die verschiedenen Aspekte der KI, die Sie gerne machen würden. Anstatt viele verschiedene Tools zu haben, ermöglicht Ihnen die von uns erstellte Plattform mit einer einzigen API und einem einzigen Framework alles zu tun, vom Zugriff auf verschiedene Datenquellen bis hin zum ETL-Verarbeiten der Daten (also Extrahieren, Transformieren und Laden dieser Daten), um Modelle darum herum zu erstellen und sogar die Vorhersagen in Echtzeit für Sie in der Produktion durchzuführen. Das ist also wirklich die wichtigste technische Innovation, die Databricks gestartet hat.

Diese Vereinheitlichung macht es einfach viel einfacher, dies End-to-End zu tun. Anstatt sagen zu müssen, OK, wir werden Software zusammenfügen, die von diesem Anbieter kommt, und wir werden dieses andere Open-Source-Ding verwenden, das von dort drüben kommt, und versuchen, sie alle zusammenzukleben.

Die letzte Herausforderung ist das Infrastrukturproblem. Um dies zu beheben, haben wir all dies in der Cloud automatisiert. Anstatt also die Leute herausfinden zu lassen, welche Hardware sie brauchen, und die Software auf einer bestimmten Hardware zum Laufen zu bringen und das zu verwalten, sagen wir, dass Sie das nicht tun müssen. Sie müssen nicht viele, viele DevOps-Mitarbeiter einstellen, um dies für Sie zu tun. Wir haben dies für Sie in der Cloud automatisiert. Und weil es für Sie in der Cloud automatisiert ist, können Sie es einfach als Software as a Service nutzen.

Zusammen heißt unsere Lösung Unified Analytics Platform. Es vereint End-to-End-Analysen, die Sie in Ihrem Unternehmen benötigen. Es vereint die verschiedenen Menschen, die zusammenarbeiten müssen. Es vereint die verschiedenen Aspekte des Prozesses, den Sie benötigen, um KI zum Laufen zu bringen. Und es vereinheitlicht die Infrastruktur mit der Software und den Lösungen.

PBB: Wer konkret verwendet das Produkt in den Organisationen Ihrer Kunden normalerweise? Sind diese Datenwissenschaftler oder andere Personen in anderen Arten von funktionalen Rollen?

AG: Die primäre Person ist Data Scientist. Aber in letzter Zeit haben wir auch damit begonnen, immer mehr Dateningenieure zu sehen; Ich würde sagen, es gibt vielleicht eine 60/40-Aufteilung für uns, 60 Prozent Data Scientists, 40 Prozent Data Engineers.

Dann wird viel von dem, was sie erstellen, geteilt und mit anderen Personen in der Organisation kollaboriert. Das können die MDs oder die anderen Personen sein, die sich die Ergebnisse und Erkenntnisse ansehen, sie kommentieren und Fragen stellen. Das kann ein Ingenieur in einem IoT-Unternehmen oder ein Arzt in einer Gesundheitseinrichtung sein. Dies sind die Domänenexperten.

PBB: Können Sie über bestimmte Kunden sprechen, die Databricks auf interessante Weise verwenden? Namen, die wir vielleicht kennen?

AG: Einer der großen ist Shell. Sie haben viel Ausrüstung und sie haben viele Sensordaten. Eine andere, die ich sagen würde, ist Salesforce. Wie Sie wissen, bauen sie Salesforce Einstein auf. Alexis Roos von Salesforce hielt auf dem jüngsten Spark Summit einen Vortrag darüber, wo er zeigte, wie Databricks zum Erstellen von Salesforces Inbox verwendet wird, die mithilfe modernster KI-Techniken Informationen zu Besprechungen auf der Grundlage Ihres Postfachs ermittelt , Kunden, Angebote usw. Wirklich innovativ mit all den massiven Daten, die jeder bereits in seinem Posteingang hat.

Es gibt auch einen weiteren Anwendungsfall, der für jedes Unternehmen gilt, das Databricks in fast jeder Branche einsetzt.  Jeder hat viele, viele Kundendaten und würde gerne Vorhersagemechanismen und KI verwenden, um herauszufinden, welche dieser Kunden möglicherweise abwandern und sie verlassen. Wenn Sie dies im Voraus herausfinden könnten, sind diese Informationen für Unternehmen äußerst wertvoll, da sie diese Kunden erreichen und ihnen zusätzliche Liebe zeigen und sie möglicherweise halten können. Das Spieleunternehmen Riot Games ist ein interessanter Sonderfall davon. Sie können Ihr Verhalten in ihren Spielen tatsächlich verfolgen, wenn Sie spielen. Basierend darauf, wie Sie das Spiel in den ersten 30 Sekunden spielen, können sie mit Databricks vorhersagen, ob die Dinge nicht gut laufen und ein Benutzer das Spiel verlassen wird. Dann können sie etwas tun, um das zu beheben.

PBB: Faszinierend. Ich wollte jetzt einen Schritt zurücktreten und mehr nach der zugrunde liegenden Technologie von Databricks fragen. Allgemeiner gesagt, sollte Hadoop, eine andere Big-Data-Technologie, dies nicht auch tun, wenn es darum geht, Menschen dabei zu helfen, die Leistungsfähigkeit und die Daten der KI zu erkennen?

AG : Hadoop ist also eine Technologie der ersten Generation. Die Mitbegründer von Databricks waren eigentlich Forscher, die am Hadoop-Projekt an der UC Berkeley arbeiteten. So haben wir gute Erinnerungen an diese Jahre. Databricks ist die Evolution davon. Es ist die Technologie der nächsten Generation. Es kann tatsächlich problemlos mit Hadoop koexistieren und in vielerlei Hinsicht tatsächlich synergistisch sein. Aber es verbessert es auch in dem Sinne, dass es um Größenordnungen schneller sein kann. Es ist insbesondere besser, Vorhersagen mit KI zu machen, weil Hadoop keine wirkliche Vorhersagetechnologie war, mit der man KI machen könnte. Schließlich ist es viel, viel einfacher zu bedienen. Es ist für ein breiteres Publikum viel zugänglicher als Hadoop. Hadoop ist ziemlich komplex in der Anwendung.

PBB: Inwiefern macht es Ihr Produkt besser, eine Open-Source-Technologie zu sein?

AG: Das ist eine großartige Frage. Ich denke, Open Source ist der Schlüssel für große Unternehmen, die es leid sind, an proprietäre Software gebunden zu sein. Ich denke, dass offene APIs in Zukunft eine Notwendigkeit sein werden, wenn Sie Entwickler-Traktion haben wollen. Was ich damit meine ist, dass Sie keine neue API entwickeln und dann hoffen können, dass Millionen von Entwicklern auf der ganzen Welt auf Ihrer API aufbauen, wenn diese Software selbst proprietär ist. Sie werden diese Art von Traktion nicht bekommen. Das ist meine Überzeugung. Aus diesem Grund ist es entscheidend, dass die APIs alle Open Source sind.

Das Geschäftsmodell von Databricks ist jedoch ein offener Kern in dem Sinne, dass unsere APIs zwar offen sind und alle unsere Bibliotheken offen sind, es jedoch viele proprietäre Dinge gibt, die mit Leistung, Zuverlässigkeit und Sicherheit zu tun haben. Aber diese sperren einen Kunden nicht ein. Wenn also ein Kunde die von uns bereitgestellte Leistung, die von uns bereitgestellte Sicherheit oder die von uns bereitgestellte Zuverlässigkeit nicht mag, kann er in Zukunft auf einer anderen Spark-basierten Open-Source-Plattform schreiben APIs sind offen. Das ist großartig für Kunden, weil sie wissen, dass sie sich nicht in Databricks einschließen.

PBB: Herzlichen Glückwunsch zur heutigen Bekanntgabe Ihrer Finanzierungsrunde. 140 Millionen Dollar sind eine Menge Geld! Wofür werden Sie es verwenden?

AG : Wir werden diese Finanzierung nutzen, um international zu expandieren, aber auch neue Produktinnovationen und Lösungen für neue Branchen verfolgen. Es gibt so viel Nachfrage nach dem Produkt, das wir sehen, dass wir das beschleunigen und es mehr Kunden in mehr Märkten anbieten wollen.

PBB: Was kommt als nächstes für Databricks? Wo sehen Sie das Unternehmen in fünf Jahren?

AG : Ich sehe, dass wir uns immer weiter nach oben bewegen und noch mehr Zusammenarbeit und eine stärkere Demokratisierung der KI für Unternehmen ermöglichen. Damit Unternehmen diesen Weg leichter gehen können, datengesteuerter zu werden und immer mehr Vorhersagen rund um Daten zu treffen. In diesem Zusammenhang findet bei Databricks eine Menge Produktentwicklung statt – Dinge, die das Produkt noch benutzerfreundlicher und für mehr Menschen zugänglicher machen und eine noch breitere Verbreitung der Ergebnisse ermöglichen.

Wir möchten auch bestimmten Branchen zu mehr Erfolg verhelfen. Denn wenn Sie die Einführung von KI in diesen Unternehmen wirklich beschleunigen, müssen Sie in gewisser Weise näher an den Bereich heranrücken, in dem sie tatsächlich tätig sind. Für uns bedeutet das also, uns darauf zu konzentrieren, Unternehmen dabei zu helfen, im Laufe der Zeit noch erfolgreicher in den Bereichen Gesundheitswesen und Biowissenschaften, Finanzdienstleistungen, Medien und Unterhaltung, Regierung und wahrscheinlich noch einigen anderen zu werden.

PBB: Klingt großartig. Gibt es noch etwas, worüber wir noch nicht gesprochen haben?

AG: Wir freuen uns sehr, das Produkt auf mehr Märkte zu bringen und uns auf diese Branchen zu konzentrieren und die Databricks Unified Analytics-Plattform so vielen Unternehmen wie möglich zur Verfügung zu stellen. Und natürlich freuen wir uns sehr, auf diesem Weg Partner von Battery Ventures zu sein.