Apache Spark auf Azure

von Marc-David Militz Forum: Azure Spark

Microsoft hat rechtzeitig zum Spark Summit in San Francisco ein Update zu seinen Hadoop Initiativen abgegeben. HDInsight, Coratana Intelligence Suite, Power BI und Microsoft R Server haben Spark Support bereits an Bord oder er wird demnächst abgeschlossen.
Spark als Teil von Azure HDInsight ist inzwischen aus der Preview Phase heraus. R Server für HDInsight soll diesen Sommer folgen. Es soll dabei sowohl in der Cloud als auch On-Premise möglich sein Spark zu integrieren.
Der neue SQL Server 2016 mit den integrierten R Services ist inzwischen ja schon verfügbar, R Server für Hadoop soll noch im laufe des Juni 2016 kommen. Damit soll es möglich werden R-Funktionen auf hunderten von Spark Knoten laufen zu lassen und damit wesentlich größere Datenberge zu verarbeiten oder schneller zu Ergebnissen zu kommen.
Power BI unterstützt Spark schon seit einer Weile, aber neu ist jetzt auch die Möglichkeit Spark Streaming zu nutzen.