Apache Spark jobs gain up to 9x speed up with HDInsight IO Cache

von Florian J. Deinhard Forum: Azure Spark

HDInsight IO Cache, eine neue transparente Datencaching-Funktion von Azure HDInsight, die Kunden eine bis zu 9-fache Leistungsverbesserung für Apache Spark-Jobs bietet, ist jetzt in der Vorschau verfügbar. Azure HDInsight IO-Cache ist in Azure HDInsight 3.6 und 4.0 Spark-Clustern in der neuesten Version von Apache Spark 2.3 verfügbar. Während der Vorschau ist diese Funktion standardmäßig deaktiviert. Sie müssen sie aktivieren, um sie auszuprobieren. Nach der Aktivierung startet HDInsight IO Cache RubiX Cache-Metadatenserver auf jedem Arbeitsknoten des Clusters und verwaltet diese.

hier gelangen Sie zu weiteren Informationen:
https://azure.microsoft.com/en-us/blog/apache-spark-speedup-with-hdinsight-io-cache/