In diesem Lernprogramm verbinden Sie ein Datenerfassungssystem mit Azure Databricks, um Daten nahezu in Echtzeit in einen Apache Spark-Cluster zu streamen. Sie richten ein Datenaufnahmesystem mithilfe von Azure-Ereignis-Hubs ein und verbinden es dann mit Azure Databricks, um die übermittelten Nachrichten zu verarbeiten. Um auf einen Datenstrom zuzugreifen, verwenden Sie Twitter-APIs, um Tweets in Event Hubs einzubinden. Sobald Sie die Daten in Azure Databricks gespeichert haben, können Sie analytische Jobs ausführen, um die Daten weiter zu analysieren.
Am Ende dieses Tutorials hätten Sie Tweets von Twitter gestreamt (mit dem Begriff "Azure") und die Tweets in Azure Databricks gelesen.
Die folgende Abbildung zeigt den Anwendungsablauf:
Azure Databricks mit Ereignis-Hubs
In diesem Lernprogramm werden die folgenden Aufgaben behandelt:
- Erstellen Sie einen Azure Databricks-Arbeitsbereich
- Erstellen Sie in Azure Databricks einen Spark-Cluster
- Erstellen Sie eine Twitter-App, um auf Streaming-Daten zuzugreifen
- Erstellen Sie Notizbücher in Azure Databricks
- Hängen Sie Bibliotheken für Event Hubs und Twitter API an
- Senden Sie Tweets an Event Hubs
- Lesen Sie Tweets von Event Hubs
hier gelangen Sie zum Tutorial:
https://docs.microsoft.com/en-us/azure/azure-databricks/databricks-stream-from-eventhubs?
