Wir richten in diesem Beispiel einen Thrift Client ein, der seine Events über Flume ins Hadoop Filesystem (HDFS) schreibt.

Hier wird das Setup eines Thrift RPC Servers auf Basis von PHP erläutert. Der Server wird den Austausch von strukturierten und unstrukturierten Daten erlauben.

In diesem Beispiel entwickeln wir eine skalierbare Anwendung mit Hadoop.
Von der Datenaggregation auf den Nodes, über die Auswertung in Hadoop und den Transfer zurück soll ein kompletter Kreislauf entstehen.

Hier erfahrt ihr wie ihr den LZO Kompressionsalgorithmus in Cloudera Flume einrichtet.

Hier erfahrt ihr wie ihr Cloudera Flume einrichtet.

Skalierbare Systeme sind oft über mehrere Server verteilt und all diese Systeme sammeln Daten, die man zentral auswerten möchte.
Doch wie überträgt man diese Daten möglichst zuverlässig und schnell auf einen zentralen Server?