Hier erfahrt ihr wie ihr ApacheHadoop installiert. Dazu wird die Cloudera Distribution von Hadoop verwendet.

Wir richten in diesem Beispiel einen Thrift Client ein, der seine Events über Flume ins Hadoop Filesystem (HDFS) schreibt.

Hier erfahrt ihr wie ihr Elephant Bird installiert. Elephant Bird stellt Bibliotheken von Twitter für LZO, Thrift, Protocol Buffer und anderen Hadoop verwandten Projekten zur Verfügung.
Es enthält Tools für Pig, Hive SerDe, HBase, uvm

In diesem Beispiel entwickeln wir eine skalierbare Anwendung mit Hadoop.
Von der Datenaggregation auf den Nodes, über die Auswertung in Hadoop und den Transfer zurück soll ein kompletter Kreislauf entstehen.

Hier erfahrt ihr wie ihr den LZO Kompressionsalgorithmus in Cloudera Flume einrichtet.

Hier erfahrt ihr wie ihr Cloudera Flume einrichtet.

Hier erfahrt ihr wie ihr den LZO Kompressionsalgorithmus in Hadoop einrichtet.

Für eine effiziente Nutzung riesiger Datenmengen benötigt man ein Format um die Daten abzuspeichern.
Daten in diesem Format sollen schnell erzeugt werden können, sie sollen wenig Netzwerkbandbreite verursachen und wenig Festplattenspeicher verbrauchen.

Skalierbare Systeme sind oft über mehrere Server verteilt und all diese Systeme sammeln Daten, die man zentral auswerten möchte.
Doch wie überträgt man diese Daten möglichst zuverlässig und schnell auf einen zentralen Server?