Apache Hadoop

Apache Hadoop je open-source softwarový framework používaný pro distribuované uložení a zpracování velkých objemů dat. Skládá se z počítačových clusterů vybudovaných z běžného hardware. Podporuje řadu bezpečnostních standardů a funkcionalit jako SSL, autentifikace přes Kerberos, šifrování „at rest“ nebo autorizaci pomocí rolí pro to, aby byla podniková data uložena bezpečně a byla dostupná pouze uživatelům, kterým jsou určena.

Základní framework se skládá z několika modulů:
– Hadoop Common – obsahuje knihovny a nástroje potřebné pro další Hadoop moduly
– Hadoop Distributed File System (HDFS) – distribuovaný souborový systém, který ukládá data na běžných počítačích a poskytuje vysokou agregovanou propustnost v rámci clusteru
– Hadoop YARN – resource-management platforma zodpovědná za správu počítačových zdrojů  v clusteru a jejich použití pro plánování uživatelských aplikací

Hadoop MapReduce – implementace programovacího modelu MapReduce pro zpracování velkých objemů dat.

S Hadoop core frameworkem má Behaim více než 2 roky zkušeností:

• Instalace clusterů – nastavení, konfigurace a produkční podpora
• Konfigurace bezpečnosti, mj. napojení na Kerberos a LDAP
• Datová bezpečnost – encryption zones