Apache Sqoop – Behaim IT Solutions
Menu

Apache Sqoop

Sqoop je command-line nástroj pro efektivní obousměrné přenosy dat mezi Hadoopem a strukturovanými datovými úložišti jako jsou relační databáze. Název Sqoop vznikl kombinací názvů SQL and Hadoop. Sqoop se stal populárním Apache projektem v  březnu 2012.

Sqoop dovoluje provádět v offline módu některé úlohy (např. ETL zpracování) z EDW do Hadoopu díky efektivnímu zpracování a nízkým nárokům na systémové zdroje. Sqoop může být také použit pro export dat z Hadoopu do externí strukturované databáze. Sqoop pracuje s relačními databázemi jako Oracle, Microsoft SQL Server, Teradata, Oracle, MySQL, Postgres a HSQLDB.

Podporuje inkrementální plnění jedné tabulky nebo free-form SQL dotazy, případně uložené joby spouštěné opakovaně a provádějící import změn provedených do databáze od předchozího importu. Importy mohou také plnit tabulky v Hive nebo HBase.

BehaimApache Sqoop několik let zkušeností s typickými činnostmi jako:

  • Příprava a provádění importních skriptů (včetně inkrementálních plnění)
  • Příprava a provádění exportních skriptů
  • Optimalizace datových úložišť (formát souborů parquet atd.)

Kontaktujte nás

Behaim IT Solutions
Horní náměstí 371/1
779 00 Olomouc, Czech Republic
Tel: +420 734 174 043

Kontaktujte nás

  • This field is for validation purposes and should be left unchanged.