Apache Kafka

Apache Kafka se používá pro budování real-time datových přenosů a streamingových aplikací. Je horizontálně škálovatelný, odolný proti výpadkům, rychlý a funguje v produkčním nasazení u tisíců společností. Kafka cluster ukládá streamy záznamů v kategoriích zvaných topic. Každý záznam se skládá z klíče, hodnoty a časového razítka.

Kafka má API čtyři klíčové funkční části:
– Producer API umožňuje aplikacím publikovat streamovací záznamy do jednoho nebo více Kafka topiců
– Consumer API umožňuje aplikacím se přihlásit k odběru jednoho nebo více topiců a zpracovat stream záznamů do nich plynoucí
– Streams API umožňuje aplikacím pracovat jako stream procesor, konzumovat vstupní stream z jednoho nebo více topiců a tvořit výstupní stream do jednoho nebo více výstupních topiců, a přitom efektivně transformovat vstupní streamy na výstupní
– Connector API dovoluje tvořit a spouštět opakovatelné producery a consumery, které propojují Kafka topicy s existujícími aplikacemi nebo datovými systémy. Například, konektor do relační databázi může zachycovat každou změnu do tabulky.

Behaim staví na více než deseti letech zkušeností z real-time integrace a práce s API. Ty tvoří bázi znalostí, které nám dovolují Kafku efektivně instalovat, nastavit, konfigurovat a produkčně nasadit. Tým má potřebné znalosti implementace producerů, consumerů, streamů a konektorů.