Mūsdienu pasaulē dati ir galvenā sastāvdaļa interneta lietojumprogrammu un parasti ietver:
- Lapas apmeklējumi un klikšķi
- Lietotāju darbības
- Notikumi, kas atbilst pieteikšanās reizēm
- Sociālo tīklu darbības, piemēram, atzīmes Patīk, kopīgošana un komentāri
- Lietojumprogrammas metrika (piemēram, žurnāli, lapas ielādes laiks, veiktspēja utt.)
Šis datus var izmantot analīzes veikšanai reāllaikā kalpo dažādiem mērķiem, no kuriem daži ir:
- Reklāmu piegāde
- Nenormālas lietotāju uzvedības izsekošana
- Meklēšanas parādīšana, pamatojoties uz atbilstību
- Tiek rādīti ieteikumi, pamatojoties uz iepriekšējām darbībām
Problēma: Apkopot visus datus nav viegli, jo dati tiek ģenerēti no dažādiem avotiem dažādos formātos
Risinājums: Viens no šīs problēmas risināšanas veidiem ir ziņojumapmaiņas sistēmas izmantošana. Ziņojumapmaiņas sistēmas nodrošina nevainojamu integrāciju starp izplatītajām lietojumprogrammām ar ziņojumu palīdzību.
Apache Kafka:
Apache Kafka ir izplatīta abonēšanas ziņojumapmaiņas sistēma, kas sākotnēji tika izstrādāta LinkedIn un vēlāk kļuva par daļu no Apache projekta. Kafka ir ātrs, veikls, pielāgojams un izplatīts pēc dizaina.
Kafka arhitektūra un terminoloģija:
Temats : Ziņojumu straumi, kas pieder konkrētai kategorijai, sauc par tēmu
Ražotājs: Ražotājs var būt jebkura lietojumprogramma, kas var publicēt ziņojumus par tēmu
Patērētājs: Patērētājs var būt jebkura lietojumprogramma, kas abonē tēmas un patērē ziņojumus
kas ir jit kompilators java
Brokeris: Kafka kopa ir serveru kopums, no kuriem katru sauc par brokeri
Kafka ir mērogojama un ļauj izveidot vairāku veidu kopas.
- Viena mezgla viena brokera kopa
- Viena mezgla vairāku brokeru kopa
- Vairāki mezgli Vairāku brokeru kopa
Viena mezgla viens brokeris
Kāda ir ZooKeeper loma?
komentāru veidi java
Katrs Kafka brokeris sadarbojas ar citiem Kafka brokeriem, izmantojot ZooKeeper. ZooKeeper dienests paziņo ražotājiem un patērētājiem par jaunu brokeru klātbūtni vai brokera kļūmi sistēmā Kafka.
Viena mezgla vairāki brokeri
Vairāki mezgli Vairāki brokeri
Kafka @ LinkedIn
LinkedIn Newsfeed nodrošina Kafka
LinkedIn ieteikumus nodrošina Kafka
LinkedIn paziņojumus nodrošina Kafka
Piezīme: Bez tam, LinkedIn izmanto Kafka daudziem citiem uzdevumiem, piemēram, žurnāla uzraudzībai, veiktspējas rādītājiem, meklēšanas uzlabošanai.
Kas vēl lieto Kafka?
DataSift: DataSift izmanto Kafka kā uzraudzības notikumu apkopotāju un reāllaikā izsekotu lietotāju datu plūsmu patēriņu
Wooga: Wooga izmanto Kafka, lai apkopotu un apstrādātu izsekošanas datus no visām savām Facebook spēlēm (kuras mitina dažādi pakalpojumu sniedzēji) centrālā vietā
Spongecell: Spongecell izmanto Kafka, lai palaistu visu analīzi un uzraudzības cauruļvadu, vadot gan reāllaika, gan ETL lietojumprogrammas
Loggly: Loggly ir pasaulē populārākā mākoņdatošanas žurnālu pārvaldība. Tā izmanto Kafka baļķu savākšanai.
Salīdzinošais pētījums: Kafka pret ActiveMQ pret RabbitMQ
Kafka ir efektīvāks krātuves formāts. Vidēji katram ziņojumam ir 9 baitu papildu izmaksas Kafka, salīdzinot ar 144 baitiem programmā ActiveMQ.
Gan ActiveMQ, gan RabbitMQ starpnieki saglabā katra ziņojuma piegādes stāvokli, rakstot uz disku, bet Kafka gadījumā diska rakstīšanas nav, tādējādi padarot to ātrāku.
Java programmas pamatstruktūra
Ar plašu Kafka ieviešanu ražošanā tas izskatās daudzsološs risinājums reālās pasaules problēmu risināšanai. Apache Kafka apmācība var palīdzēt apsteigt vienaudžus reāllaika analītiķu karjerā. Sāciet ar Apache Kafka apmācību šeit .
Vai mums ir jautājums? Lūdzu, pieminējiet to komentāru sadaļā, un mēs ar jums sazināsimies.
Saistītās ziņas: