Apache Falcon: jauna datu pārvaldības platforma Hadoop ekosistēmai



Apache Falcon ir jauna datu pārvaldības platforma Hadoop ekosistēmai, kas vienkāršo plūsmas apstrādi un plūsmas pārvaldību hadoop kopās. Uzziniet, kā to iestatīt.

Apache Falcon ir sistēma datu dzīves cikla pārvaldībai Hadoop kopās. Tas nodibina saikni starp dažādiem datiem un apstrādes elementiem Hadoop vidē, kā arī nodrošina plūsmas pārvaldības pakalpojumus, piemēram, plūsmas saglabāšanu, replikācijas kopās, arhivēšanu utt.





Vispirms apspriedīsim, kā iestatīt Apache Falcon. Palaidiet tālāk norādīto komandu, lai lejupielādētu Falcon git repozitoriju:

Komanda: git klons https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Lai palaistu piekūnu, vispirms tas jāveido.

Komanda: CD piekūns



Komanda: eksportēt MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

Komanda: mvn clean assembly: montāža -DskipTests -DskipITs

Kad esat izveidojis piekūnu, katalogā / falcon / distro / target / target atradīsit piekūnu pakotni.

Komandas piekūnu izveidei izskatās ļoti viegli, taču, pirms redzat ziņojumu Veiksme, jums būs jāsaskaras ar daudzām problēmām. Veidojot Hadoop-2.2.0, es saskāros ar daudzām problēmām

Tāpēc, lai izlaistu Falcon celtniecības ciešanas, es jums dodu veiksmīgi izveidotu piekūnu paketi, kuru varat lejupielādēt, izmantojot šo saiti.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Izgrieziet failu, lai iegūtu direktoriju falcon-0.10.

Komanda: unzip piekūns-0.10-SNAPSHOT.zip

Iestatiet flacon vides mainīgos .bashrc failā.

Komanda: sudo gedit .bashrc

Komanda: avots .bashrc

Jūs varat doties uz piekūnu direktoriju un apskatīt tajā esošos failus un direktorijus.

Komanda: CD piekūns-0,10-SNAPSHOT /

Komanda: ls

Piekūnu skriptus varat atrast atkritumu tvertnes direktorijā.

Palaidiet zem komandas, lai palaistu Falcon.

Komanda: ./bin/falcon-start

Jūs redzēsiet, ka tagad darbojas jauns dēmons FalconServer.

Komanda: jps

Komanda: ./bin/falcon admin -versija

vienkārša apvienošanas kārtošanas programma c ++

Atveriet pārlūkprogrammu un dodieties uz vietējais saimnieks: 15000 . Jūs varat redzēt Falcon web ui.

Vai mums ir jautājums? Pieminiet tos komentāru sadaļā, un mēs ar jums sazināsimies.

Saistītās ziņas:

Urbšana uz Apache Drill