Kas ir datu zinātne? Datu zinātnes ceļvedis iesācējiem

Kad pasaule ienāca lielo datu laikmetā, pieauga arī vajadzība pēc to glabāšanas. Tas bija galvenais izaicinājums un rūpes uzņēmumu nozarēs līdz 2010. gadam. Galvenā uzmanība tika koncentrēta uz datu glabāšanas ietvara un risinājumu izveidi. Tagad, kad Hadoop un citi ietvari ir veiksmīgi atrisinājuši krātuves problēmu, uzmanība ir pievērsta šo datu apstrādei. Datu zinātne šeit ir slepenā mērce. Visas idejas, kuras redzat Holivudas zinātniskās fantastikas filmās, Data Science faktiski var pārvērst realitātē. Datu zinātne ir mākslīgā intelekta nākotne. Tāpēc ir ļoti svarīgi saprast, kas ir Datu zinātne un kā tā var dot vērtību jūsu biznesam.

Šajā emuārā es apskatīšu šādas tēmas.

• Kas ir datu zinātne?
• Kāpēc datu zinātne?
• Kas ir datu zinātnieks?
  • Ko dara datu zinātnieks?
• Kā tas atšķiras no biznesa inteliģences (BI) un datu zinātnes?
• Datu zinātnes dzīves cikls ar lietošanas gadījuma palīdzību

Šī emuāra beigās jūs varēsiet saprast, kas ir Datu zinātne, un tās lomu jēgpilnu ieskatu iegūšanā no sarežģītajiem un lielajiem datu kopumiem mums visapkārt.Lai iegūtu padziļinātas zināšanas par datu zinātni, varat reģistrēties tiešraidē autors Edureka ar diennakts atbalstu un piekļuvi mūža garumā.

Kas ir datu zinātne?

Datu zinātne ir dažādu rīku, algoritmu un mašīnmācīšanās principu apvienojums ar mērķi atklāt slēptus modeļus no neapstrādātiem datiem. Bet ar ko tas atšķiras no tā, ko statistiķi dara gadiem ilgi?

Atbilde slēpjas atšķirībā starp skaidrojumu un prognozēšanu.

Kā redzat no iepriekš minētā attēla, datu analītiķisparasti paskaidro notiekošo, apstrādājot datu vēsturi. No otras puses, Data Scientist ne tikai veic izpētes analīzi, lai atklātu no tās ieskatu, bet arī izmanto dažādus uzlabotus mašīnmācīšanās algoritmus, lai identificētu konkrēta notikuma rašanos nākotnē. Datu zinātnieks aplūkos datus no daudziem leņķiem, dažreiz no iepriekš nezinātiem leņķiem.

Datu zinātni galvenokārt izmanto, lai pieņemtu lēmumus un prognozētu, izmantojot prognozējošo cēloņsakarību analīzi, recepšu analīzi (prognozējošā plus lēmumu zinātne) un mašīnmācīšanos.

• Paredzamā cēloņsakarības analīze - Ja vēlaties modeli, kas var paredzēt konkrēta notikuma iespējas nākotnē, jums jāpielieto prognozējošā cēloņsakarība. Pieņemsim, ka, ja jūs piešķirat naudu kredītam, tad jūsu bažas rada varbūtība, ka klienti savlaicīgi veiks kredītmaksājumus nākotnē. Šeit jūs varat izveidot modeli, kas var veikt klienta maksājumu vēstures prognozējošu analīzi, lai prognozētu, vai nākotnes maksājumi notiks laikā vai nē.

• Recepšu analīze: Ja vēlaties modeli, kuram ir saprāts par savu lēmumu pieņemšanu un spēja modificēt to ar dinamiskiem parametriem, tam noteikti ir nepieciešami priekšraksti. Šī salīdzinoši jaunā joma ir par konsultāciju sniegšanu. Citiem vārdiem sakot, tas ne tikai paredz, bet arī ierosina virkni noteikto darbību un saistītos rezultātus.
  Labākais piemērs tam ir Google pašpiedziņas automašīna, par kuru es biju runājis arī iepriekš. Transportlīdzekļu apkopotos datus var izmantot, lai apmācītu pašpiedziņas automašīnas. Šiem datiem varat palaist algoritmus, lai tos piesaistītu. Tas ļaus jūsu automašīnai pieņemt lēmumus, piemēram, kad pagriezties, kuru ceļu izvēlēties,kad palēnināt vai paātrināt.

• Mašīnmācība pareģojumu veikšanai - Ja jums ir finanšu uzņēmuma darījumu dati un jums ir jāizveido modelis, lai noteiktu nākotnes tendenci, tad vislabākais ir mašīnmācīšanās algoritmi. Tas ietilpst uzraudzītas mācīšanās paradigmā. To sauc par uzraudzīto, jo jums jau ir dati, pamatojoties uz kuriem jūs varat apmācīt savas mašīnas. Piemēram, krāpšanas atklāšanas modeli var apmācīt, izmantojot vēsturisku krāpniecisku pirkumu reģistru.

• Mašīnmācīšanās modeļa atklāšanai - Ja jums nav parametru, pamatojoties uz kuriem jūs varat veikt prognozes, jums ir jānoskaidro datu kopā paslēptie modeļi, lai varētu veikt jēgpilnas prognozes. Tas ir nekas cits kā nepieskatīts modelis, jo jums nav iepriekš definētu iezīmju grupēšanai. Visizplatītākais rakstu atklāšanai izmantotais algoritms ir klasterošana.
  Pieņemsim, ka jūs strādājat telefonu uzņēmumā, un jums ir jāizveido tīkls, reģionā novietojot torņus. Pēc tam jūs varat izmantot kopu veidošanas tehniku, lai atrastu tās torņu vietas, kas nodrošinās, ka visi lietotāji saņem optimālu signāla stiprumu.

Apskatīsim, kā iepriekš aprakstīto pieeju īpatsvars atšķiras datu analīzē, kā arī datu zinātnē. Kā redzat attēlā zemāk, Datu analīzeietver aprakstošu analīzi un prognozēšanu zināmā mērā. No otras puses, datu zinātne vairāk attiecas uz prediktīvu cēloņu analīzi un mašīnmācīšanos.

Tagad, kad jūs zināt, kas īsti ir datu zinātne, tagad uzziniet iemeslu, kāpēc tas vispār bija vajadzīgs.

Kāpēc datu zinātne?

• Tradicionāli mūsu rīcībā esošie dati lielākoties bija strukturēti un maza apjoma, kurus varēja analizēt, izmantojot vienkāršus BI rīkus.Atšķirībā notradicionālās sistēmas, kas galvenokārt bija strukturētas, šodien lielākā daļa datu ir nestrukturēti vai daļēji strukturēti. Apskatīsim datu tendences zemāk redzamajā attēlā, kas parāda, ka līdz 2020. gadam vairāk nekā 80% datu būs nestrukturēti.
  
  Šie dati tiek ģenerēti no dažādiem avotiem, piemēram, finanšu žurnāliem, teksta failiem, multivides veidlapām, sensoriem un instrumentiem. Vienkārši BI rīki nespēj apstrādāt šo milzīgo datu apjomu un dažādību. Tāpēc mums ir nepieciešami sarežģītāki un progresīvāki analītiskie rīki un algoritmi, lai no tiem apstrādātu, analizētu un izvilktu nozīmīgas atziņas.

Tas nav vienīgais iemesls, kāpēc Datu zinātne ir kļuvusi tik populāra. Padziļināsimies un redzēsim, kā datu zinātne tiek izmantota dažādās jomās.

• Kā būtu, ja no esošajiem datiem, piemēram, klienta iepriekšējās pārlūkošanas vēstures, pirkumu vēstures, vecuma un ienākumiem, varētu saprast precīzas klientu prasības. Nav šaubu, ka visi šie dati jums bija arī agrāk, taču tagad, ņemot vērā milzīgo datu apjomu un daudzveidību, jūs varat efektīvāk apmācīt modeļus un precīzāk ieteikt produktu saviem klientiem. Vai tas nebūtu pārsteidzoši, jo tas jūsu organizācijai piesaistīs vairāk uzņēmumu?

• Pieņemsim citu scenāriju, lai izprastu datu zinātnes lomu lēmumu pieņemšana.Kā būtu, ja jūsu automašīnai būtu saprāta, lai jūs aizvestu mājās? Pašbraucošās automašīnas vāc datus no sensoriem, tostarp radariem, kamerām un lāzeriem, lai izveidotu apkārtnes karti. Pamatojoties uz šiem datiem, tiek pieņemti lēmumi, piemēram, kad paātrināt, kad paātrināt, kad apdzīt, kur pagriezties - izmantojot uzlabotus mašīnmācīšanās algoritmus.
• Apskatīsim, kā Data Science var izmantot prognozēšanas analīzē. Ņemsim par piemēru laika prognozēšanu. Datus no kuģiem, lidmašīnām, radariem, satelītiem var savākt un analizēt, lai izveidotu modeļus. Šie modeļi ne tikai prognozēs laika apstākļus, bet arī palīdzēs prognozēt jebkādu dabas katastrofu rašanos. Tas palīdzēs jums iepriekš veikt atbilstošus pasākumus un izglābt daudzas dārgas dzīvības.

Apskatīsim zemāk redzamo infografiku, lai redzētu visus domēnus, kuros Data Science rada savu iespaidu.

Kas ir datu zinātnieks?

Datu zinātniekiem ir pieejamas vairākas definīcijas. Vienkārši sakot, datu zinātnieks ir tas, kurš praktizē datu zinātnes mākslu.Termins “datu zinātnieks” ir bijisizdomāts, ņemot vērā faktu, ka datu zinātnieks no zinātnes jomām un lietojumprogrammām iegūst daudz informācijas, neatkarīgi no tā, vai tā ir statistika vai matemātika.

Ko dara datu zinātnieks?

Datu zinātnieki ir tie, kas novērš sarežģītas datu problēmas ar savu spēcīgo pieredzi noteiktās zinātniskajās disciplīnās. Viņi strādā ar vairākiem elementiem, kas saistīti ar matemātiku, statistiku, datorzinātnēm utt. (Lai arī viņi var nebūt eksperti visās šajās jomās).Viņi daudz izmanto jaunākās tehnoloģijas, meklējot risinājumus un izdarot secinājumus, kas ir izšķiroši organizācijas izaugsmei un attīstībai. Datu zinātnieki datus sniedz daudz noderīgākā formā, salīdzinot ar sākotnējiem datiem, kas viņiem pieejami gan strukturētās, gan nestrukturētās formās.

Lai uzzinātu vairāk par datu zinātnieku, varat atsaukties uz šo rakstu

Virzoties tālāk, ļaujiet tagad apspriest BI. Esmu pārliecināts, ka arī jūs, iespējams, esat dzirdējuši par biznesa inteliģenci (BI). Bieži vien Data Science tiek sajaukts ar BI. Es teikšu dažus kodolīgus un skaidruskontrasti starp abiem, kas palīdzēs jums labāk izprast. Paskatīsimies.

Biznesa inteliģence (BI) pret datu zinātni

• Biznesa inteliģence (BI) pamatā analizē iepriekšējos datus, lai atrastu pārredzamību un ieskatu, lai aprakstītu biznesa tendences. Šeit BI ļauj ņemt datus no ārējiem un iekšējiem avotiem, sagatavot tos, izpildīt tajā vaicājumus un izveidot informācijas paneļus, lai atbildētu uz tādiem jautājumiem kā:ceturkšņa ieņēmumu analīzevai biznesa problēmas. BI var novērtēt noteiktu notikumu ietekmi tuvākajā nākotnē.

• Datu zinātne ir perspektīvāka pieeja, izpētes veids, koncentrējoties uz pagātnes vai pašreizējo datu analīzi un nākotnes rezultātu prognozēšanu, lai pieņemtu pamatotus lēmumus. Tas atbild uz atklātajiem jautājumiem par “kas” un “kā” notikumiem.

Apskatīsim dažas kontrastējošas funkcijas.

Tas viss bija par to, kas ir datu zinātne, tagad sapratīsim datu zinātnes dzīves ciklu.

Datu zinātnes projektos bieži pieļauta kļūda ir datu vākšana un analīze, nesaprotot prasības vai pat pareizi noformējot biznesa problēmu. Tāpēc jums ir ļoti svarīgi ievērot visas datu zinātnes dzīves cikla fāzes, lai nodrošinātu vienmērīgu projekta darbību.

Kā atrast lielāko masīva java numuru

Datu zinātnes dzīves cikls

Šeit ir īss datu zinātnes dzīves cikla galveno posmu pārskats:

1. fāze - atklāšana: Pirms sākat projektu, ir svarīgi saprast dažādas specifikācijas, prasības, prioritātes un nepieciešamo budžetu. Jums jābūt spējai uzdot pareizos jautājumus.Šeit jūs novērtējat, vai jums ir vajadzīgie resursi attiecībā uz cilvēkiem, tehnoloģijām, laiku un datiem, lai atbalstītu projektu.Šajā posmā jums arī jāformulē biznesa problēma un jāformulē sākotnējās hipotēzes (IH), lai tās pārbaudītu.

2. posms - datu sagatavošana: Šajā posmā jums nepieciešama analītiska smilškaste, kurā varat veikt analīzi visā projekta darbības laikā. Pirms modelēšanas jums jāizpēta, jāapstrādā un jāapstrādā dati par stāvokli. Tālāk jūs veicat ETLT (izvilkt, pārveidot, ielādēt un pārveidot), lai datus ievadītu smilšu kastē. Apskatīsim zemāk redzamo statistiskās analīzes plūsmu.

R var izmantot datu tīrīšanai, pārveidošanai un vizualizēšanai. Tas palīdzēs jums noteikt nepieļautos rādītājus un izveidot saikni starp mainīgajiem.Kad esat iztīrījis un sagatavojis datus, ir pienācis laiks veikt izpētes darbuanalītikauz tā. Apskatīsim, kā jūs to varat sasniegt.

3. posms - modeļa plānošana: Šeit jūs noteiksit metodes un paņēmienus, kā uzzināt sakarības starp mainīgajiem.Šīs attiecības noteiks pamatu algoritmiem, kurus jūs ieviesīsit nākamajā posmā.Jūs izmantosiet izpētes datu analīzi (EDA), izmantojot dažādas statistikas formulas un vizualizācijas rīkus.

Apskatīsim dažādus modeļu plānošanas rīkus.

1. R ir pilns modelēšanas iespēju komplekts un nodrošina labu vidi interpretējošu modeļu veidošanai.
2. SQL analīzes pakalpojumi var veikt datu bāzē veiktu analīzi, izmantojot parastās datu ieguves funkcijas un pamata prognozēšanas modeļus.
3. SAS / PIEEJA var izmantot, lai piekļūtu datiem no Hadoop, un to izmanto, lai izveidotu atkārtojamas un atkārtoti izmantojamas modeļa plūsmas diagrammas.

Lai gan tirgū ir daudz rīku, bet R ir visbiežāk izmantotais rīks.

Tagad, kad esat guvis ieskatu par savu datu būtību un esat izlēmis izmantot algoritmus. Nākamajā posmā jūs to darīsitpieteiktiesalgoritmu un izveidotu modeli.

4. fāze - modeļa veidošana: Šajā posmā jūs izstrādājat datu kopas apmācības un testēšanas vajadzībām. Šeit yJums jāapsver, vai modeļu darbībai pietiks ar jūsu esošajiem rīkiem, vai arī tam būs nepieciešama stingrāka vide (piemēram, ātra un paralēla apstrāde). Lai izveidotu modeli, jūs analizēsiet dažādas mācību metodes, piemēram, klasifikāciju, asociāciju un kopu veidošanu.

Jūs varat sasniegt modeļa izveidi, izmantojot šādus rīkus.

algoritms kārtot c ++

5. fāze - darbība: Šajā posmā jūs iesniedzat gala ziņojumus, instruktāžas, kodu un tehniskos dokumentus.Turklāt dažreiz izmēģinājuma projekts tiek īstenots arī reāllaika ražošanas vidē. Tas sniegs skaidru priekšstatu par veiktspēju un citiem saistītiem ierobežojumiem nelielā apjomā pirms pilnīgas izvietošanas.

6. fāze - paziņojiet rezultātus: Tagad ir svarīgi novērtēt, vai esat spējis sasniegt savu mērķi, kuru bijāt ieplānojis pirmajā posmā. Tātad pēdējā posmā jūs identificējat visus galvenos atklājumus, paziņojat ieinteresētajām personām un nosakāt, vai rezultāti irprojekta veiksme vai neveiksme, pamatojoties uz 1. posmā izstrādātajiem kritērijiem.

Tagad es veikšu gadījumu izpēti, lai izskaidrotu jums dažādas iepriekš aprakstītās fāzes.

Gadījuma izpēte: Diabēta profilakse

Ko darīt, ja mēs varētu prognozēt diabēta rašanos un iepriekš veikt atbilstošus pasākumus, lai to novērstu?
Šajā lietošanas gadījumā mēs prognozēsim diabēta rašanos, izmantojot visu iepriekš apspriesto dzīves ciklu. Iziesim dažādus soļus.

1. darbība:

• Pirmkārt,mēs apkoposim datus, pamatojoties uz slimības vēsturipacienta stāvokli, kā aprakstīts 1. fāzē. Zemāk varat atsaukties uz parauga datiem.

• Kā redzat, mums ir dažādi atribūti, kas minēti zemāk.

Atribūti:

1. npreg - grūtniecību skaits
2. glikoze - glikozes koncentrācija plazmā
3. bp - asinsspiediens
4. āda - tricepsa ādas krokas biezums
5. bmi - ķermeņa masas indekss
6. ped - Diabēta ciltsdarba funkcija
7. vecums - vecums
8. ienākumi - ienākumi

2. darbība:

• Tagad, kad mums ir dati, mums tie jātīra un jāsagatavo dati datu analīzei.
• Šiem datiem ir daudz pretrunu, piemēram, trūkstošās vērtības, tukšas kolonnas, pēkšņas vērtības un nepareizs datu formāts, kas jātīra.
• Šeit mēs esam sakārtojuši datus vienā tabulā ar dažādiem atribūtiem - padarot tos strukturētākus.
• Apskatīsim tālāk sniegtos datu paraugus.

Šiem datiem ir daudz pretrunu.

1. Kolonnā npreg , “Viens” ir rakstītsvārdi,tā kā tam jābūt ciparu formā, piemēram, 1.
2. Kolonnā bp viena no vērtībām ir 6600, kas nav iespējams (vismaz cilvēkiem) jo bp nevar sasniegt tik milzīgu vērtību.
3. Kā redzat Ienākumi kolonna ir tukša, un arī nav jēgas prognozēt diabētu. Tāpēc ir lieki to šeit atrast un tas ir jānoņem no galda.

• Tātad, mēs šos datus iztīrīsim un iepriekš apstrādāsim, noņemot novirzes, aizpildot nulles vērtības un normalizējot datu tipu. Ja atceraties, šī ir mūsu otrā fāze, kas ir datu pirmapstrāde.
• Visbeidzot, mēs iegūstam tīrus datus, kā parādīts zemāk, kurus var izmantot analīzei.

3. solis:

Tagad veiksim nelielu analīzi, kā tika apspriests iepriekš 3. fāzē.

• Pirmkārt, mēs datus ielādēsim analītiskajā smilšu kastē un pielietosim tajā dažādas statistikas funkcijas. Piemēram, R ir tādas funkcijas kā apraksta kas dod mums trūkstošo vērtību un unikālo vērtību skaitu. Mēs varam izmantot arī kopsavilkuma funkciju, kas sniegs mums statistikas informāciju, piemēram, vidējās, vidējās, diapazona, min un max vērtības.
• Pēc tam mēs izmantojam vizualizācijas paņēmienus, piemēram, histogrammas, līniju diagrammas, lodziņu diagrammas, lai iegūtu patiesu priekšstatu par datu izplatīšanu.

4. solis:

Tagad, pamatojoties uz ieskatiem, kas iegūti no iepriekšējā soļa, vislabāk šāda veida problēmai ir lēmumu koks. Paskatīsimies kā?

• Tā kā mums jau ir galvenie analīzes atribūti, piemēram, npreg, bmi utt., tāpēc mēs izmantosimuzraudzīta mācību tehnika, lai izveidotu amodelis šeit.
• Turklāt mēs īpaši izmantojām lēmumu koku, jo tas vienā piegājienā ņem vērā visus atribūtus, piemēram, tos, kuriem irkā arī tiem, kuriem ir nelineāra sakarība. Mūsu gadījumā mums ir lineāra sakarība starp npreg un vecums, tā kā nelineārās attiecības starp npreg un ped .
• Lēmumu koku modeļi ir arī ļoti izturīgi, jo mēs varam izmantot dažādas atribūtu kombinācijas, lai izveidotu dažādus kokus un pēc tam visbeidzot ieviestu to ar maksimālu efektivitāti.

Apskatīsim mūsu lēmumu koku.

Šeit vissvarīgākais parametrs ir glikozes līmenis, tāpēc tas ir mūsu saknes mezgls. Tagad pašreizējais mezgls un tā vērtība nosaka nākamo svarīgo parametru, kas jāņem. Tas turpinās, līdz mēs iegūstam rezultātu izteiksmē poz vai neg . Pos nozīmē, ka diabēta tendence ir pozitīva, un neg nozīmē, ka cukura diabēta tendence ir negatīva.

Ja vēlaties uzzināt vairāk par lēmumu koka ieviešanu, skatiet šo emuāru

5. darbība:

Šajā posmā mēs veiksim nelielu izmēģinājuma projektu, lai pārbaudītu, vai mūsu rezultāti ir atbilstoši. Mēs arī meklēsim veiktspējas ierobežojumus, ja tādi ir. Ja rezultāti nav precīzi, mums modelis jāpārplāno un jāatjauno.

6. solis:

Kad būsim veiksmīgi izpildījuši projektu, mēs kopīgi izmantosim produkciju pilnīgai izvietošanai.

Būt par datu zinātnieku ir vieglāk pateikt nekā izdarīt. Apskatīsim, kas jums ir nepieciešams, lai būtu datu zinātnieks.Datu zinātniekam būtībā nepieciešamas prasmesno trim galvenajiem apgabaliem, kā parādīts zemāk.

Kā redzat iepriekš redzamajā attēlā, jums jāapgūst dažādas smagas prasmes un maigas prasmes. Jums jāprot labi statistiku un matemātika analizēt un vizualizēt datus. Lieki piebilst, Mašīnmācīšanās veido Datu zinātnes pamatu un prasa, lai jūs tajā labi darbotos. Turklāt jums ir labi jāpārzina domēns jūs strādājat, lai skaidri saprastu biznesa problēmas. Jūsu uzdevums šeit nebeidzas. Jums vajadzētu būt iespējai realizēt dažādus algoritmus, kas prasa labu kodēšana prasmes. Visbeidzot, kad esat pieņēmis noteiktus galvenos lēmumus, jums ir svarīgi tos nodot ieinteresētajām personām. Tik labi komunikācija noteikti papildinās jūsu prasmēm braunija punktus.

Es aicinu jūs apskatīt šo Data Science video pamācību, kas izskaidro, kas ir Data Science, un visu, ko mēs esam apskatījuši emuārā. Uz priekšu, izbaudiet video un pastāstiet man, ko domājat.

Kas ir datu zinātne? Datu zinātnes kurss - datu zinātnes apmācība iesācējiem Edureka

Šis Edureka Data Science kursa video iepazīstinās ar datu zinātnes nepieciešamību, kas ir datu zinātne, datu zinātnes izmantošanas gadījumi uzņēmējdarbībai, BI pret datu zinātni, datu analīzes rīki, datu zinātnes dzīves cikls kopā ar demonstrāciju.

Galu galā nebūs nepareizi teikt, ka nākotne pieder datu zinātniekiem. Tiek prognozēts, ka līdz 2018. gada beigām būs nepieciešami aptuveni viens miljons datu zinātnieku. Arvien vairāk datu sniegs iespējas vadīt galvenos biznesa lēmumus. Drīz tas mainīs to, kā mēs skatāmies uz pasauli, kuru apņem ar datiem ap mums. Tāpēc datu zinātniekam vajadzētu būt augsti kvalificētam un motivētam atrisināt vissarežģītākās problēmas.

Es ceru, ka jums patika lasīt manu emuāru un sapratāt, kas ir Data Science.Pārbaudiet mūsu šeit tas nāk ar instruktoru vadītu tiešraides apmācību un reālās dzīves projektu pieredzi.