A prečo je to veľká úloha?
"Veľké údaje" je nová veda o porozumení a predpovedaní ľudského správania štúdiom veľkých objemov neštruktúrovaných údajov. Veľké údaje sú tiež známe ako prediktívne analytické metódy.
Analýza príspevkov v službe Twitter, kanály Facebooku, eBay vyhľadávania, sledovače GPS a bankomaty sú niektoré veľké príklady dát. Štúdie bezpečnostných videí, dopravných dát, vzorov počasia, príchodov letov, protokolov mobilných telefónnych veží a sledovačov tepovej frekvencie sú iné formy. Veľké údaje sú chaotická nová veda, ktorá sa mení raz za týždeň a len málo odborníkov to všetko rozumie.
Aké sú niektoré príklady veľkých dát v bežnom živote?
Zatiaľ čo väčšina veľkých dátových projektov je veľmi obskurná, existujú úspešné príklady veľkých dát, ktoré ovplyvňujú každodenný život jednotlivcov, firiem a vlád:
Predpovedanie výskytu vírusov: štúdiom sociálno-politických údajov, údajov o počasí a klíme a údajov o nemocniciach / klinických štúdiách teraz vedci predpovedajú výskyt horúčky dengue s výpovednou lehotou 4 týždne.
Vražda proti vraždám : tento veľký projekt údajov predvádza obete vrážd, podozrivých a zločincov vo Washingtone. Obaja ako spôsob, ako spoznať zosnulého a ako zdroj informácií pre ľudí, je tento veľký dátový projekt fascinujúci.
Tranzitné plánovanie cestovania, NYC: Programátor rádiu WNYC Steve Melendez kombinoval on-line plán podchodov s programom cestovného itinerára. Jeho tvorba umožňuje Newyorčanom kliknúť na ich polohu na mape a objaví sa predpoveď časov jazdy vlakov a metra.
Spoločnosť Xerox znížila stratu pracovných síl: práca v call centre je emočne vyčerpávajúca. Spoločnosť Xerox študovala údaje s pomocou profesionálnych analytikov a teraz dokáže predpovedať, ktoré prijímatelia call centra budú s najväčšou pravdepodobnosťou zostať v spoločnosti.
Podpora boja proti terorizmu: prostredníctvom štúdia sociálnych médií, finančných záznamov, rezervácií letov a bezpečnostných údajov môžu orgány činné v trestnom konaní predvídať a nájsť podozrivých z terorizmu skôr, ako vykonajú svoje zlé činy.
Prispôsobenie značkového marketingu založené na recenziach sociálnych médií : Ľudia bez problémov a rýchlo zdieľajú svoje online myšlienky na krčme, reštaurácii alebo fitness centre. Je možné študovať tieto milióny príspevkov v sociálnych médiách a poskytnúť spätnú väzbu spoločnosti o tom, čo ľudia myslia o svojich službách.
Kto používa veľké údaje? Čo robia s ňou?
Mnoho monolitických spoločností využíva veľké údaje na úpravu svojich ponúk a cien, aby maximalizovalo spokojnosť zákazníkov.
- Napríklad obchodný dom Macy používa veľké údaje na úpravu svojich cien za letu pre viac ako 70 miliónov produktov. Dokonca posielajú svojim zákazníkom prispôsobené e-maily na základe toho, čo Macy verí, že ich zaujímajú.
- Policajná odpoveď na bombardovanie v Bostonskom maratóne : pomocou veľkých údajov na štúdium videoklipov a snímok dohľadu policajti mohli rýchlo zúžiť hľadanie podozrivých.
- Morton's Steakhouse používa Twitter na vytiahnutie marketingových kaskadérov, vrátane slávnej New Jersey letiska dodáva porterhouse steak a večeru kreviet.
- Visa používa veľké údaje na identifikáciu a zachytenie podvodníkov. Jednoduché transakcie tu a tam môžu ľahko skrývať nečestného používateľa kreditnej karty, ale pozorným sledovaním miliónov transakcií sa môžu odhaliť modely podvodu.
- Facebook používa veľké údaje na prispôsobenie reklamy . Pri starostlivom štúdiu vašich FB rád a prehliadania zvyklostí, obor sociálnych médií má úžasný pohľad na váš vkus. Reklamy na bočnom paneli, ktoré vidíte vo svojom kanáli na Facebooku, si vyberajú veľmi premyslené a zložité algoritmy, ktoré sledujú vaše zvyky na Facebooku.
Prečo sú veľké údaje taký veľký obchod?
4 veci robia veľké údaje významné:
1. Údaje sú masívne. Nehodí sa na jediný pevný disk , oveľa menej na USB kľúč . Objem údajov ďaleko prevyšuje to, čo ľudská myseľ môže vnímať (myslite na miliardu miliárd megabytov a potom ju znásobte o miliardy).
2. Údaje sú chaotické a neštruktúrované. 50% až 80% veľkých údajov pracuje na konvertovaní a čistení informácií tak, aby bolo možné vyhľadávať a zoraďovať. Iba niekoľko tisíc odborníkov na našej planéte vie vedieť, ako robiť toto vyčistenie údajov. Títo odborníci tiež potrebujú veľmi špecializované nástroje, ako napríklad HPE a Hadoop, aby robili svoje remeslo. Možno, že za desať rokov sa veľkí odborníci na údaje stanú desiatkami, ale zatiaľ sú veľmi vzácnym druhom analytikov a ich práca je stále veľmi obskurná a zdĺhavá.
3. Údaje sa stali komoditou **, ktorú možno predať a kúpiť. Dátové trhy existujú tam, kde spoločnosti a jednotlivci môžu kúpiť terabajty sociálnych médií a iné údaje. Väčšina údajov je založená na oblakoch, pretože je príliš veľká na to, aby sa zmestili na jeden pevný disk. Nakupovanie dát obyčajne zahŕňa poplatok za prihlásenie sa, keď sa pripojíte do farmy cloud serverov.
Vedúci predstavitelia veľkých dátových nástrojov a nápadov sú Amazon, Google, Facebook a Yahoo. Pretože tieto spoločnosti slúžia toľkým miliónom ľudí svojimi online službami, dáva zmysel, že by boli zberným bodom a vizionármi za veľkou analýzou údajov.
4. Možnosti veľkých dát sú nekonečné. Možno lekári jedného dňa predpovedajú infarkty a mŕtvolu jednotlivcom týždne predtým, než sa to stane. Pády lietadiel a automobilov sa môžu znížiť prediktívnymi analýzami ich mechanických údajov a dopravných a meteorologických charakteristík. Online datovania by mohlo byť zlepšené tým, že máte veľké prediktory údajov o tom, kto sú pre vás kompatibilné osobnosti. Hudobníci môžu získať prehľad o tom, čo hudobná skladba je najviac potešujúce pre meniace sa chute cieľového publika. Odborníci v oblasti výživy môžu predpovedať, ktorá kombinácia potravín zakúpených v obchodoch sa zhorší alebo pomôže pri chorobách človeka. Povrch bol poškriabaný a každý týždeň sa objavujú veľké údaje.
Veľké údaje sú nepríjemné
Veľké údaje predstavujú prediktívnu analýzu: konverziu masívnych neštruktúrovaných údajov na niečo vyhľadateľné a usmerňované. Je to neusporiadaný a chaotický priestor, ktorý si vyžaduje zvláštne vedomosti a trpezlivosť.
Vezmite napríklad monolitickú doručovateľskú službu UPS. Programátori spoločnosti UPS zisťujú údaje z GPS a inteligentných telefónov svojich vodičov, aby analyzovali najefektívnejšie spôsoby prispôsobenia dopravným zápcham. Tieto dáta GPS a smartphone sú gargantuanské a nie sú automaticky pripravené na analýzu. Tieto údaje sa prenášajú z rôznych GPS a mapových databáz prostredníctvom rôznych hardvérových zariadení smartphone. Analytici spoločnosti UPS strávili mesiace konverziou všetkých údajov do formátu, ktorý je možné jednoducho vyhľadávať a triediť. Úsilie za to stojí za to. V súčasnosti spoločnosť UPS ušetrila viac ako 8 miliónov galónov paliva, pretože začala používať túto rozsiahlu analýzu údajov.
Pretože veľké údaje sú nepríjemné a vyžadujú toľko úsilia na vyčistenie a prípravu na použitie, vedeckí vedci sa stali prezývkami "dátových šľachtiteľov" za všetku únavnú prácu, ktorú robia.
Veda o veľkých údajoch a prediktívnej analýze sa každým týždňom zlepšuje. Očakávajte veľké údaje, aby ste sa do roku 2025 ľahko sprístupnili každému.
Nie sú veľké údaje nepríjemnou hrozbou pre súkromie?
Áno, ak naše zákony a ochrana osobných údajov nie sú starostlivo spravované, veľké údaje zasahujú do osobného súkromia. V súčasnej dobe Google a YouTube a Facebook už sledujú každodenné zvyky online . Váš život v chytrých telefónoch a počítačoch zanecháva každý deň digitálne stopy a sofistikované spoločnosti študujú tie stopy.
Zákony okolo veľkých údajov sa vyvíjajú. Ochrana osobných údajov je stav bytia, ktorý musíte teraz prevziať osobnú zodpovednosť, pretože už nemôžete očakávať, že je to predvolené právo.
Čo môžete urobiť na ochranu vášho súkromia:
Najväčším krokom, ktorý môžete urobiť, je obliecť svoje každodenné návyky pomocou pripojenia siete VPN . Služba VPN bude kódovať váš signál tak, aby vaša identita a umiestnenie boli aspoň čiastočne maskované zo sledovateľov. To nebude vás 100% anonymné, ale VPN podstatne zníži, koľko môže svet dodržiavať vaše on-line návyky.
Kde sa môžem dozvedieť viac o veľkých údajoch?
Veľké údaje sú fascinujúcou vecou pre ľudí s analytickou mysľou a láskou k technike. Ak ste to vy, potom určite navštívte túto stránku zaujímavých veľkých dátových projektov.