Big data - veľké očakávania. A realita?

Prednáška sa venuje popísaniu zdrojov dát pre analýzu fraudov. Popisuje jednotlivé časti spracovania, základného vyhodnotenia a uloženia jednotlivých informačných viet. Zaoberá sa krátkym teoretickým úvodom do spracovania veľkých dát. Druhá časť prednášky je zameraná na definovanie a hľadanie clustrov v rámci informácii. Následne odprezentujem postup a dáta, ktoré je možné spracovať metódou data minining a text mining, aj ich vyhodnotenie. Na konci prednášky popišem spôsob, akým sú existujúce bezpečnostné technológie zahrnuté do systému včasného varovania pred fraudami.

Rostoucí objemy dat zpracovávaných v reálném čase, přinášejí problémy pro klasické postupy pro hledání podobných řetězců. Řada z nich potřebuje techniky, které patří spíše do hájemství dávkově zpracovávaných operací a přinášejí tak řadu svébytných nároků. V současnosti tak prožívají určitou renesanci techniky nazývané jako fingerprinting, které se snaží při samotném ukládání, označovat data, která jsou si nějakým způsobem podobná. V přednášce představím nejen samotný fingeprinting, ale také jeho konkrétní využití při real-time detekci podobných textů ze sociálních sítích, tak jak ji využíváme v Socialbakers nástrojích.

Search retargeting je metóda zameraná na získanie používateľov, ktorí kedysi v minulosti vyhľadávali kľúčové slovo/slová, na ktoré máte záujem im ukázať reklamu. Spoločnosti ako Google, Yahoo a Bing používajú informácie z vyhľadávania používateľov na svojich vlastných stránkach na zobrazenie kontextovej reklamy. Na internete sa však vykoná okolo 35% vyhľadávaní mimo tieto vyhľadávacie služby a 96% času používatelia strávia na stránkach s obsahom. Tieto dáta využívajú spoločnosti ako napr. Magnetic, ktoré následne zobrazujú používateľom kontextovú reklamu na rôznych portáloch. Povieme si s akými problémami sa musia takéto firmy vyrovnať a ako k tomu dopomáha spracovanie a analýza veľkých dát. Nástroje a rámce používané pri týchto analýzach sú napr. Apache Hadoop, Apache Pig, python a mnohé ďalšie.

Classification of short text into pre-defined hierarchy of categories is a challenge. Need to categorize short texts comes from multiple domains: keywords and queries in online advertising, improvement of results of searches, analysis of tweets or messages in social networks, etc. Our session will share strategies and successes we have realized to categorize large volume of Queries and Keywords by using open collections of documents (Wikipedia, DBPedia, Freebase), Hadoop and Solr. Our approach reuses the knowledge encoded in Wikipedia articles to build a classification model. We will describe dataflow we built at Magnetic to process large sets of queries and keywords and categorize them at scale

• Je slovenské prostredie pripravené vyťažiť z BigData skutočné peniaze?
• Aké prístupy sa doposiaľ javia ako sľubné a čo vyzerajú byť slepé uličky?
• Ktoré elementy BiG Data dávajú najväčší zmysel pre vašu situáciu?

Rich médiá sa v súčasnosti stávajú rozhodujúcim zdrojom informácií pre business. Využitie analýzy obrazových informácií umožňuje získať vyšší vplyv marketingu a komunikácie, ako aj zvýšenie produktivity tímu. HP riešenie automaticky extrahuje pojmy, umožňuje vytvárať krížové odkazovanie s inými médiami a poskytovať používateľovi cielený obsah. HP riešenie naviac umožňuje porozumieť obsahu, ktorý je na médiách uložený a tiež vizualizovať výstupy.

IBM Big Data technológie a konkrétne možnosti ich nasadenia v jednotlivých odvetviach.

Veľké dáta vzbudzujú záujem u veľkých aj menších firiem hlavne kvôli potenciálu odhaliť nové skutočnosti a lepšie tak poznať svojho zákazníka a jeho potreby, svoju infraštruktúru a jej nevyužité možnosti alebo svoje procesy a ich nedostatky. Nejde pritom len samotnú analýzu veľkých dát. SAS predstaví celý životný cyklus riadenia práce s veľkými dátami od ich spracovania, cez analýzu až po vizualizáciu a technologické možnosti, ktoré sú k dispozícii už dnes.

Prehľad aktuálnych Microsoft platformovych technologii pre BigData projekty a krátka ukážka ako ich je možné hned zacat vyuzivat v praxi.

Krátky úvod do Oracle technológie pre oblasť Big Data s príkladmi existujúcich implementácii.

Aj v organizáciach s veľkým objemom dát QlikView pomáha pri manažérskom rozhodovaní a plnení každodenných úloh.

Napriek tomu, že názov„Big Data“ implikuje, že spoločnosti zbierajú, ukladajú a analyzujú nepomerne viac dát ako kedykoľvek doteraz a mali by sa teda trápiť s ich objemom, mnohé spoločnosti trápi niečo iné. Výrazne väčšou výzvou je pre nich rozmanitosť dátových zdrojov ako aj neorganizovaná štruktúra dát. Datawatch je celosvetovým lídrom pre analýzu dát z akýchkoľvek zdrojov (štruktúrované, neštruktúrované, PDF, CEP engine, Hadoop, NoSQL, Tick, atď.) a rieši tak jednu z hlavných výziev problematiky “Big Data“.

Jedným z charakteristických znakov Big Data je rôznorodosť zbieraných údajov. Je teda možné predpokladať, že ich súčasťou budú aj také kategórie údajov, ktorým právny poriadok priznáva zvýšenú ochranu a s ich spracúvaním sú spojené osobitné povinnosti. Cieľom prednášky je upozorniť na mantinely Big Data tvorené právom jednotlivca na súkromie, a to najmä z pohľadu problematiky ochrany osobných údajov, ochrany osobnosti a práva zamestnanca na ochranu súkromia.