Big Data Business Intelligence za državna agencija Kurs za obuku

Svaka sesija traje 2 sata

Dan 1: Sesija -1: Biznis pregled zašto Big Data Business Intelligence u državnom sektoru

• Studije slučaja iz NIH, DoE
• Stopa usvajanja Big Data u državnim agencijama & kako poravnavaju svoje buduće operacije oko Big Data prediktivne analitike
• Primena širokog obima u DoD, NSA, IRS, USDA itd.
• Interfejsiranje Big Data sa legacy podacima
• Osnovno razumevanje omogućavajućih tehnologija u prediktivnoj analitici
• Integracija podataka & vizualizacija dashboarda
• Upravljanje prevarom
• Generisanje biznis pravila / detekcije prevare
• Detekcija i profilisanje pretnji
• Analiza troškova i koristi za implementaciju Big Data

Dan 1: Sesija-2 : Uvod u Big Data-1

• Osnovne karakteristike Big Data - zaprema, raznolikost, brzina i verodostojnost. MPP arhitektura za zapremu.
• Podatkovni magacini – statička šema, sporo evoluirajući skup podataka
• MPP baze podataka poput Greenplum, Exadata, Teradata, Netezza, Vertica itd.
• Rešenja zasnovana na Hadoop-u – bez uslova o strukturi skupa podataka.
• Tipičan obrazac : HDFS, MapReduce (crunch), preuzimanje iz HDFS
• Batch - pogodan za analitičke/neinteraktivne
• Zaprema : CEP strujni podaci
• Tipični izbori – CEP proizvodi (npr. Infostreams, Apama, MarkLogic itd)
• Manje spremno za produkciju – Storm/S4
• NoSQL baze podataka – (kolonske i ključ-vrednost): Najbolje pogodno kao analitički dodatak podatkovnom magacinu/bazi podataka

Dan 1 : Sesija -3 : Uvod u Big Data-2

NoSQL rešenja

• KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV Store (Hierarchical) - GT.m, Cache
• KV Store (Ordered) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple Store - Gigaspaces, Coord, Apache River
• Object Database - ZopeDB, DB40, Shoal
• Document Store - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Wide Columnar Store - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Varianci podataka: Uvod u problem čišćenja podataka u Big Data

• RDBMS – statička struktura/šema, ne podstiče agilno, eksplorativno okruženje.
• NoSQL – polustrukturirano, dovoljno strukture za čuvanje podataka bez tačne šeme pre čuvanja podataka
• Problemi čišćenja podataka

Dan 1 : Sesija-4 : Uvod u Big Data-3 : Hadoop

• Kada izabrati Hadoop?
• STRUKTURIRANO - Enterprise podatkovni magacini/baze podataka mogu da čuvaju masovne podatke (po ceni) nameću strukturu (loše za aktivno istraživanje)
• POLOSTRUKTURIRANI podaci – teško za rešiti tradicionalnim rešenjima (DW/DB)
• Magacinski podaci = OGROMAN napor i statički i nakon implementacije
• Za raznolikost & zapremu podataka, obrađena na komoditnoj hardveri – HADOOP
• Komoditna H/W potrebna za kreiranje Hadoop klastera

Uvod u Map Reduce /HDFS

• MapReduce – raspodela računanja preko više servera
• HDFS – čini podatke lokalno dostupnim za proces računanja (sa redundancijom)
• Podaci – mogu biti nestrukturirani/bez šeme (za razliku od RDBMS)
• Odgovornost developera da smisli podatke
• Programiranje MapReduce = rad sa Java (prednosti/nedostaci), ručno učitavanje podataka u HDFS

Dan 2: Sesija-1: Ekosistem Big Data-Gradnja Big Data ETL: univerzum Big Data alata-koji koristiti i kada?

• Hadoop vs. Ostala NoSQL rešenja
• Za interaktivni, nasumični pristup podacima
• Hbase (kolonska baza podataka) na vrhu Hadoopa
• Nasumični pristup podacima, ali nameću ograničenja (maks 1 PB)
• Nije dobro za ad-hoc analitiku, dobro za beleženje, brojanje, vremenske serije
• Sqoop - Import iz baza podataka u Hive ili HDFS (JDBC/ODBC pristup)
• Flume – Strujni podaci (npr. log podaci) u HDFS

Dan 2: Sesija-2: Sistem za upravljanje Big Data

• Pomak dijelova, računarski čvorovi start/fail :ZooKeeper - Za konfiguraciju/koordinaciju/usluge imenovanja
• Kompleksna cev/radni tok: Oozie – upravljanje radnim tokom, zavisnostima, lancem
• Deploy, konfiguracija, upravljanje klasterom, upgrade itd (sys admin) :Ambari
• U oblaku : Whirr

Dan 2: Sesija-3: Prediktivna analitika u Business Intelligence -1: Osnovne tehnike & BI zasnovano na mašinskom učenju :

• Uvod u mašinsko učenje
• Učenje tehnika klasifikacije
• Bayesova predikcija-priprema obukačke datoteke
• Mašina podrške vektorima
• KNN p-Tree Algebra & vertikalni rudarenje
• Neuronska mreža
• Veliki problem promenljivih u Big Data -Slučajn šuma (RF)
• Problem automatizacije u Big Data – Višemodelna ansambl RF
• Automatizacija putem Soft10-M
• Alat za tekstualnu analitiku-Treeminer
• Agilno učenje
• Agentno zasnovano učenje
• Raspoređeno učenje
• Uvod u Open source alate za prediktivnu analitiku : R, Rapidminer, Mahut

Dan 2: Sesija-4 Ekosistem prediktivne analitike-2: Česti problemi prediktivne analitike u državi.

• Uvidna analitika
• Vizualizacijska analitika
• Strukturirana prediktivna analitika
• Nestrukturirana prediktivna analitika
• Profilisanje pretnji/prevare/davaoca
• Preporuka inženjer
• Detekcija obrazaca
• Otkrivanje pravila/scenarija –neuspeh, prevara, optimizacija
• Otkrivanje uzroka
• Analitika osećanja
• CRM analitika
• Mrežna analitika
• Analitika teksta
• Tehnički asistirana revizija
• Analitika prevare
• Real-time analitika

Dan 3 : Sesija-1 : Real-time i skalabilna analitika preko Hadoopa

• Zašto obične analitičke algoritme ne uspevaju u Hadoop/HDFS
• Apache Hama- za Bulk Synchronous distribuirano računanje
• Apache SPARK- za klaster računanje za real-time analitiku
• CMU Graphics Lab2- Grafovski asinhroni pristup distribuiranom računanju
• KNN p-Algebra zasnovan pristup iz Treeminera za smanjenje troškova hardvera za operaciju

Dan 3: Sesija-2: Alati za eDiscovery i forenziku

• eDiscovery preko Big Data vs. Legacy podaci – poređenje troška i performansi
• Prediktivno kodiranje i tehnički asistirana revizija (TAR)
• Live demo Tar proizvoda (vMiner) da razumete kako TAR radi za brže otkrivanje
• Brže indeksiranje putem HDFS –brzina podataka
• NLP ili Prirodna obrada jezika –razne tehnike i open source proizvodi
• eDiscovery na strane jezike-tehnologija za obradu stranog jezika

Dan 3 : Sesija 3: Big Data BI za Cyber Security – Razumevanje celokupnog 360 stepenog pogleda brzeg sakupljanja podataka do identifikacije pretnji

• Razumevanje osnova bezbednosne analitike-attack surface, bezbednosna pogrešna konfiguracija, odbrana hosta
• Mrežna infrastruktura/ Velika datapipe / Response ETL za real-time analitiku
• Preskriptivno vs prediktivno – Fiksno pravilo zasnovano vs auto-otkrivanje pravila pretnje iz Meta data

Dan 3: Sesija 4: Big Data u USDA : Aplikacija u poljoprivredi

• Uvod u IoT ( Internet Stvari) za poljoprivredu-senzor zasnovani Big Data i kontrola
• Uvod u satelitsko snimanje i njegova primena u poljoprivredi
• Integracija senzora i slikovnih podataka za plodnost tla, preporuke gajenja i prognoze
• Poljoprivredno osiguranje i Big Data
• Prognoza gubitka useva

Dan 4 : Sesija-1: Prevencija prevare BI iz Big Data u državi-Prevarna analitika:

• Osnovna klasifikacija analitike prevare- pravilo zasnovano vs prediktivna analitika
• Supervised vs unsupervised mašinsko učenje za detekciju obrazaca prevare
• Prevara davalaca/preteranje za projekte
• Medicare i Medicaid prevare- tehnike detekcije prevare za obradu reklamacija
• Prevara povrata troškova putovanja
• Prevara IRS povrata poreza
• Studije slučaja i live demo biće date gde god je podatak dostupan.

Dan 4 : Sesija-2: Social Media Analitika- Sakupljanje i analiza inteligencije

• Big Data ETL API za ekstrakciju social media podataka
• Tekst, slika, meta podaci i video
• Analitika osećanja iz social media feeda
• Kontekstualno i ne-kontekstualno filtriranje social media feeda
• Social Media Dashboard za integraciju raznovrsnog social media
• Automatizovano profilisanje social media profila
• Live demo svake analitike biće dat putem Treeminer Alata.

Dan 4 : Sesija-3: Big Data Analitika u obradi slika i video feedova

• Tehnike čuvanja slika u Big Data- Rešenje za čuvanje podataka koji premašuje petabajte
• LTFS i LTO
• GPFS-LTFS ( Slojevito rešenje za čuvanje za Big slikovne podatke)
• Osnove analitike slike
• Prepoznavanje objekata
• Segmentacija slike
• Prćenje pokreta
• 3-D rekonstrukcija slike

Dan 4: Sesija-4: Big Data aplikacije u NIH:

• Emerging oblasti bio-informatics
• Meta-genomics i problemi rudarenja Big Data
• Big Data prediktivna analitika za Farmakogenomics, Metabolomics i Proteomics
• Big Data u downstream Genomics procesu
• Aplikacija Big data prediktivne analitike u javnom zdravlju

Big Data Dashboard za brzi pristup raznovrsnim podacima i prikaz :

• Integracija postojećih aplikacionih platformi sa Big Data Dashboard
• Upravljanje Big Data
• Studija slučaja Big Data Dashboarda: Tableau i Pentaho
• Koristite Big Data aplikaciju da gurate lokacione zasnovane usluge u državi.
• Prćenje sistema i upravljanje

Dan 5 : Sesija-1: Kako da se opravda Big Data BI implementacija unutar organizacije:

• Definisanje ROI-a za Big Data implementaciju
• Studije slučaja za uštedu vremena analitičara za sakupljanje i pripremu podataka –povećanje dobitka produktivnosti
• Studije slučaja prihoda od uštede licenciranih troškova baza podataka
• Povećanje prihoda od lokaciono zasnovanih usluga
• Ušteda od prevencije prevare
• Integrisan pristup tabličnog proračuna za procenu približnih troškova vs. Povećanje prihoda/uštede od Big Data implementacije.

Dan 5 : Sesija-2: Korak po korak procedura za zamenu legacy sistema za podatke Big Data Sistemom:

• Razumevanje praktičnog Big Data Migracijskog Roadmap-a
• Šta su važne informacije potrebne pre arhitektiranja Big Data implementacije
• Koje su različite metode za izračunavanje zapremine, brzine, raznolikosti i verodostojnosti podataka
• Kako proceniti rast podataka
• Studije slučaja

Dan 5: Sesija 4: Pregled Big Data dobavljača i pregled njihovih proizvoda. Q/A sesija:

• Accenture
• APTEAN (Prethodno CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Prethodno 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (Deo EMC)