PCstorm Nabídka kurzů IT kurzy Umělá inteligence Strojové učení nad velkými daty

Strojové učení nad velkými daty

Cílem tohoto kurzu je představit různé nástroje a koncepty ze strojového učení nad velkými daty.

Popis kurzu:

Po dokončení tohoto kurzu by měli účastníci být schopni říct jaký nástroj použít pro daný problém, zjistit jestli neexistuje jednodušší řešení a znát časté chyby a umět se jim vyhnout. Speciální pozornost věnujeme Sparku jakožto univerzálnímu nástroji, který lze použít jak pro zpracování velkých dat, tak pro ML nad velkými daty.

Požadované znalosti:

Základy práce v Pythonu a v nástroji Google Colab
Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.

Obsah kurzu:

Přehled konceptů a nástrojů ve zpracování velkých dat
- Od malých k velkým datům a odhad jejich hodnoty
- Řádkové a sloupcové databáze
- HDFS (Hadoop Distributed File System)
- Formáty dat – Parquet, ORC, Avro
- Komprese – gzip, snappy, zstd
- SQL databáze – BigQuery, Redshift, Clickhouse, Snowflake, Vertica
Praktický příklad na srovnání malých a velkých dat
Úvod do Sparku
- MapReduce
- Spark Computing Engine a RDDs (Resilient Distributed Datasets)
- DataFrames
- Spark ekosystém
- Nejčastější chyby
- Kde pustit Spark
- Alternativy – Apache Beam (Dataflow), Dask, lambdas
Praktický příklad se Sparkem
ML strategie pro velká data
- Inkrementální učení
- Dávkové učení pro neuronové sítě
- Distribuované trénování
- Federated learning
- Alternativní strategie
  - Náhodné vzorkování
  - Podmodely
  - Větší výpočetní kapacity
Frameworky
- Scikit-learn a partial_fit
- MLlib
- Dask-ML
Praktické příklady s frameworky
Nejčastějsí chyby