Wprowadzanie do Data Mining

Zajęcia odbywają się w semestrze letnim 2019/2020 w poniedziałek godz. 10-12 w sali PK2

Zaliczenie zajęć

Zaliczenie zajęć odbywa się na podstawie rozwiązań zadań z laboratoriów.

Literatura

• Robert Layton, Learning Data Mining with Python, 2015 (2017 wydanie 2) - dostęp on-line z binlioteki z sieci UMK
• Pang-Ning Tan, Michael Steinbach, Anuj Karpatne, Introduction to Data Mining (Second Edition), WWW

Plan

1. Przegląd metod Data Mining
2. Szybki wstęp do python, jupyter, numpy, pandas, matlibplot, scikit-learn
3. Preprocesing, statystyki danych, wizualizacja
4. Regresja
   • Liniowa oraz wielomianowa
   • underfitting/overfitting
5. Klasyfikacja i ocena klasyfikatorów
   • kNN
   • drzewa decyzyjne
   • SVM
   • kroswalidacja
6. Analiza skupień
   • k-means
7. Przetwarzanie obrazów
8. text mining
9. analiza szeregów czasowych
10. wykrywanie anomalii, braki w danych, dane odstające

Środowisko pracy

Na potrzeby zajęć uruchomiony jest serwer z działającym notatnikiem jupyter.
Adres serwera notatnika: http://panda.fizyka.umk.pl:8886
Serwer dostępny jest w ramach sieci LAN wydziału. Dostęp spoza sieci wydziałowej jest możliwy dzięki VPN.

Laboratoria

Kilka przydatnych odnośników

• Python is a programming language that lets you work quickly and integrate systems more effectively
  • www.learnpython.org
• jupyter The Jupyter Notebook is an open-source web application that allows you to create and share documents that contain live code, equations, visualizations and narrative text.
  • Jupyter Notebook for Beginners: A Tutorial
• NumPy NumPy is the fundamental package for scientific computing with Python
  • NumPy tutorial
• Pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool
  • 10 minutes to pandas
  • Using Pandas and Python to Explore Your Dataset by Reka Horvath
• scikit-learn Simple and efficient tools for predictive data analysis
• matplotlib comprehensive library for creating static, animated, and interactive visualizations in Python.
  • Matplotlib tutorial for beginner by Nicolas P. Rougier
• seaborn: statistical data visualization
  • Python Seaborn Tutorial For Beginners by Karlijn Willems
  • Visualization with Seaborn from Python Data Science Handbook by Jake VanderPlas