III: Inteligencja Obliczeniowa.

W semestrze letnim 2010 roku prowadzę wykład monograficzny "Metody inteligencji obliczeniowej". Ma on charakter matematyczny, dotyczy głównie modeli modeli statystycznych, uczenia maszynowego i sieci neuronowych, czyli tego co składa się na nową dziedzinę nauki zwaną "Inteligencją Obliczeniową" (Computational Intelligence). Wykłady odbywają się w czwartki, 18:00, w sali Klubu (obok baru), w budynku Inst. Fizyki, ul. Grudziądzka 5.

Wykład ten jest częścią większego cyklu wykładów o charakterze kognitywnym. Wstęp do kognitywistyki jest przede wszystkim o filozofii umysłu, prowadzony jest w ramach studiów z kognitywistyki w semestrze zimowym, a jego druga część, Mózg, umysł i zachowanie dotyczy głównie modeli działania mózgów, umysłów i zrozumienia zachowania zwierząt i ludzi. Są to wygłady o charakterze ogólnym. Wykłady z Inteligencji Obliczeniowej można uważać za część tego cyklu. Prowadzę również wykład Modelowanie Funkcji Mózgu (Neuropsychologia komputerowa) o bardziej matematycznym charakterze.
Wszystkich części można wysłuchać niezależne, ale oczywiście najlepiej wysłuchać całość i brać udział w laboratorium.

Równolegle z wykładem odbywa się laboratorium z metod inteligencji obliczeniowej (30 g.), które prowadzi mgr Tomasz Maszczyk z Katedry Informatyki Stosowanej (wtorek, 18:00-19:30 w PK VI, budynek IF, Grudziądzka 5). Chociaż uczestnictwo w tym laboratorium jest konieczne tylko na niektórych kierunkach, bardzo do niego zachęcam wszystkich słuchaczy wykładu.

Możliwe jest zaliczenie wykładu bez oceny i bez egzaminu, na podstawie obecności i po napisaniu pracy zaliczeniowej (ok. 10-20 stron) na uzgodniony wspólnie temat dotyczący zagadnień poruszanych na wykładzie. Nie ma zaliczeń metodą samego zasiedzenia! Przykłady poprzednich prac (po angielsku) są tutaj, pracę można pisać oczywiście po polsku. Zaliczenie nie daje jednak stopnia i nie jest egzaminem, tylko zaliczeniem. Proszę o uzgadnianie pocztą elektroniczną tematu pracy zaliczeniowej do połowy maja.
Warunkiem przystąpienia do egzaminu lub zaliczenia jest wpisanie się na listę w USOS. Osoby spoza wydziału FAiIS powinny wysłać email do prodziekana z prośbą o wpisanie do USOS, jeśli będą z tym trudności.
Wybory mają swoje konsekwencje ... Zgodnie z naszym regulaminiem student ma obowiązek zapisania się do końca lutego na wszystkie zajecia, które chce zaliczać, a do połowy marca można się z nich wypisać. Potem trzeba zdać egzamin lub zaliczyć przedmiot, bo USOS automatycznie przypisze ocene negatywną.

Zamiast 10.06 mamy wykład wyjątkowo 2.06, g. 18:00, Klub

Termin egzaminu ustalamy na 18.06.2010, g. 17:00, s. 20.
Uwaga! Egzamin poprawkowy 25.2010, g. 12:00, s. 26.

Przykładowy egzamin z tego wykładu na NTU

Włodzisław Duch


Orientacyjny plan wykładu

Część I: Wstęp do nauk o poznaniu (2009/10)
Część II: Mózg i zachowanie (wersja 2008/09)
Część III: Inteligencja obliczeniowa - poniżej
Część IV: Sztuczna inteligencja i symboliczne modele działania umysłów

Układ jest zmieniany w czasie wykładów. Ponieważ w tym roku (2010) jest to tylko jeden semestr wykład jest dość skondensowany. Prezentacje są tu podczepione w formacie PDF, nadają się do drukowania. Prezentacje, kóre pokazuję w trakcie wykładu są w PPT i mogą się trochę różnić. Dla ułatwienia korzystania z literatury prezentacje i plan wykładu (poniżej) są w języku angielskim.

Course outline:

  1. Computational Intelligence (CI) overview, types of adaptive systems, learning and applications. (2 h)
  2. Visualization and exploratory data analysis: few variables, parallel coordinates and other direct multivariate visualization algorithms, Principal Component Analysis (PCA), Self-Organized Mappings (SOM) and Multidimensional Scaling (MDS). (7 h)
  3. Theory: overview of statistical approaches to learning, bias-variance decomposition, expectation maximization algorithm, model selection, evaluation of results, ROC curves. (4 h)
  4. CI packages in action: WEKA/RapidMiner and GhostMiner, presentation of algorithms available in these packages (2 h, more during lab)
  5. Statistical algorithms: discriminant analysis - linear (LDA), Fisher (FDA), regularized (RDA), probabilistic data modeling, SVM and kernel methods. (4 h)
  6. Density estimation and rule induction, separability criteria. (4 h)
  7. Similarity based methods, generation of prototypes, similarity functions. (2 h)
  8. Improving CI models: boosting, stacking, ensemble learning, meta-learning, information theory for selection of features. (5 h)

Total number of lecture hours: 30 hours

Reference texts: 3 best books

  1. R.O. Duda, P.E. Hart, D.G. Stork, Pattern Classification (2nd Edition), J Wiley 2000
  2. T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning. Springer 2001
  3. A. Webb, Statistical Pattern Recognition. Wiley, 2-nd ed. 2002

Other useful books:

  1. C.M. Bishop, Pattern Recognition and Machine Learning, Springer 2006
  2. D. Hand, H. Mannila, P. Smyth, Principles of Data Mining, MIT Press 2001 (wersja polska: 2005)
  3. V. Kecman, Learning and soft computing, MIT Press 2001
  4. Amit Konar, Computational Intelligence. Principles, Techniques and Applications. Springer 2005
  5. I.H. Witten, E. Frank, Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations. Morgan Kaufmann 1999 (WEKA book) Some WEKA models are described here, with examples for the Gamma-ray burst analysis.
  6. J. P. Marques De Sa, Pattern Recognition: Concepts, Methods, and Applications. Springer Verlag, 2001

Links to some free books that you may print are below:

Question/answers page.
Some links relevant to Computational Intelligence.

Course notes in PDF format:

I have to cut some material to adjust it to 30 hours. Note that these slides may change just before the lecture and even a week after, if some corrections/additions are needed or if some questions are asked.

General Introduction: 3 hours

  1. Lecture 1: Organization, what this is all about | W1
  2. Lecture 2: CI - problems and inspirations | W1
  3. Lecture 3: more inspirations and some probability theory concepts | W2

    What is Computational Intelligence and what could it become?

Visualization of multidimensional data: 8 hours

  1. Lecture 4: Direct visualization of multidimensional data | W2
  2. Lecture 5: Exploratory data analysis and linear projections of data | W3
  3. Lecture 6: Principal Component Analysis | W3

  4. Lecture 7: Discriminant Components | W4
  5. Lecture 8: Projection pursuit and ICA | W4/5
  6. Lecture 9: Self Organized Mapping - intro | W5

  7. Lecture 10: SOM and Growing Cell Structures | W6
  8. Lecture 11/12: Multidimensional Scaling | W6

Some links to visualization | Links to SOM | Interactive histogram demo | PCA Java demo | My Matlab programs for FDA projections | Just for fun: 4D Rubick cube applet.
Further reading: see the visualization techniques review paper, and my papers: Visualization of hidden node activity in neural networks, and Coloring black boxes: visualization of neural network decisions.
Search for interesting methods for non-linear dimensionality reduction, isometric mapping; multidimensional scaling; stochastic proximity embedding; reducing the dimensionality of data with neural networks etc.

Theory of adaptive systems: 3 hours

  1. Lecture 12: Bayesian decisions: foundation of learning | W7
  2. Lecture 13: Bayesian risks and Naive Bayes approach | W7/8
  3. Lecture 14: Bias-variance tradeoff | W8

CI packages in action: WEKA/RapidMiner and GhostMiner, decision trees: 6 hours.

  1. Lecture 15: Evaluation of results, model selection | W8
  2. Lecture 16: ROC and Introduction to WEKA/RapidMiner | W9
  3. Lecture 17: Knowledge extraction from simplest decision trees | W9

2D pattern gallery of classifiers

Decision trees.

  1. Lecture 18: Decision trees in WEKA/RapidMiner and GM | W10
  2. Lecture 19: Pruning of decision trees | W10
  3. Lecture 20: SSV decision trees and other GM models | W10

Statistical, SVM and kernel algorithms: 5 hours.

  1. Lecture 21: Discriminant analysis (DA) - linear machines | W11
  2. Lecture 22: Linear discrimination - variants: Fisher DA, Regularized DA (RDA) | W11
  3. Lecture 23: Logistic DA, and linear SVM | W11

  4. Lecture 24: SVM in the non-linear case, kernels | W11
  5. Lecture 25: Kernel PCA and FDA | W12

Probability density estimation: 3 hours.

  1. Lecture 26: Density estimation, expectation maximization | W12

  2. Lecture 27: Expectation maximization and density modeling | opuszczamy
  3. Lecture 28: Non-parametric density estimation | opuszczamy

Fuzzy rule induction: 2 hours.

  1. Lecture 29: Approximation theory, RBF and FSM networks | W12
  2. Lecture 30: Neurofuzzy system FSM and covering algorithms | W13

  3. Lecture 31: Combinatorial reasoning, or learning from partial observations | W13

Similarity-based methods and improvement of CI models accuracy: 3+3=6 hours.

  1. Lecture 32: Nearest neighbor methods | W13

  2. Lecture 33: Information theory | W14
  3. Lecture 34: Applications of information theory, visualization and selection of information | W14

Improving CI models by meta-learning: 2 hours.

  1. Lecture 35: Feature selection and discretization methods | W14
  2. Lecture 36: Meta-learning: committees, sampling and bootstrap | W14

Materiał był na wykłady 39-godzinne, więc część trzeba opuścić ...


Część IV: Modele symboliczne (wykład "Wstęp do sztucznej inteligencji")

Włodzisław Duch