III: Inteligencja Obliczeniowa-Sieci neuronowe.

W semestrze letnim 2018 roku prowadzę wykład monograficzny "Sztuczne sieci neuronowe". Przeznaczony jest głównie dla informatyków, dotyczy modeli sztucznych sieci neuronowych. Jest to część serii wykładów związanych z "Inteligencją Obliczeniową" (Computational Intelligence). Wykłady odbywają się we wtorki, g. 14:15-16:00, sala S. 28 budynek Inst. Fizyki, ul. Grudziądzka 5.
Laboratorium z sieci neuronowych (30 g.), jest w PK??, dwie grupy g. 16-18 i 18-20, budynek IF, Grudziądzka 5, prowadzi je mgr Krzysztof Dobosz.

W roku akademickim 2017/18 prowadzę również wykład "Wstęp do kognitywistyki" (kod WDY) dla I roku Kognitywistyki Pierwszy semestr jest wstępem do nauk kognitywnych, drugi semestr dotyczy głównie zagadnień związanych z mózgiem, umysłem i zachowaniem. Prowadziłem również wykład "Przetwarzanie Informacji przez Mózgi" o charakterze bardziej neurobiologicznym, oraz wykład "Wstęp do Metod Sztucznej Inteligencji" (kod WDW), stanowiący część IV tego cyklu. Wszystkich części można wysłuchać niezależne.

Egzamin będzie się składał z 10 krótkich pytań za które będzie można otrzymać do 20 punktów. Egzamin będzie pisemny, nie ma więc możliwości zdawania w innym terminie, ani przekładania. Będzie to 50% końcowej oceny, pozostałe 50% to oceny z dwóch projektów: jednego własnego (opis i implementacja metody, przykładowe wyniki i ich interpretacja), a drugi będzie zastosowaniem jakiegoś gotowego oprogramowania do głębokiego uczenia do bardziej ambitnych zadań. Projekty zostaną uzgodnione z osobą prowadzącą laboratorium i należy je przysłać do oceny najpóźniej do końca sierpnia, na adres wszystkich 3 prowadzących te zajęcia (WD, M. Grochowski i K. Dobosz).
Skala ocen w części praktycznej: od 1-10 punktów za każdy projekt, w sumie można więc dostać maksymalnie 20 punktów, plus 20 punktów z testu (dla wygody używałem skali 1-10 za pytanie, więc wyniki normalizowane do 20 punktów to 1/5).

Ocenę obliczamy w następujący sposób:
S=0.5 x punkty z testu + 0.5 x suma punktów z projektów; to daje maksymalnie S=10+10=20.
Skala ocen: (S,ocena) = (20;5), (19;5-), (18;4+), (17-16;4), (15-14;4-), (13-12,3+), (12-10;3).
Przykładowe pytania do egzaminu są tutaj.
Pierwszy termin egzaminu: 4.07.18, g. 11:00, sala COK (do potwierdzenia).
Egzamin poprawkowy będzie 14 września, g. 11:00, sala COK S1; zamknięcie roku jest 20.09, więc to ostatni termin.

Część I: Wstęp do nauk o poznaniu (2016/17)
Część II: Mózg i zachowanie (2017)
Część III: Inteligencja obliczeniowa - poniżej
Część IV: Sztuczna inteligencja i symboliczne modele działania umysłów (już nie prowadzę)

Układ jest zmieniany w czasie wykładów.

Jest tu ogólny wstęp do modelowania sztucznych sieci neuronowych. W 2018 roku wykład ulegnie znacznej modyfikacji, w większym stopniu nastawiamy się na wykorzystywanie złożonych pakietów programów do rozwiązywania trudnych zadań.

• Co to jest;
• efektywna algorytmizowalność;
• CI, AI, ML - uporządkowanie pojęć
• problemy warte rozwiązania;
• źródła, z których CI czerpie inspiracje;
• uczenie nadzorowane, nienadzorowane i uczenie z krytykiem.

Dowiązania zewnętrzne: Różne strony na temat metod inteligencji obliczeniowej, sieci neuronowych, uczenia maszynowego itp, na Wikispaces - zachęcam do dodawania samemu.

• rys historyczny;
• cele modelowania;
• ogólne własności modeli neuronowych;
• inteligentne zachowania sieci;
• główne aspekty modeli neuronowych;
• reguły uczenia.

• BCM, najprostsza Binarna Pamięć Skojarzeniowa;
• CMM, macierze korelacji, zastosowania do słowników;
• BAM, dwukierunkowa progowa pamięć asocjacyjna;

Pominiemy inne modele binarnych sieci, takie jak SDM, rozproszona pamięć komórkowa; RAM-nets, czyli model n-ek, czy model CMAC. To ciekawe ale dość rzadko stosowane modele, warto samemu o nich poczytać.

• Uczenie modeli nieparametrycznych
• Prawdopodobieństwa warunkowe i posterioryczne
• Reguła Bayesa

• Samoorganizujące się odwzorowanie topologiczne Kohonena
• Growing Cell Structures
• Przykłady zastosowań
• Przykłady wizualizacji
• Samoorganizacja i mapy ekwiprobabilistyczne
• Uczenie konkurencyjne: Zwycięzca bierze wszystko; Gaz neuronowy; Demonstracje w Javie/

Modele o znaczeniu historycznym Learnmatrix, Adaline, Madaline, sieć Hamminga pominiemy, poza sieciami liniowymi.

• Perceptrony jednowarstwowe; uczenie się perceptronu.
• Perceptrony z dużym marginesem: Nieliniowa reguła delta, maksymalizacja marginesów klasyfikatora, algorytm Adatron/SVM
• Visualization of the hidden node activity, or hidden secrets of neural networks (prezentacja).
• MLP - perceptrony wielowarstwowe: Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja błędów, własności wielowarstwowych perceptronów

• Procedury minimalizacji błędu
• Lokalne minima, funkcje kosztu, inicjalizacja parametrów
• Upraszczanie sieci - regularyzacja
• Algorytmy konstruktywistyczne: Korelacja kaskadowa, Algorytm wieżowy, Algorytm piramidowy, Algorytm "upstart", Algortym "kafelkowy", Kilka przykładów zastosowań.

• Sieci ze sprzężeniami zwrotnymi
• Model Hopfielda
• Zastosowania w modelowaniu pamięci autoasocjacyjnej i optymalizacji
• Maszyny Boltzmana i sieci stochastyczne
• Emergent, LSTM i potrzeba głębokich modeli.

• Konwolucja i pooling cech
• Głębokie uczenie
• Przykłady programów i zastosowań

Deep Learning | Jak głębokie uczenie zmieni świat | Google Deep Learning course (6h/tydz 3 mc) | MS Deep Learning tutorial | Materiały do Deep Learning (KDD).

Emergent i sieci symulujące procesy neurobiologiczne?

Jest to część cyklu 6 wykładów związanych z kognitywistyką.

• Część I: Wstęp do kognitywistyki: natura umysłów, obszerny wstęp do zagadnień związanych z naukami poznawczymi, odbywa się w semestrze zimowym 2017/18 roku.
• Część II:Mózg i zachowanie Ogólny wstęp do zagadnień związanych z mózgiem i umysłem, wykład odbywa się w semestr letnim 2018 roku.
• Część III: Przetwarzanie informacji przez mózgi, rozumienie funkcji poznawczych na poziomie cybernetycznym, odbywa się w semestr letnim (chwilowo nie prowadzony).
• Część IV: Sztuczna inteligencja i systemy ekspertowe, uwzględniający (w niewielkim stopniu) symboliczne modele działania umysłów, odbywa się w semestr letnim 2017/18 roku.

  Dwa poniższe wykłady wymagają pewnego przygotowania matematycznego.

• Część V: Sieci neuronowe, wykład ma charakterze matematyczny (kod wykładu: WDX) i dotyczy formalnych modeli sieci neuronowych, odbywa się w semestr letnim 2017 roku.
• Część VI: Neuropsychologia komputerowa, dotyczy komputerowych modeli pozwalających na zrozumienie zjawisk neuropsychologicznych (chwilowo nie prowadzony).