Sieci neuronowe: neuropsychologia komputerowa.

Wykład "Sieci neuronowe: neuropsychologia komputerowa" (poprzednio oferowany jako "Modelowanie Funkcji Mózgu" w 2009 roku) odbywać się będzie w roku akademickim 2013/14, w sali 20, o godz. 14:15, w budynku Inst. Fizyki, ul. Grudziądzka 5. W roku 2014/15 wykład Sztuczne sieci neuronowe będzie miał podobną nazwę ale bardziej zmatematyzowany charakter.
Ponieważ drugi stopień informatyki stosowanej rozpoczyna zajęcia od 3 marca wykład odbywać się będzie w trybie 10 x 3 godziny a nie 15 x 2 godziny. W ostatni wtorek każdego miesiąca nie będzie wykładu ze względu na posiedzenia Senatu UMK. Informacja w USOS na temat wykładu i info w USOS IS | USOS FT | USOS Kog.

Jest to część cyklu 6 wykładów związanych z kognitywistyką.

• Część I: Wstęp do kognitywistyki: natura umysłów, obszerny wstęp do zagadnień związanych z naukami poznawczymi, odbywa się w semestrze zimowym 2013/14 roku.
• Część II:Mózg i zachowanie Ogólny wstęp do zagadnień związanych z mózgiem i umysłem, wykład odbywa się w semestr letnim 2014 roku.
• Część III: Przetwarzanie informacji przez mózgi, rozumienie funkcji poznawczych na poziomie cybernetycznym, odbywa się w semestr letnim 2013 roku.
• Część IV: Sztuczna inteligencja i systemy ekspertowe, uwzględniający również symboliczne modele działania umysłów, odbywa się w semestr letnim 2013 roku.

  Dwa poniższe wykłady wymagają pewnego przygotowania matematycznego.

• Część V: Sieci neuronowe, wykład ma charakterze matematyczny (kod wykładu: WDX) i dotyczy formalnych modeli sieci neuronowych, odbywa się w semestr letnim 2013 roku.
• Część VI: Neuropsychologia komputerowa: dotyczy komputerowych modeli pozwalających na zrozumienie zjawisk neuropsychologicznych (czyli ta strona).

Wszystkich wykładów można wysłuchać w miarę niezależnie. Orientacyjny plan książek o kognitywistyce zawiera dodatkowe wiadomości, tu podczepiam tylko notatki w HTML.
Warunkiem przystąpienia do egzaminu lub zaliczenia jest wpisanie się na listę w USOS. Osoby spoza wydziału FAiIS powinny wysłać email do prodziekana z prośbą o wpisanie do USOS.
Wybory mają swoje konsekwencje ... Zgodnie z naszym regulaminiem student ma obowiązek zapisania się do końca lutego na wszystkie zajecia, które chce zaliczac, a do połowy marca można się wypisać. Potem trzeba zdać lub zaliczyć, bo USOS automatycznie przypisze ocenę negatywną.

Poniżej są stare notatki do wykładu z ubiegłego roku, które będą zmieniane w czasie trwania wykładu; co roku zmienia się nam symulator ...

Będziemy się trzymać książki: Computational Cognitive Neuroscience Understanding the Mind by Simulating the Brain (4th Ed) Randall C. O'Reilly, Yuko Munakata, M. J. Frank, T. E. Hazy, & Contributors, dostępna darmowo w sieci. W oparciu o swoją ksiażkę O'Reilly prowadzi kurs i wraz z współpracownikami opracował symulator o nazwie Emergent (początkowo nazwany PDP++ Neural Network Simulator), z którego będziemy korzystać na ćwiczeniach i w czasie demonstracji. Wszystkie linki są na cytowanej powyżej stronie. Są tam też tutoriale do symulacji dla kolejnych rozdziałów. Dobrym punktem startu jest Emergent Wiki.
Aisa, B., Mingus, B., and O'Reilly, R. (2008). The emergent neural modeling system. Neural Networks, 21(8), 1146-1152. Liczę na to, że wszyscy uczestnicy przeczytają książkę uważnie, jest ona stosowana w ponad 10 kursach.
Przydatne wprowadzenie do tworzenia systemów neurobiologii obliczeniowej.

Celem wykładu jest zrozumienie w jaki sposób obliczeniowe neuronauki poznawcze (computational cognitive neuroscience) próbują modelować funkcje umysłowe związane z percepcją, pamięcią, uczeniem się i używaniem języka. Stosowane tu modele neuronowe, chociaż dalekie od biologicznej wierności, pozwalają na pewne zrozumienie relacji pomiędzy aktywnością neurobiologiczną mózgu i zachowaniem oraz obserwacjami psychologicznymi.
Zaczniemy od podstawowych mechanizmów na poziomie neuronów i ich niewielkich sieci, omówimy sposoby rozchodzenia się aktywacji, pobudzania i hamowania w takich sieciach, a także konkurencji pomiędzy grupami neuronów, pozwalającej na spełnianie wielu ograniczeń (constraint satisfaction). Złożone zadania możliwe są dzięki mechanizmom uczenia. Pozwala to na modelowanie własności różnego rodzaju pamięci, mechanizmów uwagi, zagadnień językowych i wielu innych zjawisk poznawczych zarówno na niższym (percepcja) jak i wyższym (myślenie) poziomie.
Mam nadzieję, że to zrozumienie stanie się źródłem inspiracji dla psychologów, pozwalając na projektowanie ciekawych eksperymentów i na ich analizę w nowym świetle. Jestem przekonany, że symulacje komputerowe staną się równie ważne dla psychologów jak stały się w ostatnich dekadach np. dla biologów czy chemików.

Kilka kursów o podobnych charakterze: lista na stronie książki oraz Prof. Janusz Starzyk, Advanced Topics in Cognitive Neuroscience and Embodied Intelligence.

Inne przydatne linki:

• CogNet, źródło informacji z MIT
• CogPrints: Cognitive Sciences Archive
• BBS prints
• Cognitive-Neuroscience Resources Archives

1. Wstęp ogólny 
2. Neurony: budowa, własności 
3. Sieci, przepływ informacji, hamowanie i konkurencja 
4. Hebbowskie uczenie się modeli 
5. Uczenie się zadań przez korekcje błędów 
6. Uczenie się zachowań: zadań i modeli 
7. Percepcja
8. Uwaga
9. Pamięć
10. Język
11. Wyższe czynności poznawcze
12. Konkluzje

Notatki są w PowerPoint i mogą być zmieniane w czasie trwania wykładu.

Jak patrzeć na mózg, na jakim poziomie opisywać, podstawowe modele, symulacje, wady i zalety podejścia symulacyjnego.

Budowa neuronu, Pandemonium, kanały jonowe, dyfuzja i prądy jonowe, podstawowe równania.

Co robią neurony, rodzaje neuronów, laminarna budowa kory, sieci i transformacje, detektor cyfr i liter.

Rekurencja, dopełnianie wzorców, wzmacnianie rekurencyjne, hamowanie, aproksymacja procesów konkurencyjnych (kWTA), spełnianie ograniczeń; przykłady: koty i psy, percepcja niejednoznacznych obrazów - sześcian Neckera.

Rodzaje uczenia, podstawy biologiczne (LTP,LTD), reguła Hebba i korelacje, rola hamowania i kWTA, PCA na neuronach, warunkowe i kontrastowe PCA.

Uczenie działań, tworzenie rep wewnętrznych, mapy somatosensoryczne i samoorganizacja, uczenie zadań przez korekcję błędów,

Uczenie się zadań i modeli; połączenie uczenia Hebbowskiego i korekcji błędów; generalizacja w sieciach ze sprzężeniami zwrotnymi, uczenie się sekwencji, reprezentacja kontekstu i uczenie z krytykiem,

Makro-organizacja przetwarzania informacji w mózgu, 6 podstawowych mechanizmów, architektura BICA, kompromisy, wyzwania.

Szlaki wzrokowe, anatomia, detekcja krawędzi, topografia kory, reprezentacje w V1, pola recepcyjne.

Wzrokowy szlak brzuszny: rozpoznawanie obiektów, model rozpoznawania, pola V2 i V4, niezmienniczość percepcji wzrokowej względem skalowania i przesunięć.

Wzrokowy szlak grzbietowy: model uwagi przestrzennej, lezje, model Posnera, rozpoznawanie kilku obiektów.

Rodzaje pamięci, 3 regiony odpowiedzialne za pamięć, komplementarne systemy uczenia, torowanie, uczenie AB-AC, anatomia i modele hipokampa.

Pamięć krótkotrwała, aktywne podtrzymywanie, pamięć robocza, model A-nie B, uczenie się kategorii, modele mentalne.

Reprezentacje symboliczne, podstawy biologiczne, model czytania, model dysleksji, lezje, regularyzacja czasów, sens słów, sens zdań.

Wyższe czynności poznawcze i ich podstawy biologiczne, kora przedczołowa, efekt Stroopa, dynamiczna kategoryzacja, automatyzmy.