Sieci neuronowe: neuropsychologia komputerowa.

Wykład "Sieci neuronowe: neuropsychologia komputerowa" (poprzednio oferowany jako "Modelowanie Funkcji Mózgu" w 2009 roku) odbywać się będzie w roku akademickim 2013/14, w sali 20, o godz. 14:15, w budynku Inst. Fizyki, ul. Grudziądzka 5. W roku 2014/15 wykład Sztuczne sieci neuronowe będzie miał podobną nazwę ale bardziej zmatematyzowany charakter.
Ponieważ drugi stopień informatyki stosowanej rozpoczyna zajęcia od 3 marca wykład odbywać się będzie w trybie 10 x 3 godziny a nie 15 x 2 godziny. W ostatni wtorek każdego miesiąca nie będzie wykładu ze względu na posiedzenia Senatu UMK. Informacja w USOS na temat wykładu i info w USOS IS | USOS FT | USOS Kog.

Jest to część cyklu 6 wykładów związanych z kognitywistyką.

Wszystkich wykładów można wysłuchać w miarę niezależnie. Orientacyjny plan książek o kognitywistyce zawiera dodatkowe wiadomości, tu podczepiam tylko notatki w HTML.
Warunkiem przystąpienia do egzaminu lub zaliczenia jest wpisanie się na listę w USOS. Osoby spoza wydziału FAiIS powinny wysłać email do prodziekana z prośbą o wpisanie do USOS.
Wybory mają swoje konsekwencje ... Zgodnie z naszym regulaminiem student ma obowiązek zapisania się do końca lutego na wszystkie zajecia, które chce zaliczac, a do połowy marca można się wypisać. Potem trzeba zdać lub zaliczyć, bo USOS automatycznie przypisze ocene negatywną.

Poniżej są stare notatki do wykładu z ubiegłego roku, które będą zmieniane w czasie trwania wykładu; co roku zmienia się nam symulator ...


Będziemy się trzymać książki: Computational Explorations in Cognitive Neuroscience Understanding the Mind by Simulating the Brain Randall C. O'Reilly and Yuko Munakata, Cambridge, MA: MIT Press. Jej nowsza wersja dostępna jest w sieci. W oparciu o swoją ksiażkę O'Reilly prowadzi kurs i wraz z współpracownikami opracował symulator Emergent, (starszy PDP++ Neural Network Simulator), z którego będziemy korzystać na ćwiczeniach i w czasie demonstracji. Porównanie z innymi symulatorami jest tutaj.
Aisa, B., Mingus, B., and O'Reilly, R. (2008). The emergent neural modeling system. Neural Networks, 21(8), 1146-1152.
Tutoriale (symulacje) do kolejnych rozdziałów można znaleźć tutaj a starsza wersję do PDP++ tutaj. Liczę na to, że wszyscy uczestnicy przeczytają książkę uważnie, jest ona stosowana w ponad 10 kursach, chociaż linki do nich (na stronie autorów książki) są stare.
Przydatne wprowadzenie do tworzenia systemów neurobiologii obliczniowej.

Celem wykładu jest zrozumienie w jaki sposób obliczeniowe neuronauki poznawcze (computational cognitive neuroscience) próbują modelować funkcje umysłowe związane z percepcją, pamięcią, uczeniem się i używaniem języka. Stosowane tu modele neuronowe, chociaż dalekie od biologicznej wierności, pozwalają na pewne zrozumienie relacji pomiędzy aktywnością neurobiologiczną mózgu i zachowaniem oraz obserwacjami psychologicznymi.
Zaczniemy od podstawowych mechanizmów na poziomie neuronów i ich niewielkich sieci, omówimy sposoby rozchodzenia się aktywacji, pobudzania i hamowania w takich sieciach, a także konkurencji pomiędzy grupami neuronów, pozwalającej na spełnianie wielu ograniczeń (constraint satisfaction). Złożone zadania możliwe są dzięki mechanizmom uczenia. Pozwala to na modelowanie własności różnego rodzaju pamięci, mechanizmów uwagi, zagadnień językowych i wielu innych zjawisk poznawczych zarówno na niższym (percepcja) jak i wyższym (myślenie) poziomie.
Mam nadzieję, że to zrozumienie stanie się źródłem inspiracji dla psychologów, pozwalając na projektowanie ciekawych eksperymentów i na ich analizę w nowym świetle. Jestem przekonany, że symulacje komputerowe staną się równie ważne dla psychologów jak stały się w ostatnich dekadach np. dla biologów czy chemików.

Kilka kursów o podobnych charakterze: lista na stronie książki oraz Prof. Janusz Starzyk, Advanced Topics in Cognitive Neuroscience and Embodied Intelligence.

Inne przydatne linki:

Serdecznie zapraszam.
Włodzisław Duch


Orientacyjny plan wykładu

  1. Wstęp ogólny 
  2. Neurony: budowa, własności 
  3. Sieci, przepływ informacji, hamowanie i konkurencja 
  4. Hebbowskie uczenie się modeli 
  5. Uczenie się zadań przez korekcje błędów 
  6. Uczenie się zachowań: zadań i modeli 
  7. Percepcja
  8. Uwaga
  9. Pamięć
  10. Język
  11. Wyższe czynności poznawcze
  12. Konkluzje

Notatki są w PowerPoint i mogą być zmieniane w czasie trwania wykładu.


1. Wstęp ogólny, o czym będzie wykład, 3 godziny

Jak patrzeć na mózg, na jakim poziomie opisywać, podstawowe modele, symulacje, wady i zalety podejścia symulacyjnego.

2. Neurony

Budowa neuronu, Pandemonium, kanały jonowe, dyfuzja i prądy jonowe, podstawowe równania.

3. Sieci neuronów

Co robią neurony, rodzaje neuronów, laminarna budowa kory, sieci i transformacje, detektor cyfr i liter.

4. Sieci neuronów: Rekurencja

Rekurencja, dopełnianie wzorców, wzmacnianie rekurencyjne, hamowanie, aproksymacja procesów konkurencyjnych (kWTA), spełnianie ograniczeń; przykłady: koty i psy, percepcja niejednoznacznych obrazów - sześcian Neckera.

5. Uczenie I: Hebbowskie modele uczenia

Rodzaje uczenia, podstawy biologiczne (LTP,LTD), reguła Hebba i korelacje, rola hamowania i kWTA, PCA na neuronach, warunkowe i kontrastowe PCA.

6. Uczenie II: Samoorganizacja i korekcja błędów

Uczenie działań, tworzenie rep wewnętrznych, mapy somatosensoryczne i samoorganizacja, uczenie zadań przez korekcję błędów,

7. Uczenie III: Uniwersalne modele uczenia

Uczenie się zadań i modeli; połączenie uczenia Hebbowskiego i korekcji błędów; generalizacja w sieciach ze sprzężeniami zwrotnymi, uczenie się sekwencji, reprezentacja kontekstu i uczenie z krytykiem,

8. Przetwarzanie informacji przez mózgi

Makro-organizacja przetwarzania informacji w mózgu, 6 podstawowych mechanizmów, architektura BICA, kompromisy, wyzwania.

9. Percepcja I: Wzrok

Szlaki wzrokowe, anatomia, detekcja krawędzi, topografia kory, reprezentacje w V1, pola recepcyjne.

10. Percepcja II: Postrzeganie niezmiennicze

Wzrokowy szlak brzuszny: rozpoznawanie obiektów, model rozpoznawania, pola V2 i V4, niezmienniczość percepcji wzrokowej względem skalowania i przesunięć.

11. Percepcja - Mechanizmy uwagi

Wzrokowy szlak grzbietowy: model uwagi przestrzennej, lezje, model Posnera, rozpoznawanie kilku obiektów.

12. Pamięć I

Rodzaje pamięci, 3 regiony odpowiedzialne za pamięć, komplementarne systemy uczenia, torowanie, uczenie AB-AC, anatomia i modele hipokampa.

13. Pamięć II

Pamięć krótkotrwała, aktywne podtrzymywanie, pamięć robocza, model A-nie B, uczenie się kategorii, modele mentalne.

14. Język

Reprezentacje symboliczne, podstawy biologiczne, model czytania, model dysleksji, lezje, regularyzacja czasów, sens słów, sens zdań.

15. Wyższe czynności poznawcze

Wyższe czynności poznawcze i ich podstawy biologiczne, kora przedczołowa, efekt Stroopa, dynamiczna kategoryzacja, automatyzmy.


Włodzisław Duch