Funkcje Boolowskie - Porównanie klasyfikatorów (ICAISC 2008)

Cel: zbadenie wpływu złorzoności danych (k-separowalności) na uczenie modeli

Modele porównywane:

  • SVM, kernele gausowskie, C i bias wybierane automatycznie (5CV) w wewnetrzej walidacji (Ghost Miner lub Spider)
  • MLP, neurony sugmoidalne, jedna wartstwa ukryta, wyniki tu zaprezentowane odpowiadają sieci dającej najwiekszą wartość ACC-STD sposród 15 sieci neuronowych, tutaj szczegółowe wyniki (NN Matlab Toolbox lub SNNS)
  • sieć C3SEP, ontogeniczna sieć neuronowa z okienkowymi funkcjami transferu

Testy generalizacji : dla wszystkich modeli 5×10 CV (not stratified)

Dane

  • Parzystość, ciagi bitowe podzielone na parzyste i nieparzyste, liczba wektorow 2^N, gdzie N jest liczbą wymiarów
  • Parzystość x 4 - parzystość rozmnożona 4 razy, liczba wektorow 4×2^N
  • Parzystość 5x5 szum - parzystość 5 wymiarowa rozmnożona 5 razy z dodtkowymi wymiarami zawierającymi szum z rozkładu P(x_i = 1) = P(x_i = 0) = 0.5
  • Parzystość x5 fuzzy sigma=0.01 - parzystość rozmnożona 5 razy, gdzie położenie punktów zostało przesunięte o małą losową wartość z rozkładu N(0,0.01)
  • Parzystość x5 fuzzy sigma=0.05 - parzystość rozmnożona 5 razy, gdzie położenie punktów zostało przesunięte o małą losową wartość z rozkładu N(0,0.05)
  • Mirror Symetry - dane 15 i 20 wymiarowe zawierające 100, 200 lub 400 wektorów podzielonych na 2 klasy: ciagi symetryczne i niesymetryczne. Klasy są równoliczne. Wektory w danych się nie powtarzają. Np. zapis 15×400 oznacza, że dane zawierają 400 ciagów (200 symetrycznych i 200 niesymetrycznych) o długości 15 bitów

5x2CV

Parzystość x4

Wymiar Model
SVM MLP C3SEP
Accuracy std. Suport V. std. Accuracy std. Neurons Accuracy std. Neurons std.
3 0.7250 0.1060 6.9 0.65 1.0000 0.0000 9 0.9750 0.0559 1.90 0.22
4 0.8625 0.01767 17.5 3.65 0.8875 0.0280 8 1.0000 0.0000 2.00 0.00
5 0.9125 0.0530 30.6 1.02 0.9688 0.0383 10 0.9688 0.0313 3.10 0.22
6 0.9093 0.0220 76.8 15.18 0.9500 0.0131 13 0.9820 0.0134 4.10 0.22
7 0.8937 0.0088 203.1 31.37 0.9859 0.0116 17 0.9840 0.0072 5.10 0.55
8 0.8648 0.0165 314.6 104.301 0.9889 0.0031 8 0.9672 0.0251 5.50 1.27
9 0.8440 0.0161 531.0 53.17 0.9983 0.0011 16 0.9691 0.0227 5.50 1.00
10 0.8783 0.0135 961.7 4.75 0.9975 0.0020 19 0.9494 0.0185 6.30 1.57
11 0.8770 0.0084 1922.1 6.34 0.9978 0.0010 17 0.9800 0.0098 5.70 1.99

Szczegółowe wyniki dla MLP

5x10CV

Parzystość

Wymiar Model
SVM MLP C3SEP
Accuracy std. Suport V. std. Accuracy std. Neurons Accuracy std. Neurons std.
4 1.00 ?! 0.00 12.58 0.37 0.1400 0.0652 5 0.8900 0.0742 1.96 0.11
5 0.2716 0.1335 28.42 0.16 0.5300 0.1040 5 0.7583 0.0860 2.78 0.13
6 0.2380 ?! 0.1845 57.24 0.05 0.6376 0.1050 8 0.9062 0.0441 3.64 0.21
7 0.3501 0.1505 114.54 0.114 0.8271 0.0232 12 0.9203 0.0236 4.52 0.29
8 0.3527 0.1221 229.42 0.37 0.9195 0.0111 15 0.9286 0.0112 5.16 0.53
9 0.4575 0.0693 459.62 0.408 0.9498 0.0249 14 0.9652 0.0135 4.82 0.42
10 0.41829 0.0692 920.34 0.68 0.9032 0.0237 15 0.9533 0.0094 5.08 0.39
11 0.4784 0.0334 1841.98 0.67 0.7474 0.0542 15 0.9798 0.0106 5.26 0.32
12 0.4557 0.0343 3684.92 1.66

Szczegółowe wyniki dla MLP

Parzystość x4

Wymiar Model
SVM MLP C3SEP
Accuracy std. Suport V. std. Accuracy std. Neurons Accuracy std. Neurons std.
3 1.00 0.00 8 0.00 1.0000 0.0000 3 1.0000 0.0000 2.00 0.00
4 1.00 0.00 16 0.00 1.0000 0.0000 7 1.0000 0.0000 2.06 0.13
5 1.00 0.00 32 0.00 1.0000 0.0000 7 0.9954 0.0103 3.32 0.04
6 0.9937 0.0132 63.96 0.09 1.0000 0.0000 10 0.9922 0.0084 3.78 0.29
7 1.00 0.00 128 0.00 1.0000 0.0000 15 0.9840 0.0145 4.80 0.43
8 1.00 0.00 256.00 0.00 0.9992 0.0013 15 0.9785 0.0122 5.26 0.50
9 0.9992 0.0016 511.96 0.09 0.9957 0.0012 15 0.9785 0.0238 4.56 0.44
10 0.9996 0.0008 1023.96 0.08 0.9668 0.0299 14 0.9751 0.0061 5.68 0.31
11 0.9982 0.0023 2047.64 0.32 0.8645 0.0432 14 0.9875 0.0039 5.22 0.26

Szczegółowe wyniki dla MLP

Parzystość 5x5 szum

poziom Model
szumu SVM MLP C3SEP
Accuracy std. Suport V. std. Accuracy std. Neurons Accuracy std. Neurons std.
1 0.9275 0.0867 61.12 0.18 0.9988 0.0028 11 0.9850 0.0157 3.70 0.32
2 0.7100 0.1314 127.80 2.30 0.9937 0.0077 10 0.9825 0.0093 3.84 0.11
3 0.6250 0.1154 127.60 4.12 0.9213 0.0071 8 0.9450 0.0081 4.42 0.47
4 0.5287 0.1015 127.94 4.05 0.7950 0.0128 7 0.9063 0.0171 4.76 0.23
5 0.5362 0.1526 121.68 5.17 0.7087 0.0341 6 0.8012 0.0404 5.40 0.42
6 0.5775 0.0934 140.46 0.65 0.6100 0.0366 5 0.7650 0.0541 5.14 0.26
7 0.5112 0.1081 136.16 1.11 0.5675 0.0304 7 0.6887 0.0376 5.44 0.51
8 0.4837 0.0892 137.82 3.07 0.5013 0.0120 9 0.5888 0.0447 5.66 0.80
9 0.4225 0.1010 138.68 1.74 0.4675 0.0112 8 0.5337 0.0347 5.40 0.54

Szczegółowe wyniki dla MLP

Parzystość x5 fuzzy sigma=0.01

wymiar Model
SVM MLP C3SEP
Accuracy std. Suport V. std. Accuracy std. Neurons Accuracy std. Neurons std.
2 1.00 0.00 4.00 0.00 1.0000 0.0000 2 1.0000 0.0000 1.00 0.00
3 1.00 0.00 8.40 0.07 1.0000 0.0000 3 1.0000 0.0000 2.00 0.00
4 1.00 0.00 17.74 0.11 1.0000 0.0000 6 1.0000 0.0000 2.04 0.05
5 1.00 0.00 40.12 0.23 1.0000 0.0000 8 1.0000 0.0000 3.28 0.11
6 1.00 0.00 89.64 0.43 1.0000 0.0000 10 0.9919 0.0068 3.90 0.26
7 1.00 0.00 202.08 1.16 1.0000 0.0000 14 0.9906 0.0057 4.76 0.30
8 1.00 0.00 601.88 0.84 0.9984 0.0015 15 0.9808 0.0049 5.74 0.43
9 1.00 0.00 1270.18 1,82 0.9980 0.0005 15 0.9863 0.0042 4.82 0.33
10 1.00 0.00 2607.68 1.47 0.8724 0.0418 8 0.9553 0.0141 6.00 0.53
11 0.9905 0.0044 5.26 0.46

Szczegółowe wyniki dla MLP

Parzystość x5 fuzzy sigma=0.05

wymiar Model
SVM MLP C3SEP
Accuracy std. Suport V. std. Accuracy std. Neurons Accuracy std. Neurons std.
2 1.0000 0.0000 2 1.0000 0.0000 1.00 0.00
3 1.0000 0.0000 3 1.0000 0.0000 2.00 0.00
4 1.0000 0.0000 6 1.0000 0.0000 2.02 0.04
5 1.0000 0.0000 8 0.9975 0.0056 3.36 0.26
6 1.00 0.00 137.24 0.79 1.0000 0.0000 9 0.9919 0.0028 3.94 0.35
7 0.9981 0.0052 336.56 1.33 0.9994 0.0009 15 0.9828 0.0040 4.66 0.38
8 1.00 0.00 905.18 1.42 0.9978 0.0013 15 0.9695 0.0069 4.92 0.63
9 1.00 0.00 1846.96 1.37 0.9927 0.0017 14 0.9903 0.0018 5.10 0.42
10 1.00 0.00 3851.22 1.65 0.9770 0.0219 15 0.9618 0.0161 5.90 0.72
11 0.9127 0.0639 15 0.9846 0.0060 5.46 0.19

Szczegółowe wyniki dla MLP

Mirror Symetry

rozmiar Model
danych SVM MLP C3SEP
#Fx#V Accuracy std. Suport V. std. Accuracy std. Neurons Accuracy std. Neurons std.
15×100 0.8080 0.1150 80.76 5.58 0.8360 0.0219 2 0.9160 0.0089 1.04 0.09
15×200 0.9260 0.0520 104.77 1.28 0.9330 0.0076 9 0.9420 0.0208 1.00 0.00
15×400 0.9615 0.0328 166.18 1.92 0.9795 0.0054 15 0.9700 0.0066 1.00 0.00
20×100 0.7700 0.1234 84.12 1.10 0.7840 0.0336 2 0.9020 0.0277 1.00 0.00
20×200 0.9670 0.0427 124.12 2.23 0.8940 0.0082 14 0.9400 0.0127 1.00 0.00
20×400 0.9545 0.0348 170.24 1.67 0.9520 0.0080 12 0.9475 0.0135 1.00 0.00

Szczegółowe wyniki dla MLP