Spis treści

Funkcje Boolowskie - Porównanie klasyfikatorów (ICAISC 2008)

Funkcje Boolowskie - Porównanie klasyfikatorów (ICAISC 2008)

Cel: zbadenie wpływu złorzoności danych (k-separowalności) na uczenie modeli

Modele porównywane:

SVM, kernele gausowskie, C i bias wybierane automatycznie (5CV) w wewnetrzej walidacji (Ghost Miner lub Spider)
MLP, neurony sugmoidalne, jedna wartstwa ukryta, wyniki tu zaprezentowane odpowiadają sieci dającej najwiekszą wartość ACC-STD sposród 15 sieci neuronowych, tutaj szczegółowe wyniki (NN Matlab Toolbox lub SNNS)
sieć C3SEP, ontogeniczna sieć neuronowa z okienkowymi funkcjami transferu

Testy generalizacji : dla wszystkich modeli 5×10 CV (not stratified)

Dane

Parzystość, ciagi bitowe podzielone na parzyste i nieparzyste, liczba wektorow 2^N, gdzie N jest liczbą wymiarów
Parzystość x 4 - parzystość rozmnożona 4 razy, liczba wektorow 4×2^N
Parzystość 5x5 szum - parzystość 5 wymiarowa rozmnożona 5 razy z dodtkowymi wymiarami zawierającymi szum z rozkładu P(x_i = 1) = P(x_i = 0) = 0.5
Parzystość x5 fuzzy sigma=0.01 - parzystość rozmnożona 5 razy, gdzie położenie punktów zostało przesunięte o małą losową wartość z rozkładu N(0,0.01)
Parzystość x5 fuzzy sigma=0.05 - parzystość rozmnożona 5 razy, gdzie położenie punktów zostało przesunięte o małą losową wartość z rozkładu N(0,0.05)
Mirror Symetry - dane 15 i 20 wymiarowe zawierające 100, 200 lub 400 wektorów podzielonych na 2 klasy: ciagi symetryczne i niesymetryczne. Klasy są równoliczne. Wektory w danych się nie powtarzają. Np. zapis 15×400 oznacza, że dane zawierają 400 ciagów (200 symetrycznych i 200 niesymetrycznych) o długości 15 bitów

5x2CV

Parzystość x4

Wymiar	Model
	SVM				MLP			C3SEP
	Accuracy	std.	Suport V.	std.	Accuracy	std.	Neurons	Accuracy	std.	Neurons	std.
3	0.7250	0.1060	6.9	0.65	1.0000	0.0000	9	0.9750	0.0559	1.90	0.22
4	0.8625	0.01767	17.5	3.65	0.8875	0.0280	8	1.0000	0.0000	2.00	0.00
5	0.9125	0.0530	30.6	1.02	0.9688	0.0383	10	0.9688	0.0313	3.10	0.22
6	0.9093	0.0220	76.8	15.18	0.9500	0.0131	13	0.9820	0.0134	4.10	0.22
7	0.8937	0.0088	203.1	31.37	0.9859	0.0116	17	0.9840	0.0072	5.10	0.55
8	0.8648	0.0165	314.6	104.301	0.9889	0.0031	8	0.9672	0.0251	5.50	1.27
9	0.8440	0.0161	531.0	53.17	0.9983	0.0011	16	0.9691	0.0227	5.50	1.00
10	0.8783	0.0135	961.7	4.75	0.9975	0.0020	19	0.9494	0.0185	6.30	1.57
11	0.8770	0.0084	1922.1	6.34	0.9978	0.0010	17	0.9800	0.0098	5.70	1.99

Szczegółowe wyniki dla MLP

5x10CV

Parzystość

Wymiar	Model
	SVM				MLP			C3SEP
	Accuracy	std.	Suport V.	std.	Accuracy	std.	Neurons	Accuracy	std.	Neurons	std.
4	1.00 ?!	0.00	12.58	0.37	0.1400	0.0652	5	0.8900	0.0742	1.96	0.11
5	0.2716	0.1335	28.42	0.16	0.5300	0.1040	5	0.7583	0.0860	2.78	0.13
6	0.2380 ?!	0.1845	57.24	0.05	0.6376	0.1050	8	0.9062	0.0441	3.64	0.21
7	0.3501	0.1505	114.54	0.114	0.8271	0.0232	12	0.9203	0.0236	4.52	0.29
8	0.3527	0.1221	229.42	0.37	0.9195	0.0111	15	0.9286	0.0112	5.16	0.53
9	0.4575	0.0693	459.62	0.408	0.9498	0.0249	14	0.9652	0.0135	4.82	0.42
10	0.41829	0.0692	920.34	0.68	0.9032	0.0237	15	0.9533	0.0094	5.08	0.39
11	0.4784	0.0334	1841.98	0.67	0.7474	0.0542	15	0.9798	0.0106	5.26	0.32
12	0.4557	0.0343	3684.92	1.66

Szczegółowe wyniki dla MLP

Parzystość x4

Wymiar	Model
	SVM				MLP			C3SEP
	Accuracy	std.	Suport V.	std.	Accuracy	std.	Neurons	Accuracy	std.	Neurons	std.
3	1.00	0.00	8	0.00	1.0000	0.0000	3	1.0000	0.0000	2.00	0.00
4	1.00	0.00	16	0.00	1.0000	0.0000	7	1.0000	0.0000	2.06	0.13
5	1.00	0.00	32	0.00	1.0000	0.0000	7	0.9954	0.0103	3.32	0.04
6	0.9937	0.0132	63.96	0.09	1.0000	0.0000	10	0.9922	0.0084	3.78	0.29
7	1.00	0.00	128	0.00	1.0000	0.0000	15	0.9840	0.0145	4.80	0.43
8	1.00	0.00	256.00	0.00	0.9992	0.0013	15	0.9785	0.0122	5.26	0.50
9	0.9992	0.0016	511.96	0.09	0.9957	0.0012	15	0.9785	0.0238	4.56	0.44
10	0.9996	0.0008	1023.96	0.08	0.9668	0.0299	14	0.9751	0.0061	5.68	0.31
11	0.9982	0.0023	2047.64	0.32	0.8645	0.0432	14	0.9875	0.0039	5.22	0.26

Szczegółowe wyniki dla MLP

Parzystość 5x5 szum

poziom	Model
szumu	SVM				MLP			C3SEP
	Accuracy	std.	Suport V.	std.	Accuracy	std.	Neurons	Accuracy	std.	Neurons	std.
1	0.9275	0.0867	61.12	0.18	0.9988	0.0028	11	0.9850	0.0157	3.70	0.32
2	0.7100	0.1314	127.80	2.30	0.9937	0.0077	10	0.9825	0.0093	3.84	0.11
3	0.6250	0.1154	127.60	4.12	0.9213	0.0071	8	0.9450	0.0081	4.42	0.47
4	0.5287	0.1015	127.94	4.05	0.7950	0.0128	7	0.9063	0.0171	4.76	0.23
5	0.5362	0.1526	121.68	5.17	0.7087	0.0341	6	0.8012	0.0404	5.40	0.42
6	0.5775	0.0934	140.46	0.65	0.6100	0.0366	5	0.7650	0.0541	5.14	0.26
7	0.5112	0.1081	136.16	1.11	0.5675	0.0304	7	0.6887	0.0376	5.44	0.51
8	0.4837	0.0892	137.82	3.07	0.5013	0.0120	9	0.5888	0.0447	5.66	0.80
9	0.4225	0.1010	138.68	1.74	0.4675	0.0112	8	0.5337	0.0347	5.40	0.54

Szczegółowe wyniki dla MLP

Parzystość x5 fuzzy sigma=0.01

wymiar	Model
	SVM				MLP			C3SEP
	Accuracy	std.	Suport V.	std.	Accuracy	std.	Neurons	Accuracy	std.	Neurons	std.
2	1.00	0.00	4.00	0.00	1.0000	0.0000	2	1.0000	0.0000	1.00	0.00
3	1.00	0.00	8.40	0.07	1.0000	0.0000	3	1.0000	0.0000	2.00	0.00
4	1.00	0.00	17.74	0.11	1.0000	0.0000	6	1.0000	0.0000	2.04	0.05
5	1.00	0.00	40.12	0.23	1.0000	0.0000	8	1.0000	0.0000	3.28	0.11
6	1.00	0.00	89.64	0.43	1.0000	0.0000	10	0.9919	0.0068	3.90	0.26
7	1.00	0.00	202.08	1.16	1.0000	0.0000	14	0.9906	0.0057	4.76	0.30
8	1.00	0.00	601.88	0.84	0.9984	0.0015	15	0.9808	0.0049	5.74	0.43
9	1.00	0.00	1270.18	1,82	0.9980	0.0005	15	0.9863	0.0042	4.82	0.33
10	1.00	0.00	2607.68	1.47	0.8724	0.0418	8	0.9553	0.0141	6.00	0.53
11								0.9905	0.0044	5.26	0.46

Szczegółowe wyniki dla MLP

Parzystość x5 fuzzy sigma=0.05

wymiar	Model
	SVM				MLP			C3SEP
	Accuracy	std.	Suport V.	std.	Accuracy	std.	Neurons	Accuracy	std.	Neurons	std.
2					1.0000	0.0000	2	1.0000	0.0000	1.00	0.00
3					1.0000	0.0000	3	1.0000	0.0000	2.00	0.00
4					1.0000	0.0000	6	1.0000	0.0000	2.02	0.04
5					1.0000	0.0000	8	0.9975	0.0056	3.36	0.26
6	1.00	0.00	137.24	0.79	1.0000	0.0000	9	0.9919	0.0028	3.94	0.35
7	0.9981	0.0052	336.56	1.33	0.9994	0.0009	15	0.9828	0.0040	4.66	0.38
8	1.00	0.00	905.18	1.42	0.9978	0.0013	15	0.9695	0.0069	4.92	0.63
9	1.00	0.00	1846.96	1.37	0.9927	0.0017	14	0.9903	0.0018	5.10	0.42
10	1.00	0.00	3851.22	1.65	0.9770	0.0219	15	0.9618	0.0161	5.90	0.72
11					0.9127	0.0639	15	0.9846	0.0060	5.46	0.19

Szczegółowe wyniki dla MLP

Mirror Symetry

rozmiar	Model
danych	SVM				MLP			C3SEP
#Fx#V	Accuracy	std.	Suport V.	std.	Accuracy	std.	Neurons	Accuracy	std.	Neurons	std.
15×100	0.8080	0.1150	80.76	5.58	0.8360	0.0219	2	0.9160	0.0089	1.04	0.09
15×200	0.9260	0.0520	104.77	1.28	0.9330	0.0076	9	0.9420	0.0208	1.00	0.00
15×400	0.9615	0.0328	166.18	1.92	0.9795	0.0054	15	0.9700	0.0066	1.00	0.00
20×100	0.7700	0.1234	84.12	1.10	0.7840	0.0336	2	0.9020	0.0277	1.00	0.00
20×200	0.9670	0.0427	124.12	2.23	0.8940	0.0082	14	0.9400	0.0127	1.00	0.00
20×400	0.9545	0.0348	170.24	1.67	0.9520	0.0080	12	0.9475	0.0135	1.00	0.00

Szczegółowe wyniki dla MLP