diff options
| author | YurenHao0426 <Blackhao0426@gmail.com> | 2026-08-29 20:40:32 -0500 |
|---|---|---|
| committer | YurenHao0426 <Blackhao0426@gmail.com> | 2026-08-29 20:40:32 -0500 |
| commit | 0e322285e96670f2b9b05f24474f1a39184fd3b3 (patch) | |
| tree | bb8a697d3b10ace00187cd3e48538ccaf2ae513a /results/coupled_ladder | |
| parent | 041d97c070ed4769f5fc7b548e0808366b03cb91 (diff) | |
figure: confirm CLLN imperfection scaling
Diffstat (limited to 'results/coupled_ladder')
| -rw-r--r-- | results/coupled_ladder/p2_scaling_analysis.json | 3483 | ||||
| -rw-r--r-- | results/coupled_ladder/p2_scaling_source.csv | 241 |
2 files changed, 3724 insertions, 0 deletions
diff --git a/results/coupled_ladder/p2_scaling_analysis.json b/results/coupled_ladder/p2_scaling_analysis.json new file mode 100644 index 0000000..7d62110 --- /dev/null +++ b/results/coupled_ladder/p2_scaling_analysis.json @@ -0,0 +1,3483 @@ +{ + "analysis": "digital_coupled_ladder_scaling", + "confirmatory": true, + "bootstrap": { + "unit": "task; component draws averaged within task", + "task_clusters": 40, + "component_draws_per_task_size": 3, + "replicates": 20000, + "seed": 20260829, + "interval": "percentile 95%" + }, + "sizes": [ + 4, + 8, + 12, + 16, + 24, + 32 + ], + "summaries": { + "4": { + "learnable_edges": 32, + "methods": { + "clean": { + "classification_error": { + "mean": 0.0, + "task_bootstrap_95ci": [ + 0.0, + 0.0 + ] + }, + "classification_error_auc": { + "mean": 0.013203125, + "task_bootstrap_95ci": [ + 0.008177083333333331, + 0.019505208333333336 + ] + }, + "reached_stable_zero_error": { + "mean": 1.0, + "task_bootstrap_95ci": [ + 1.0, + 1.0 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 45.0, + "task_bootstrap_95ci": [ + 25.25, + 70.25 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 357.85, + "task_bootstrap_95ci": [ + 199.0, + 563.1818749999993 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 11451.2, + "task_bootstrap_95ci": [ + 6361.52, + 18066.479999999996 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 11451.2, + "task_bootstrap_95ci": [ + 6359.84, + 17939.239999999998 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 3.5785000000000458, + "task_bootstrap_95ci": [ + 2.0004937499999853, + 5.601756250000185 + ] + } + }, + "matched_noise": { + "classification_error": { + "mean": 0.007291666666666666, + "task_bootstrap_95ci": [ + 0.0010416666666666667, + 0.015625 + ] + }, + "classification_error_auc": { + "mean": 0.02390625, + "task_bootstrap_95ci": [ + 0.012959852430555556, + 0.03701410590277776 + ] + }, + "reached_stable_zero_error": { + "mean": 0.95, + "task_bootstrap_95ci": [ + 0.8916666666666668, + 0.9916666666666666 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 108.5, + "task_bootstrap_95ci": [ + 55.83333333333333, + 171.25 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 821.7166666666668, + "task_bootstrap_95ci": [ + 421.64124999999996, + 1288.845208333333 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 26294.933333333338, + "task_bootstrap_95ci": [ + 13370.326666666666, + 41224.126666666656 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 26294.933333333338, + "task_bootstrap_95ci": [ + 13431.266666666668, + 41515.37999999999 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 8.217166666666666, + "task_bootstrap_95ci": [ + 4.23548125000002, + 12.917185416666678 + ] + } + }, + "raw": { + "classification_error": { + "mean": 0.34687499999999993, + "task_bootstrap_95ci": [ + 0.30729166666666663, + 0.3885416666666667 + ] + }, + "classification_error_auc": { + "mean": 0.34838541666666667, + "task_bootstrap_95ci": [ + 0.3088361545138889, + 0.38895030381944434 + ] + }, + "reached_stable_zero_error": { + "mean": 0.175, + "task_bootstrap_95ci": [ + 0.10833333333333332, + 0.24166666666666664 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 501.0833333333333, + "task_bootstrap_95ci": [ + 462.58333333333337, + 537.7520833333332 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 3357.666666666667, + "task_bootstrap_95ci": [ + 3042.3479166666666, + 3662.110416666667 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 107445.33333333334, + "task_bootstrap_95ci": [ + 97457.57333333333, + 117255.05999999997 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 107445.33333333334, + "task_bootstrap_95ci": [ + 97141.48000000001, + 117275.08 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 33.57666666666664, + "task_bootstrap_95ci": [ + 30.429910416666683, + 36.61570208333325 + ] + } + }, + "constant": { + "classification_error": { + "mean": 0.06145833333333334, + "task_bootstrap_95ci": [ + 0.03125, + 0.09583333333333334 + ] + }, + "classification_error_auc": { + "mean": 0.06347222222222222, + "task_bootstrap_95ci": [ + 0.03546006944444445, + 0.09543424479166665 + ] + }, + "reached_stable_zero_error": { + "mean": 0.7583333333333332, + "task_bootstrap_95ci": [ + 0.6416666666666666, + 0.8583333333333334 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 174.91666666666666, + "task_bootstrap_95ci": [ + 113.25, + 239.5854166666665 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1288.9833333333331, + "task_bootstrap_95ci": [ + 806.2495833333334, + 1809.2043749999996 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 41247.46666666666, + "task_bootstrap_95ci": [ + 25998.126666666663, + 57878.82666666665 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 41759.46666666666, + "task_bootstrap_95ci": [ + 26508.919999999995, + 58261.65333333333 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 12.889833333333215, + "task_bootstrap_95ci": [ + 8.195037499999886, + 18.11363541666641 + ] + } + }, + "sdil": { + "classification_error": { + "mean": 0.0, + "task_bootstrap_95ci": [ + 0.0, + 0.0 + ] + }, + "classification_error_auc": { + "mean": 0.012838541666666667, + "task_bootstrap_95ci": [ + 0.00798611111111111, + 0.019140625 + ] + }, + "reached_stable_zero_error": { + "mean": 1.0, + "task_bootstrap_95ci": [ + 1.0, + 1.0 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 40.83333333333333, + "task_bootstrap_95ci": [ + 22.916666666666668, + 64.5 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 324.575, + "task_bootstrap_95ci": [ + 182.54166666666669, + 508.778333333333 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 10386.4, + "task_bootstrap_95ci": [ + 5798.666666666667, + 16444.686666666654 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 20772.8, + "task_bootstrap_95ci": [ + 11531.16, + 32878.50666666666 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 3.2457500000000437, + "task_bootstrap_95ci": [ + 1.8007395833333222, + 5.1278500000001666 + ] + } + }, + "sdil_raw_to_clean_gap_closed": 1.0 + } + }, + "8": { + "learnable_edges": 128, + "methods": { + "clean": { + "classification_error": { + "mean": 0.0125, + "task_bootstrap_95ci": [ + 0.003125, + 0.025 + ] + }, + "classification_error_auc": { + "mean": 0.024375, + "task_bootstrap_95ci": [ + 0.015494791666666669, + 0.034583984374999946 + ] + }, + "reached_stable_zero_error": { + "mean": 0.9, + "task_bootstrap_95ci": [ + 0.8, + 0.975 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 102.0, + "task_bootstrap_95ci": [ + 54.25, + 160.25 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 816.0, + "task_bootstrap_95ci": [ + 436.0, + 1280.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 104448.0, + "task_bootstrap_95ci": [ + 55552.0, + 162816.0 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 104448.0, + "task_bootstrap_95ci": [ + 56064.0, + 163328.0 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 8.159999999999865, + "task_bootstrap_95ci": [ + 4.2999999999999465, + 12.739999999999766 + ] + } + }, + "matched_noise": { + "classification_error": { + "mean": 0.026041666666666668, + "task_bootstrap_95ci": [ + 0.007291666666666666, + 0.051041666666666666 + ] + }, + "classification_error_auc": { + "mean": 0.056414930555555555, + "task_bootstrap_95ci": [ + 0.035311848958333336, + 0.0797573784722222 + ] + }, + "reached_stable_zero_error": { + "mean": 0.875, + "task_bootstrap_95ci": [ + 0.775, + 0.9583333333333333 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 243.41666666666669, + "task_bootstrap_95ci": [ + 175.0, + 314.75 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1887.8166666666664, + "task_bootstrap_95ci": [ + 1340.7037500000001, + 2471.303958333332 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 241640.5333333333, + "task_bootstrap_95ci": [ + 172539.54666666666, + 315133.1466666666 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 241640.5333333333, + "task_bootstrap_95ci": [ + 172787.54666666666, + 314763.78666666656 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 18.878166666666516, + "task_bootstrap_95ci": [ + 13.45398958333326, + 24.62251249999971 + ] + } + }, + "raw": { + "classification_error": { + "mean": 0.3791666666666666, + "task_bootstrap_95ci": [ + 0.334375, + 0.4239583333333333 + ] + }, + "classification_error_auc": { + "mean": 0.39015625, + "task_bootstrap_95ci": [ + 0.3469077690972222, + 0.4322664930555555 + ] + }, + "reached_stable_zero_error": { + "mean": 0.075, + "task_bootstrap_95ci": [ + 0.03333333333333333, + 0.125 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 559.0833333333334, + "task_bootstrap_95ci": [ + 530.9979166666667, + 582.75 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 3767.6, + "task_bootstrap_95ci": [ + 3446.7733333333335, + 4072.25375 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 482252.8, + "task_bootstrap_95ci": [ + 441679.36, + 520498.2666666667 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 482252.8, + "task_bootstrap_95ci": [ + 441475.06666666665, + 520315.0399999999 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 37.67600000000004, + "task_bootstrap_95ci": [ + 34.4781604166668, + 40.70692083333316 + ] + } + }, + "constant": { + "classification_error": { + "mean": 0.06458333333333334, + "task_bootstrap_95ci": [ + 0.03333333333333334, + 0.10104166666666665 + ] + }, + "classification_error_auc": { + "mean": 0.06527777777777777, + "task_bootstrap_95ci": [ + 0.036345052083333336, + 0.09837673611111111 + ] + }, + "reached_stable_zero_error": { + "mean": 0.7583333333333333, + "task_bootstrap_95ci": [ + 0.6416666666666666, + 0.8583333333333332 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 196.41666666666669, + "task_bootstrap_95ci": [ + 133.58333333333334, + 263.0833333333333 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1556.1333333333332, + "task_bootstrap_95ci": [ + 1047.1216666666667, + 2096.176666666666 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 199185.06666666665, + "task_bootstrap_95ci": [ + 133602.93333333335, + 267900.1066666666 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 201233.06666666665, + "task_bootstrap_95ci": [ + 136784.31999999998, + 268940.2399999998 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 15.561333333333133, + "task_bootstrap_95ci": [ + 10.555216666666539, + 20.94367291666636 + ] + } + }, + "sdil": { + "classification_error": { + "mean": 0.0125, + "task_bootstrap_95ci": [ + 0.003125, + 0.025 + ] + }, + "classification_error_auc": { + "mean": 0.024375, + "task_bootstrap_95ci": [ + 0.015546875000000002, + 0.034661675347222205 + ] + }, + "reached_stable_zero_error": { + "mean": 0.9, + "task_bootstrap_95ci": [ + 0.8, + 0.975 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 101.5, + "task_bootstrap_95ci": [ + 53.66666666666667, + 159.75 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 812.0, + "task_bootstrap_95ci": [ + 431.3333333333333, + 1274.0166666666653 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 103936.0, + "task_bootstrap_95ci": [ + 55210.66666666667, + 162730.6666666667 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 207872.0, + "task_bootstrap_95ci": [ + 111616.0, + 328362.6666666667 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 8.119999999999866, + "task_bootstrap_95ci": [ + 4.306666666666614, + 12.733333333333102 + ] + } + }, + "sdil_raw_to_clean_gap_closed": 1.0 + } + }, + "12": { + "learnable_edges": 288, + "methods": { + "clean": { + "classification_error": { + "mean": 0.01875, + "task_bootstrap_95ci": [ + 0.00625, + 0.034375 + ] + }, + "classification_error_auc": { + "mean": 0.047031250000000004, + "task_bootstrap_95ci": [ + 0.024817708333333334, + 0.07323046874999989 + ] + }, + "reached_stable_zero_error": { + "mean": 0.85, + "task_bootstrap_95ci": [ + 0.725, + 0.95 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 129.25, + "task_bootstrap_95ci": [ + 70.0, + 197.25 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1034.0, + "task_bootstrap_95ci": [ + 571.95, + 1568.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 297792.0, + "task_bootstrap_95ci": [ + 160704.0, + 454464.0 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 297792.0, + "task_bootstrap_95ci": [ + 161856.0, + 452736.0 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 31.020000000000778, + "task_bootstrap_95ci": [ + 16.680000000000312, + 47.46000000000137 + ] + } + }, + "matched_noise": { + "classification_error": { + "mean": 0.08020833333333334, + "task_bootstrap_95ci": [ + 0.04791666666666666, + 0.115625 + ] + }, + "classification_error_auc": { + "mean": 0.11233506944444445, + "task_bootstrap_95ci": [ + 0.07696158854166667, + 0.15118077256944443 + ] + }, + "reached_stable_zero_error": { + "mean": 0.675, + "task_bootstrap_95ci": [ + 0.5583333333333333, + 0.7916666666666666 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 467.4166666666667, + "task_bootstrap_95ci": [ + 417.74583333333334, + 512.25 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 3371.841666666667, + "task_bootstrap_95ci": [ + 2920.2410416666667, + 3786.7475 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 971090.4, + "task_bootstrap_95ci": [ + 841615.74, + 1094660.3399999999 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 971090.4, + "task_bootstrap_95ci": [ + 841912.74, + 1093814.64 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 101.1552500000031, + "task_bootstrap_95ci": [ + 87.50690000000259, + 114.07032500000355 + ] + } + }, + "raw": { + "classification_error": { + "mean": 0.48125, + "task_bootstrap_95ci": [ + 0.4510416666666667, + 0.5114583333333333 + ] + }, + "classification_error_auc": { + "mean": 0.4816493055555555, + "task_bootstrap_95ci": [ + 0.4522215711805555, + 0.5120227864583333 + ] + }, + "reached_stable_zero_error": { + "mean": 0.03333333333333333, + "task_bootstrap_95ci": [ + 0.008333333333333333, + 0.06666666666666667 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 581.0833333333333, + "task_bootstrap_95ci": [ + 562.1666666666666, + 595.8333333333333 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4482.275, + "task_bootstrap_95ci": [ + 4324.840208333333, + 4618.510208333333 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 1290895.2, + "task_bootstrap_95ci": [ + 1245407.34, + 1330315.38 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 1290895.2, + "task_bootstrap_95ci": [ + 1245536.58, + 1329782.46 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 134.46825000000436, + "task_bootstrap_95ci": [ + 129.7265437500042, + 138.57364375000446 + ] + } + }, + "constant": { + "classification_error": { + "mean": 0.06354166666666668, + "task_bootstrap_95ci": [ + 0.03229166666666666, + 0.1 + ] + }, + "classification_error_auc": { + "mean": 0.08370659722222222, + "task_bootstrap_95ci": [ + 0.04886241319444444, + 0.12250043402777776 + ] + }, + "reached_stable_zero_error": { + "mean": 0.7416666666666666, + "task_bootstrap_95ci": [ + 0.6166666666666666, + 0.8583333333333332 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 197.91666666666666, + "task_bootstrap_95ci": [ + 131.58333333333334, + 269.8333333333333 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1579.3916666666667, + "task_bootstrap_95ci": [ + 1056.6404166666669, + 2144.525416666667 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 454864.8, + "task_bootstrap_95ci": [ + 300857.82, + 618240.1799999999 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 459472.8, + "task_bootstrap_95ci": [ + 305067.95999999996, + 623208.2399999998 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 47.38175000000134, + "task_bootstrap_95ci": [ + 31.383256250000766, + 64.4990312500019 + ] + } + }, + "sdil": { + "classification_error": { + "mean": 0.01875, + "task_bootstrap_95ci": [ + 0.00625, + 0.034375 + ] + }, + "classification_error_auc": { + "mean": 0.04690972222222223, + "task_bootstrap_95ci": [ + 0.024635199652777776, + 0.073359375 + ] + }, + "reached_stable_zero_error": { + "mean": 0.85, + "task_bootstrap_95ci": [ + 0.725, + 0.95 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 128.33333333333331, + "task_bootstrap_95ci": [ + 68.91666666666667, + 195.91874999999985 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1026.6666666666665, + "task_bootstrap_95ci": [ + 553.3333333333334, + 1569.3333333333335 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 295680.0, + "task_bootstrap_95ci": [ + 159552.0, + 452356.7999999996 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 591360.0, + "task_bootstrap_95ci": [ + 317184.0, + 900873.5999999992 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 30.80000000000077, + "task_bootstrap_95ci": [ + 16.640000000000306, + 46.92000000000131 + ] + } + }, + "sdil_raw_to_clean_gap_closed": 1.0 + } + }, + "16": { + "learnable_edges": 512, + "methods": { + "clean": { + "classification_error": { + "mean": 0.025, + "task_bootstrap_95ci": [ + 0.009375, + 0.040625 + ] + }, + "classification_error_auc": { + "mean": 0.06505208333333333, + "task_bootstrap_95ci": [ + 0.040078125000000006, + 0.09338541666666667 + ] + }, + "reached_stable_zero_error": { + "mean": 0.8, + "task_bootstrap_95ci": [ + 0.675, + 0.925 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 197.5, + "task_bootstrap_95ci": [ + 126.5, + 272.0 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1580.0, + "task_bootstrap_95ci": [ + 1018.0, + 2178.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 808960.0, + "task_bootstrap_95ci": [ + 525312.0, + 1114112.0 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 808960.0, + "task_bootstrap_95ci": [ + 518144.0, + 1113088.0 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 47.400000000001256, + "task_bootstrap_95ci": [ + 30.600000000000655, + 65.52000000000191 + ] + } + }, + "matched_noise": { + "classification_error": { + "mean": 0.11354166666666665, + "task_bootstrap_95ci": [ + 0.07291666666666666, + 0.15729166666666666 + ] + }, + "classification_error_auc": { + "mean": 0.16313368055555552, + "task_bootstrap_95ci": [ + 0.12361111111111112, + 0.2052779947916666 + ] + }, + "reached_stable_zero_error": { + "mean": 0.5833333333333333, + "task_bootstrap_95ci": [ + 0.4583333333333333, + 0.7083333333333333 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 540.75, + "task_bootstrap_95ci": [ + 513.75, + 564.3333333333334 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4181.891666666667, + "task_bootstrap_95ci": [ + 3926.454166666667, + 4411.09625 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 2141128.5333333337, + "task_bootstrap_95ci": [ + 2011634.6666666665, + 2257407.5733333332 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 2141128.5333333337, + "task_bootstrap_95ci": [ + 2012084.9066666663, + 2258256.213333333 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 125.45675000000396, + "task_bootstrap_95ci": [ + 117.98845625000371, + 132.35101250000426 + ] + } + }, + "raw": { + "classification_error": { + "mean": 0.4770833333333334, + "task_bootstrap_95ci": [ + 0.43125, + 0.5229166666666667 + ] + }, + "classification_error_auc": { + "mean": 0.4797048611111111, + "task_bootstrap_95ci": [ + 0.4340004340277778, + 0.5244709201388889 + ] + }, + "reached_stable_zero_error": { + "mean": 0.0, + "task_bootstrap_95ci": [ + 0.0, + 0.0 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 600.0, + "task_bootstrap_95ci": [ + 600.0, + 600.0 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4495.933333333333, + "task_bootstrap_95ci": [ + 4395.755416666667, + 4586.975833333334 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 2301917.8666666667, + "task_bootstrap_95ci": [ + 2250791.466666667, + 2349642.56 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 2301917.8666666667, + "task_bootstrap_95ci": [ + 2251041.28, + 2349184.7466666666 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 134.87800000000433, + "task_bootstrap_95ci": [ + 131.87265625000424, + 137.64108125000445 + ] + } + }, + "constant": { + "classification_error": { + "mean": 0.09583333333333334, + "task_bootstrap_95ci": [ + 0.057291666666666664, + 0.13958333333333334 + ] + }, + "classification_error_auc": { + "mean": 0.13220486111111113, + "task_bootstrap_95ci": [ + 0.08796875000000001, + 0.18053906249999996 + ] + }, + "reached_stable_zero_error": { + "mean": 0.6083333333333333, + "task_bootstrap_95ci": [ + 0.4916666666666666, + 0.725 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 322.1666666666667, + "task_bootstrap_95ci": [ + 254.66666666666669, + 388.6666666666667 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 2570.9083333333338, + "task_bootstrap_95ci": [ + 2033.4745833333332, + 3112.756874999998 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 1316305.066666667, + "task_bootstrap_95ci": [ + 1040075.3066666668, + 1593321.7066666663 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 1324497.066666667, + "task_bootstrap_95ci": [ + 1049585.8133333332, + 1597681.0666666662 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 77.12725000000228, + "task_bootstrap_95ci": [ + 60.94735625000177, + 93.24530625000286 + ] + } + }, + "sdil": { + "classification_error": { + "mean": 0.025, + "task_bootstrap_95ci": [ + 0.009375, + 0.040625 + ] + }, + "classification_error_auc": { + "mean": 0.06378472222222223, + "task_bootstrap_95ci": [ + 0.040095269097222226, + 0.09045182291666663 + ] + }, + "reached_stable_zero_error": { + "mean": 0.8, + "task_bootstrap_95ci": [ + 0.675, + 0.925 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 197.33333333333331, + "task_bootstrap_95ci": [ + 128.0, + 273.5 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 1578.6666666666665, + "task_bootstrap_95ci": [ + 1018.0, + 2171.3499999999985 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 808277.3333333333, + "task_bootstrap_95ci": [ + 524279.4666666667, + 1114120.5333333325 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 1616554.6666666665, + "task_bootstrap_95ci": [ + 1045828.2666666666, + 2217301.3333333335 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 47.36000000000125, + "task_bootstrap_95ci": [ + 30.699500000000672, + 65.30000000000184 + ] + } + }, + "sdil_raw_to_clean_gap_closed": 1.0 + } + }, + "24": { + "learnable_edges": 1152, + "methods": { + "clean": { + "classification_error": { + "mean": 0.025, + "task_bootstrap_95ci": [ + 0.009375, + 0.040625 + ] + }, + "classification_error_auc": { + "mean": 0.08796875, + "task_bootstrap_95ci": [ + 0.064712890625, + 0.11304687499999999 + ] + }, + "reached_stable_zero_error": { + "mean": 0.8, + "task_bootstrap_95ci": [ + 0.675, + 0.925 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 278.25, + "task_bootstrap_95ci": [ + 212.0, + 346.75 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 2226.0, + "task_bootstrap_95ci": [ + 1692.0, + 2788.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 2564352.0, + "task_bootstrap_95ci": [ + 1953792.0, + 3197952.0 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 2564352.0, + "task_bootstrap_95ci": [ + 1949184.0, + 3197952.0 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 66.78000000000182, + "task_bootstrap_95ci": [ + 50.64000000000124, + 83.2800000000024 + ] + } + }, + "matched_noise": { + "classification_error": { + "mean": 0.19375, + "task_bootstrap_95ci": [ + 0.153125, + 0.23645833333333335 + ] + }, + "classification_error_auc": { + "mean": 0.25717013888888884, + "task_bootstrap_95ci": [ + 0.2150434027777778, + 0.2995227864583333 + ] + }, + "reached_stable_zero_error": { + "mean": 0.31666666666666665, + "task_bootstrap_95ci": [ + 0.2333333333333333, + 0.4 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 588.1666666666667, + "task_bootstrap_95ci": [ + 579.9166666666667, + 594.6666666666666 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4691.516666666666, + "task_bootstrap_95ci": [ + 4617.283125, + 4750.591666666666 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 5404627.2, + "task_bootstrap_95ci": [ + 5319810.72, + 5472739.2 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 5404627.2, + "task_bootstrap_95ci": [ + 5319675.84, + 5472730.319999999 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 140.74550000000457, + "task_bootstrap_95ci": [ + 138.5307437500045, + 142.51400625000463 + ] + } + }, + "raw": { + "classification_error": { + "mean": 0.484375, + "task_bootstrap_95ci": [ + 0.46875, + 0.4989583333333334 + ] + }, + "classification_error_auc": { + "mean": 0.4859114583333334, + "task_bootstrap_95ci": [ + 0.4679251302083333, + 0.5037413194444444 + ] + }, + "reached_stable_zero_error": { + "mean": 0.0, + "task_bootstrap_95ci": [ + 0.0, + 0.0 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 600.0, + "task_bootstrap_95ci": [ + 600.0, + 600.0 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4800.0, + "task_bootstrap_95ci": [ + 4800.0, + 4800.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 5529600.0, + "task_bootstrap_95ci": [ + 5529600.0, + 5529600.0 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 5529600.0, + "task_bootstrap_95ci": [ + 5529600.0, + 5529600.0 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 144.0000000000047, + "task_bootstrap_95ci": [ + 144.0000000000047, + 144.0000000000047 + ] + } + }, + "constant": { + "classification_error": { + "mean": 0.18125, + "task_bootstrap_95ci": [ + 0.134375, + 0.23125 + ] + }, + "classification_error_auc": { + "mean": 0.22522569444444446, + "task_bootstrap_95ci": [ + 0.17953038194444446, + 0.2717013888888889 + ] + }, + "reached_stable_zero_error": { + "mean": 0.36666666666666664, + "task_bootstrap_95ci": [ + 0.25, + 0.4833333333333333 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 463.66666666666663, + "task_bootstrap_95ci": [ + 412.83125, + 511.3333333333333 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 3706.0916666666662, + "task_bootstrap_95ci": [ + 3302.6545833333334, + 4086.7606250000003 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 4269417.6, + "task_bootstrap_95ci": [ + 3806310.96, + 4704873.6 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 4287849.6, + "task_bootstrap_95ci": [ + 3816261.8400000003, + 4719585.119999999 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 111.1827500000035, + "task_bootstrap_95ci": [ + 99.08275000000302, + 122.68586250000388 + ] + } + }, + "sdil": { + "classification_error": { + "mean": 0.029166666666666664, + "task_bootstrap_95ci": [ + 0.013541666666666665, + 0.046875 + ] + }, + "classification_error_auc": { + "mean": 0.08796875, + "task_bootstrap_95ci": [ + 0.06430512152777779, + 0.1132204861111111 + ] + }, + "reached_stable_zero_error": { + "mean": 0.7833333333333333, + "task_bootstrap_95ci": [ + 0.65, + 0.9 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 278.0, + "task_bootstrap_95ci": [ + 212.5, + 347.3333333333333 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 2224.0, + "task_bootstrap_95ci": [ + 1701.3333333333335, + 2772.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 2562048.0, + "task_bootstrap_95ci": [ + 1953772.8, + 3201792.0 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 5124096.0, + "task_bootstrap_95ci": [ + 3915264.0, + 6400550.399999997 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 66.7200000000018, + "task_bootstrap_95ci": [ + 50.82000000000122, + 83.20050000000236 + ] + } + }, + "sdil_raw_to_clean_gap_closed": 0.9909297052154196 + } + }, + "32": { + "learnable_edges": 2048, + "methods": { + "clean": { + "classification_error": { + "mean": 0.015625, + "task_bootstrap_95ci": [ + 0.003125, + 0.028125 + ] + }, + "classification_error_auc": { + "mean": 0.19627604166666668, + "task_bootstrap_95ci": [ + 0.16614583333333335, + 0.226328125 + ] + }, + "reached_stable_zero_error": { + "mean": 0.875, + "task_bootstrap_95ci": [ + 0.775, + 0.975 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 436.75, + "task_bootstrap_95ci": [ + 407.75, + 466.25 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 3494.0, + "task_bootstrap_95ci": [ + 3264.0, + 3736.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 7155712.0, + "task_bootstrap_95ci": [ + 6684672.0, + 7643238.399999991 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 7155712.0, + "task_bootstrap_95ci": [ + 6688768.0, + 7651430.399999991 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 34.940000000000964, + "task_bootstrap_95ci": [ + 32.620000000001205, + 37.32000000000083 + ] + } + }, + "matched_noise": { + "classification_error": { + "mean": 0.26666666666666666, + "task_bootstrap_95ci": [ + 0.21770833333333334, + 0.315625 + ] + }, + "classification_error_auc": { + "mean": 0.3127951388888889, + "task_bootstrap_95ci": [ + 0.27772547743055553, + 0.348515625 + ] + }, + "reached_stable_zero_error": { + "mean": 0.14166666666666666, + "task_bootstrap_95ci": [ + 0.075, + 0.21666666666666665 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 590.75, + "task_bootstrap_95ci": [ + 580.6666666666667, + 598.0833333333333 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4725.975, + "task_bootstrap_95ci": [ + 4646.616666666667, + 4784.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 9678796.8, + "task_bootstrap_95ci": [ + 9513537.706666665, + 9798997.333333332 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 9678796.8, + "task_bootstrap_95ci": [ + 9512276.053333333, + 9798997.333333332 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 47.25974999999912, + "task_bootstrap_95ci": [ + 46.453083333332565, + 47.84666666666571 + ] + } + }, + "raw": { + "classification_error": { + "mean": 0.4989583333333333, + "task_bootstrap_95ci": [ + 0.490625, + 0.50625 + ] + }, + "classification_error_auc": { + "mean": 0.4976649305555556, + "task_bootstrap_95ci": [ + 0.4911022135416666, + 0.5035937500000001 + ] + }, + "reached_stable_zero_error": { + "mean": 0.0, + "task_bootstrap_95ci": [ + 0.0, + 0.0 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 600.0, + "task_bootstrap_95ci": [ + 600.0, + 600.0 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4800.0, + "task_bootstrap_95ci": [ + 4800.0, + 4800.0 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 9830400.0, + "task_bootstrap_95ci": [ + 9830400.0, + 9830400.0 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 9830400.0, + "task_bootstrap_95ci": [ + 9830400.0, + 9830400.0 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 47.99999999999901, + "task_bootstrap_95ci": [ + 47.99999999999901, + 47.99999999999901 + ] + } + }, + "constant": { + "classification_error": { + "mean": 0.271875, + "task_bootstrap_95ci": [ + 0.2229166666666667, + 0.32083333333333336 + ] + }, + "classification_error_auc": { + "mean": 0.29671006944444445, + "task_bootstrap_95ci": [ + 0.257404296875, + 0.3356082899305555 + ] + }, + "reached_stable_zero_error": { + "mean": 0.2333333333333333, + "task_bootstrap_95ci": [ + 0.15, + 0.325 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 568.5, + "task_bootstrap_95ci": [ + 554.4166666666666, + 581.0833333333334 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 4548.0, + "task_bootstrap_95ci": [ + 4435.333333333333, + 4650.6833333333325 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 9314304.0, + "task_bootstrap_95ci": [ + 9086293.333333334, + 9524599.466666665 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 9347072.0, + "task_bootstrap_95ci": [ + 9117696.0, + 9560064.0 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 45.47999999999936, + "task_bootstrap_95ci": [ + 44.3533333333328, + 46.51333333333259 + ] + } + }, + "sdil": { + "classification_error": { + "mean": 0.02291666666666666, + "task_bootstrap_95ci": [ + 0.009375, + 0.03854166666666666 + ] + }, + "classification_error_auc": { + "mean": 0.19340277777777776, + "task_bootstrap_95ci": [ + 0.16297699652777778, + 0.22323784722222223 + ] + }, + "reached_stable_zero_error": { + "mean": 0.825, + "task_bootstrap_95ci": [ + 0.7166666666666666, + 0.925 + ] + }, + "restricted_epochs_to_stable_zero_error": { + "mean": 435.8333333333333, + "task_bootstrap_95ci": [ + 407.33333333333337, + 465.16666666666663 + ] + }, + "restricted_updates_to_stable_zero_error": { + "mean": 3486.6666666666665, + "task_bootstrap_95ci": [ + 3258.0, + 3722.6666666666665 + ] + }, + "restricted_edge_updates_to_stable_zero_error": { + "mean": 7140693.333333333, + "task_bootstrap_95ci": [ + 6671018.666666667, + 7621290.666666667 + ] + }, + "restricted_teaching_signal_reads_to_stable_zero_error": { + "mean": 14281386.666666666, + "task_bootstrap_95ci": [ + 13344699.733333332, + 15234389.333333332 + ] + }, + "restricted_learning_time_to_stable_zero_seconds": { + "mean": 34.8666666666676, + "task_bootstrap_95ci": [ + 32.579833333334314, + 37.20000000000068 + ] + } + }, + "sdil_raw_to_clean_gap_closed": 0.9849137931034483 + } + } + }, + "excess_error_scaling": { + "x_axis": "log10 learnable edges", + "metric": "classification_error", + "y_axis": "final classification error excess over clean", + "static_calibration_slope": 0.0975390654931521, + "static_calibration_slope_95ci": [ + 0.07913724673451922, + 0.11579852357444563 + ], + "sdil_slope": 0.003687643914165856, + "sdil_slope_95ci": [ + 0.0015163217459041338, + 0.006479166962438868 + ], + "paired_slope_difference": 0.09385142157898624, + "paired_slope_difference_95ci": [ + 0.07510969165621094, + 0.11223041466407507 + ], + "relative_slope_reduction_percent": 96.21931592688392, + "relative_slope_reduction_95ci": [ + 93.03979958167876, + 98.4825985260473 + ], + "relative_reduction_valid_bootstrap_fraction": 1.0 + }, + "excess_error_auc_scaling": { + "x_axis": "log10 learnable edges", + "metric": "classification_error_auc", + "y_axis": "classification error AUC excess over clean", + "static_calibration_slope": 0.043512853238209075, + "static_calibration_slope_95ci": [ + 0.027565550798332877, + 0.059082121767712235 + ], + "sdil_slope": -0.0009773721721631698, + "sdil_slope_95ci": [ + -0.0018562164695785834, + -3.7293262923539084e-05 + ], + "paired_slope_difference": 0.044490225410372244, + "paired_slope_difference_95ci": [ + 0.028505513396407153, + 0.060056371196613424 + ], + "relative_slope_reduction_percent": 102.24616888902364, + "relative_slope_reduction_95ci": [ + 100.08179659798546, + 105.06476080486462 + ], + "relative_reduction_valid_bootstrap_fraction": 1.0 + }, + "excess_stable_failure_scaling": { + "x_axis": "log10 learnable edges", + "metric": "reached_stable_zero_error", + "y_axis": "stable failure fraction excess over clean", + "static_calibration_slope": 0.21235319113764842, + "static_calibration_slope_95ci": [ + 0.11467084985237219, + 0.3029253746845551 + ], + "sdil_slope": 0.022332184386184104, + "sdil_slope_95ci": [ + 0.008133448701283783, + 0.039563563562892694 + ], + "paired_slope_difference": 0.19002100675146433, + "paired_slope_difference_95ci": [ + 0.08936280724140638, + 0.28405826237888276 + ], + "relative_slope_reduction_percent": 89.48347125534447, + "relative_slope_reduction_95ci": [ + 74.8427750001312, + 96.57804052788731 + ], + "relative_reduction_valid_bootstrap_fraction": 1.0 + }, + "restricted_update_scaling": { + "x_axis": "log10 learnable edges", + "y_axis": "log10 restricted_updates_to_stable_zero_error", + "metric": "restricted_updates_to_stable_zero_error", + "static_calibration_exponent": 0.3200460488859108, + "static_calibration_exponent_95ci": [ + 0.23746592112514567, + 0.43488923824086456 + ], + "sdil_exponent": 0.5485726217123819, + "sdil_exponent_95ci": [ + 0.44138184845608647, + 0.6923674694236531 + ], + "paired_exponent_difference": -0.22852657282647104, + "paired_exponent_difference_95ci": [ + -0.3370033269715044, + -0.13223664805835622 + ], + "relative_exponent_reduction_percent": -71.40427873488156, + "relative_exponent_reduction_95ci": [ + -119.63859750543678, + -35.663496886388636 + ], + "largest_size": { + "learnable_edges": 2048, + "static_calibration_mean": 4548.0, + "sdil_mean": 3486.6666666666665, + "sdil_to_static_ratio": 0.7666373497508062 + } + }, + "teaching_signal_read_scaling": { + "x_axis": "log10 learnable edges", + "y_axis": "log10 restricted_teaching_signal_reads_to_stable_zero_error", + "metric": "restricted_teaching_signal_reads_to_stable_zero_error", + "static_calibration_exponent": 1.317766901810403, + "static_calibration_exponent_95ci": [ + 1.2368813205979634, + 1.429358748811073 + ], + "sdil_exponent": 1.5485726217123816, + "sdil_exponent_95ci": [ + 1.4399059134767753, + 1.6936086295509647 + ], + "paired_exponent_difference": -0.23080571990197862, + "paired_exponent_difference_95ci": [ + -0.33963535126842703, + -0.13602068565175976 + ], + "relative_exponent_reduction_percent": -17.514912507279405, + "relative_exponent_reduction_95ci": [ + -26.11563844501912, + -10.048494479178034 + ], + "largest_size": { + "learnable_edges": 2048, + "static_calibration_mean": 9347072.0, + "sdil_mean": 14281386.666666666, + "sdil_to_static_ratio": 1.527899503359626 + } + }, + "largest_grid_learning_curves": { + "clean": [ + { + "epoch": 0, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 10, + "mean_classification_error": 0.3125, + "standard_error": 0.023256512735476586 + }, + { + "epoch": 20, + "mean_classification_error": 0.303125, + "standard_error": 0.02405568293377381 + }, + { + "epoch": 30, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 40, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 50, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 60, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 70, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 80, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 90, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 100, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 110, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 120, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 130, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 140, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 150, + "mean_classification_error": 0.296875, + "standard_error": 0.02479382128107623 + }, + { + "epoch": 160, + "mean_classification_error": 0.29375, + "standard_error": 0.025535137932479808 + }, + { + "epoch": 170, + "mean_classification_error": 0.2875, + "standard_error": 0.026928799758070474 + }, + { + "epoch": 180, + "mean_classification_error": 0.296875, + "standard_error": 0.026737498576497484 + }, + { + "epoch": 190, + "mean_classification_error": 0.3125, + "standard_error": 0.02722472951997682 + }, + { + "epoch": 200, + "mean_classification_error": 0.3125, + "standard_error": 0.02722472951997682 + }, + { + "epoch": 210, + "mean_classification_error": 0.3125, + "standard_error": 0.02722472951997682 + }, + { + "epoch": 220, + "mean_classification_error": 0.321875, + "standard_error": 0.024874484597160178 + }, + { + "epoch": 230, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 240, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 250, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 260, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 270, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 280, + "mean_classification_error": 0.3375, + "standard_error": 0.02418544805117113 + }, + { + "epoch": 290, + "mean_classification_error": 0.346875, + "standard_error": 0.024712894679934573 + }, + { + "epoch": 300, + "mean_classification_error": 0.34375, + "standard_error": 0.024412159380952467 + }, + { + "epoch": 310, + "mean_classification_error": 0.3125, + "standard_error": 0.022378589813732277 + }, + { + "epoch": 320, + "mean_classification_error": 0.265625, + "standard_error": 0.020601676789486368 + }, + { + "epoch": 330, + "mean_classification_error": 0.18125, + "standard_error": 0.03066765083426358 + }, + { + "epoch": 340, + "mean_classification_error": 0.1375, + "standard_error": 0.02640294272643458 + }, + { + "epoch": 350, + "mean_classification_error": 0.15625, + "standard_error": 0.02676090120555235 + }, + { + "epoch": 360, + "mean_classification_error": 0.146875, + "standard_error": 0.02141222953636423 + }, + { + "epoch": 370, + "mean_classification_error": 0.125, + "standard_error": 0.018453857910877926 + }, + { + "epoch": 380, + "mean_classification_error": 0.10625, + "standard_error": 0.018749999999999996 + }, + { + "epoch": 390, + "mean_classification_error": 0.10625, + "standard_error": 0.017649317194608334 + }, + { + "epoch": 400, + "mean_classification_error": 0.090625, + "standard_error": 0.017895877175254496 + }, + { + "epoch": 410, + "mean_classification_error": 0.071875, + "standard_error": 0.014768173832039402 + }, + { + "epoch": 420, + "mean_classification_error": 0.06875, + "standard_error": 0.014810501731489772 + }, + { + "epoch": 430, + "mean_classification_error": 0.0625, + "standard_error": 0.011841636667891772 + }, + { + "epoch": 440, + "mean_classification_error": 0.04375, + "standard_error": 0.011454690563146429 + }, + { + "epoch": 450, + "mean_classification_error": 0.0375, + "standard_error": 0.010206207261596574 + }, + { + "epoch": 460, + "mean_classification_error": 0.0375, + "standard_error": 0.010206207261596574 + }, + { + "epoch": 470, + "mean_classification_error": 0.034375, + "standard_error": 0.00999549177225567 + }, + { + "epoch": 480, + "mean_classification_error": 0.03125, + "standard_error": 0.009754601149700769 + }, + { + "epoch": 490, + "mean_classification_error": 0.028125, + "standard_error": 0.008358335889766207 + }, + { + "epoch": 500, + "mean_classification_error": 0.028125, + "standard_error": 0.008358335889766207 + }, + { + "epoch": 510, + "mean_classification_error": 0.025, + "standard_error": 0.008006407690254357 + }, + { + "epoch": 520, + "mean_classification_error": 0.015625, + "standard_error": 0.006619676138565026 + }, + { + "epoch": 530, + "mean_classification_error": 0.0125, + "standard_error": 0.006004805767690768 + }, + { + "epoch": 540, + "mean_classification_error": 0.015625, + "standard_error": 0.006619676138565026 + }, + { + "epoch": 550, + "mean_classification_error": 0.0125, + "standard_error": 0.006004805767690768 + }, + { + "epoch": 560, + "mean_classification_error": 0.015625, + "standard_error": 0.006619676138565026 + }, + { + "epoch": 570, + "mean_classification_error": 0.015625, + "standard_error": 0.006619676138565026 + }, + { + "epoch": 580, + "mean_classification_error": 0.015625, + "standard_error": 0.006619676138565026 + }, + { + "epoch": 590, + "mean_classification_error": 0.015625, + "standard_error": 0.006619676138565026 + }, + { + "epoch": 600, + "mean_classification_error": 0.015625, + "standard_error": 0.006619676138565026 + } + ], + "matched_noise": [ + { + "epoch": 0, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 10, + "mean_classification_error": 0.478125, + "standard_error": 0.013914572939897042 + }, + { + "epoch": 20, + "mean_classification_error": 0.4645833333333333, + "standard_error": 0.012707501373916555 + }, + { + "epoch": 30, + "mean_classification_error": 0.4520833333333334, + "standard_error": 0.0155437703372218 + }, + { + "epoch": 40, + "mean_classification_error": 0.434375, + "standard_error": 0.015132920979264787 + }, + { + "epoch": 50, + "mean_classification_error": 0.4208333333333334, + "standard_error": 0.01795253317204698 + }, + { + "epoch": 60, + "mean_classification_error": 0.3947916666666667, + "standard_error": 0.01851331501858076 + }, + { + "epoch": 70, + "mean_classification_error": 0.3833333333333333, + "standard_error": 0.016957925140512475 + }, + { + "epoch": 80, + "mean_classification_error": 0.3666666666666667, + "standard_error": 0.017088674378745474 + }, + { + "epoch": 90, + "mean_classification_error": 0.384375, + "standard_error": 0.01768317720473702 + }, + { + "epoch": 100, + "mean_classification_error": 0.3822916666666667, + "standard_error": 0.02119806268193479 + }, + { + "epoch": 110, + "mean_classification_error": 0.375, + "standard_error": 0.020510316353559172 + }, + { + "epoch": 120, + "mean_classification_error": 0.3708333333333333, + "standard_error": 0.019497790071282887 + }, + { + "epoch": 130, + "mean_classification_error": 0.3614583333333333, + "standard_error": 0.019926162445045074 + }, + { + "epoch": 140, + "mean_classification_error": 0.3416666666666667, + "standard_error": 0.017601961817623052 + }, + { + "epoch": 150, + "mean_classification_error": 0.33645833333333336, + "standard_error": 0.018597282861840456 + }, + { + "epoch": 160, + "mean_classification_error": 0.3375, + "standard_error": 0.01868161794392683 + }, + { + "epoch": 170, + "mean_classification_error": 0.3270833333333333, + "standard_error": 0.02128516446954842 + }, + { + "epoch": 180, + "mean_classification_error": 0.3354166666666667, + "standard_error": 0.01820797761196857 + }, + { + "epoch": 190, + "mean_classification_error": 0.3364583333333333, + "standard_error": 0.019701492732358907 + }, + { + "epoch": 200, + "mean_classification_error": 0.31875, + "standard_error": 0.020915968592566832 + }, + { + "epoch": 210, + "mean_classification_error": 0.31979166666666664, + "standard_error": 0.02249700735875141 + }, + { + "epoch": 220, + "mean_classification_error": 0.3229166666666667, + "standard_error": 0.021862913836552103 + }, + { + "epoch": 230, + "mean_classification_error": 0.33333333333333337, + "standard_error": 0.02272403499341097 + }, + { + "epoch": 240, + "mean_classification_error": 0.325, + "standard_error": 0.021834899141347563 + }, + { + "epoch": 250, + "mean_classification_error": 0.334375, + "standard_error": 0.023612093053990646 + }, + { + "epoch": 260, + "mean_classification_error": 0.3114583333333333, + "standard_error": 0.02247721127518718 + }, + { + "epoch": 270, + "mean_classification_error": 0.2989583333333333, + "standard_error": 0.0253574648547602 + }, + { + "epoch": 280, + "mean_classification_error": 0.296875, + "standard_error": 0.022684208544881884 + }, + { + "epoch": 290, + "mean_classification_error": 0.29583333333333334, + "standard_error": 0.023532422926144443 + }, + { + "epoch": 300, + "mean_classification_error": 0.29375, + "standard_error": 0.02262341508827547 + }, + { + "epoch": 310, + "mean_classification_error": 0.2875, + "standard_error": 0.022218883296168935 + }, + { + "epoch": 320, + "mean_classification_error": 0.284375, + "standard_error": 0.02305887790139028 + }, + { + "epoch": 330, + "mean_classification_error": 0.28229166666666666, + "standard_error": 0.023039564593995945 + }, + { + "epoch": 340, + "mean_classification_error": 0.26979166666666665, + "standard_error": 0.022377968177603496 + }, + { + "epoch": 350, + "mean_classification_error": 0.2708333333333333, + "standard_error": 0.024514516892273002 + }, + { + "epoch": 360, + "mean_classification_error": 0.2552083333333333, + "standard_error": 0.023025068982267492 + }, + { + "epoch": 370, + "mean_classification_error": 0.253125, + "standard_error": 0.02313115918593144 + }, + { + "epoch": 380, + "mean_classification_error": 0.2416666666666667, + "standard_error": 0.022880215766121474 + }, + { + "epoch": 390, + "mean_classification_error": 0.2604166666666667, + "standard_error": 0.023244546430215382 + }, + { + "epoch": 400, + "mean_classification_error": 0.2572916666666667, + "standard_error": 0.02553241386480199 + }, + { + "epoch": 410, + "mean_classification_error": 0.2625, + "standard_error": 0.026106223401420978 + }, + { + "epoch": 420, + "mean_classification_error": 0.2666666666666667, + "standard_error": 0.024999999999999998 + }, + { + "epoch": 430, + "mean_classification_error": 0.26666666666666666, + "standard_error": 0.025044476107033732 + }, + { + "epoch": 440, + "mean_classification_error": 0.2489583333333333, + "standard_error": 0.02323197517612408 + }, + { + "epoch": 450, + "mean_classification_error": 0.26145833333333335, + "standard_error": 0.024559305764696903 + }, + { + "epoch": 460, + "mean_classification_error": 0.2625, + "standard_error": 0.022831524040862666 + }, + { + "epoch": 470, + "mean_classification_error": 0.2625, + "standard_error": 0.025062244449891094 + }, + { + "epoch": 480, + "mean_classification_error": 0.2541666666666667, + "standard_error": 0.024731463748539007 + }, + { + "epoch": 490, + "mean_classification_error": 0.25729166666666664, + "standard_error": 0.024914718322761827 + }, + { + "epoch": 500, + "mean_classification_error": 0.2583333333333333, + "standard_error": 0.024341396041590573 + }, + { + "epoch": 510, + "mean_classification_error": 0.2552083333333333, + "standard_error": 0.026570485434501776 + }, + { + "epoch": 520, + "mean_classification_error": 0.2552083333333333, + "standard_error": 0.023879235837904845 + }, + { + "epoch": 530, + "mean_classification_error": 0.25833333333333336, + "standard_error": 0.025806092613071353 + }, + { + "epoch": 540, + "mean_classification_error": 0.27604166666666663, + "standard_error": 0.02390252697812871 + }, + { + "epoch": 550, + "mean_classification_error": 0.26979166666666665, + "standard_error": 0.026011734935308124 + }, + { + "epoch": 560, + "mean_classification_error": 0.271875, + "standard_error": 0.026603971940402017 + }, + { + "epoch": 570, + "mean_classification_error": 0.275, + "standard_error": 0.02530969150998258 + }, + { + "epoch": 580, + "mean_classification_error": 0.2625, + "standard_error": 0.027355226275035716 + }, + { + "epoch": 590, + "mean_classification_error": 0.2625, + "standard_error": 0.025017799931055358 + }, + { + "epoch": 600, + "mean_classification_error": 0.26666666666666666, + "standard_error": 0.025177433028470832 + } + ], + "raw": [ + { + "epoch": 0, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 10, + "mean_classification_error": 0.4895833333333333, + "standard_error": 0.00572977366636818 + }, + { + "epoch": 20, + "mean_classification_error": 0.4979166666666667, + "standard_error": 0.0014541300842752355 + }, + { + "epoch": 30, + "mean_classification_error": 0.4979166666666667, + "standard_error": 0.0068286282529995595 + }, + { + "epoch": 40, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.004463268097287245 + }, + { + "epoch": 50, + "mean_classification_error": 0.5, + "standard_error": 0.0051681139412170195 + }, + { + "epoch": 60, + "mean_classification_error": 0.4958333333333334, + "standard_error": 0.004166666666666667 + }, + { + "epoch": 70, + "mean_classification_error": 0.4958333333333333, + "standard_error": 0.002908260168550469 + }, + { + "epoch": 80, + "mean_classification_error": 0.4958333333333333, + "standard_error": 0.002908260168550469 + }, + { + "epoch": 90, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.002083333333333333 + }, + { + "epoch": 100, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.002083333333333333 + }, + { + "epoch": 110, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 120, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 130, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 140, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 150, + "mean_classification_error": 0.4989583333333334, + "standard_error": 0.001041666666666667 + }, + { + "epoch": 160, + "mean_classification_error": 0.4979166666666667, + "standard_error": 0.0014541300842752355 + }, + { + "epoch": 170, + "mean_classification_error": 0.496875, + "standard_error": 0.0017573487339311953 + }, + { + "epoch": 180, + "mean_classification_error": 0.496875, + "standard_error": 0.0027458771866593966 + }, + { + "epoch": 190, + "mean_classification_error": 0.496875, + "standard_error": 0.0031249999999999993 + }, + { + "epoch": 200, + "mean_classification_error": 0.49479166666666663, + "standard_error": 0.003999727332230751 + }, + { + "epoch": 210, + "mean_classification_error": 0.49479166666666663, + "standard_error": 0.003999727332230751 + }, + { + "epoch": 220, + "mean_classification_error": 0.49479166666666663, + "standard_error": 0.003999727332230751 + }, + { + "epoch": 230, + "mean_classification_error": 0.4958333333333333, + "standard_error": 0.0038904148410327175 + }, + { + "epoch": 240, + "mean_classification_error": 0.496875, + "standard_error": 0.004054993887461535 + }, + { + "epoch": 250, + "mean_classification_error": 0.496875, + "standard_error": 0.004054993887461535 + }, + { + "epoch": 260, + "mean_classification_error": 0.496875, + "standard_error": 0.004054993887461535 + }, + { + "epoch": 270, + "mean_classification_error": 0.496875, + "standard_error": 0.004054993887461535 + }, + { + "epoch": 280, + "mean_classification_error": 0.496875, + "standard_error": 0.004054993887461535 + }, + { + "epoch": 290, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 300, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 310, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 320, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 330, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 340, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 350, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 360, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 370, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 380, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 390, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 400, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 410, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 420, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 430, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 440, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 450, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 460, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 470, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 480, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 490, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 500, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 510, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 520, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 530, + "mean_classification_error": 0.4979166666666666, + "standard_error": 0.0044632680972872445 + }, + { + "epoch": 540, + "mean_classification_error": 0.4989583333333333, + "standard_error": 0.004082346601518393 + }, + { + "epoch": 550, + "mean_classification_error": 0.4989583333333333, + "standard_error": 0.004082346601518393 + }, + { + "epoch": 560, + "mean_classification_error": 0.4989583333333333, + "standard_error": 0.004082346601518393 + }, + { + "epoch": 570, + "mean_classification_error": 0.4989583333333333, + "standard_error": 0.004082346601518393 + }, + { + "epoch": 580, + "mean_classification_error": 0.4989583333333333, + "standard_error": 0.004082346601518393 + }, + { + "epoch": 590, + "mean_classification_error": 0.4989583333333333, + "standard_error": 0.004082346601518393 + }, + { + "epoch": 600, + "mean_classification_error": 0.4989583333333333, + "standard_error": 0.004082346601518393 + } + ], + "constant": [ + { + "epoch": 0, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 10, + "mean_classification_error": 0.3052083333333333, + "standard_error": 0.020313356052528816 + }, + { + "epoch": 20, + "mean_classification_error": 0.3072916666666667, + "standard_error": 0.02118756014202862 + }, + { + "epoch": 30, + "mean_classification_error": 0.315625, + "standard_error": 0.02098701330737898 + }, + { + "epoch": 40, + "mean_classification_error": 0.31979166666666664, + "standard_error": 0.02047705507498965 + }, + { + "epoch": 50, + "mean_classification_error": 0.3239583333333333, + "standard_error": 0.019650588051124213 + }, + { + "epoch": 60, + "mean_classification_error": 0.3270833333333333, + "standard_error": 0.01942631175285438 + }, + { + "epoch": 70, + "mean_classification_error": 0.3375, + "standard_error": 0.018621951174006057 + }, + { + "epoch": 80, + "mean_classification_error": 0.340625, + "standard_error": 0.018081475888299198 + }, + { + "epoch": 90, + "mean_classification_error": 0.3364583333333334, + "standard_error": 0.017926943733098694 + }, + { + "epoch": 100, + "mean_classification_error": 0.3322916666666667, + "standard_error": 0.018056839615747597 + }, + { + "epoch": 110, + "mean_classification_error": 0.3229166666666667, + "standard_error": 0.01943776594710012 + }, + { + "epoch": 120, + "mean_classification_error": 0.321875, + "standard_error": 0.020070849180424875 + }, + { + "epoch": 130, + "mean_classification_error": 0.31875, + "standard_error": 0.020485884758998676 + }, + { + "epoch": 140, + "mean_classification_error": 0.3229166666666667, + "standard_error": 0.021760869340927864 + }, + { + "epoch": 150, + "mean_classification_error": 0.3166666666666667, + "standard_error": 0.02261603507989503 + }, + { + "epoch": 160, + "mean_classification_error": 0.315625, + "standard_error": 0.021971449965898667 + }, + { + "epoch": 170, + "mean_classification_error": 0.30416666666666664, + "standard_error": 0.022388533644400174 + }, + { + "epoch": 180, + "mean_classification_error": 0.3020833333333333, + "standard_error": 0.021964484250172327 + }, + { + "epoch": 190, + "mean_classification_error": 0.3052083333333333, + "standard_error": 0.022248290332535618 + }, + { + "epoch": 200, + "mean_classification_error": 0.29583333333333334, + "standard_error": 0.022812018249996572 + }, + { + "epoch": 210, + "mean_classification_error": 0.2927083333333333, + "standard_error": 0.0226989218323344 + }, + { + "epoch": 220, + "mean_classification_error": 0.2927083333333333, + "standard_error": 0.023327585334440692 + }, + { + "epoch": 230, + "mean_classification_error": 0.29375, + "standard_error": 0.022770512964879835 + }, + { + "epoch": 240, + "mean_classification_error": 0.3083333333333333, + "standard_error": 0.02261603507989503 + }, + { + "epoch": 250, + "mean_classification_error": 0.30625, + "standard_error": 0.02195434835473173 + }, + { + "epoch": 260, + "mean_classification_error": 0.303125, + "standard_error": 0.02192581602759139 + }, + { + "epoch": 270, + "mean_classification_error": 0.296875, + "standard_error": 0.021370609418950175 + }, + { + "epoch": 280, + "mean_classification_error": 0.2947916666666667, + "standard_error": 0.021996761246644472 + }, + { + "epoch": 290, + "mean_classification_error": 0.2927083333333333, + "standard_error": 0.022052343802082403 + }, + { + "epoch": 300, + "mean_classification_error": 0.2864583333333333, + "standard_error": 0.02253654735935258 + }, + { + "epoch": 310, + "mean_classification_error": 0.28645833333333337, + "standard_error": 0.023265483425389942 + }, + { + "epoch": 320, + "mean_classification_error": 0.2791666666666667, + "standard_error": 0.022880215766121467 + }, + { + "epoch": 330, + "mean_classification_error": 0.2760416666666667, + "standard_error": 0.023145588355616177 + }, + { + "epoch": 340, + "mean_classification_error": 0.278125, + "standard_error": 0.022889333933209653 + }, + { + "epoch": 350, + "mean_classification_error": 0.2791666666666667, + "standard_error": 0.023170217399907458 + }, + { + "epoch": 360, + "mean_classification_error": 0.2864583333333333, + "standard_error": 0.02373900911527119 + }, + { + "epoch": 370, + "mean_classification_error": 0.2822916666666667, + "standard_error": 0.02421706265374681 + }, + { + "epoch": 380, + "mean_classification_error": 0.28125, + "standard_error": 0.024593833770767817 + }, + { + "epoch": 390, + "mean_classification_error": 0.275, + "standard_error": 0.024596096208909835 + }, + { + "epoch": 400, + "mean_classification_error": 0.271875, + "standard_error": 0.025097189112593395 + }, + { + "epoch": 410, + "mean_classification_error": 0.271875, + "standard_error": 0.024649768084009264 + }, + { + "epoch": 420, + "mean_classification_error": 0.271875, + "standard_error": 0.024739899626857995 + }, + { + "epoch": 430, + "mean_classification_error": 0.2739583333333333, + "standard_error": 0.024463960316038966 + }, + { + "epoch": 440, + "mean_classification_error": 0.2802083333333333, + "standard_error": 0.02482970399538777 + }, + { + "epoch": 450, + "mean_classification_error": 0.28125, + "standard_error": 0.02445770449402006 + }, + { + "epoch": 460, + "mean_classification_error": 0.28229166666666666, + "standard_error": 0.02489684469390149 + }, + { + "epoch": 470, + "mean_classification_error": 0.2833333333333333, + "standard_error": 0.02541500274783311 + }, + { + "epoch": 480, + "mean_classification_error": 0.278125, + "standard_error": 0.025114920161999118 + }, + { + "epoch": 490, + "mean_classification_error": 0.278125, + "standard_error": 0.024847625920576173 + }, + { + "epoch": 500, + "mean_classification_error": 0.275, + "standard_error": 0.024955444626858815 + }, + { + "epoch": 510, + "mean_classification_error": 0.275, + "standard_error": 0.024821298638404602 + }, + { + "epoch": 520, + "mean_classification_error": 0.278125, + "standard_error": 0.024802796826428775 + }, + { + "epoch": 530, + "mean_classification_error": 0.275, + "standard_error": 0.025397481199560937 + }, + { + "epoch": 540, + "mean_classification_error": 0.2791666666666667, + "standard_error": 0.025062244449891094 + }, + { + "epoch": 550, + "mean_classification_error": 0.28229166666666666, + "standard_error": 0.02511935096874854 + }, + { + "epoch": 560, + "mean_classification_error": 0.278125, + "standard_error": 0.02590025708960612 + }, + { + "epoch": 570, + "mean_classification_error": 0.27708333333333335, + "standard_error": 0.02582118200568944 + }, + { + "epoch": 580, + "mean_classification_error": 0.28125, + "standard_error": 0.02539529015601637 + }, + { + "epoch": 590, + "mean_classification_error": 0.2791666666666667, + "standard_error": 0.025283295161924884 + }, + { + "epoch": 600, + "mean_classification_error": 0.271875, + "standard_error": 0.025710501162253624 + } + ], + "sdil": [ + { + "epoch": 0, + "mean_classification_error": 0.5, + "standard_error": 0.0 + }, + { + "epoch": 10, + "mean_classification_error": 0.3125, + "standard_error": 0.023256512735476586 + }, + { + "epoch": 20, + "mean_classification_error": 0.30625, + "standard_error": 0.02375599714356146 + }, + { + "epoch": 30, + "mean_classification_error": 0.303125, + "standard_error": 0.02391649077483789 + }, + { + "epoch": 40, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 50, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 60, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 70, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 80, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 90, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 100, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 110, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 120, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 130, + "mean_classification_error": 0.3, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 140, + "mean_classification_error": 0.296875, + "standard_error": 0.024703886470885138 + }, + { + "epoch": 150, + "mean_classification_error": 0.29270833333333335, + "standard_error": 0.02560205873215641 + }, + { + "epoch": 160, + "mean_classification_error": 0.2875, + "standard_error": 0.026928799758070474 + }, + { + "epoch": 170, + "mean_classification_error": 0.28854166666666664, + "standard_error": 0.026787399468764142 + }, + { + "epoch": 180, + "mean_classification_error": 0.29375, + "standard_error": 0.02635020218652326 + }, + { + "epoch": 190, + "mean_classification_error": 0.30416666666666664, + "standard_error": 0.027355226275035716 + }, + { + "epoch": 200, + "mean_classification_error": 0.303125, + "standard_error": 0.02806954805717226 + }, + { + "epoch": 210, + "mean_classification_error": 0.30625, + "standard_error": 0.028485248218979346 + }, + { + "epoch": 220, + "mean_classification_error": 0.3135416666666667, + "standard_error": 0.026770776173074093 + }, + { + "epoch": 230, + "mean_classification_error": 0.3208333333333333, + "standard_error": 0.025017799931055355 + }, + { + "epoch": 240, + "mean_classification_error": 0.3239583333333333, + "standard_error": 0.024262973994366024 + }, + { + "epoch": 250, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 260, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 270, + "mean_classification_error": 0.325, + "standard_error": 0.024019223070763072 + }, + { + "epoch": 280, + "mean_classification_error": 0.334375, + "standard_error": 0.023753069039971732 + }, + { + "epoch": 290, + "mean_classification_error": 0.33958333333333335, + "standard_error": 0.02380279781371685 + }, + { + "epoch": 300, + "mean_classification_error": 0.3302083333333333, + "standard_error": 0.02293790294211235 + }, + { + "epoch": 310, + "mean_classification_error": 0.3104166666666667, + "standard_error": 0.02262341508827547 + }, + { + "epoch": 320, + "mean_classification_error": 0.253125, + "standard_error": 0.022447484416386873 + }, + { + "epoch": 330, + "mean_classification_error": 0.18229166666666666, + "standard_error": 0.02952645534382582 + }, + { + "epoch": 340, + "mean_classification_error": 0.14270833333333333, + "standard_error": 0.025878763988448145 + }, + { + "epoch": 350, + "mean_classification_error": 0.13958333333333334, + "standard_error": 0.024035434282317452 + }, + { + "epoch": 360, + "mean_classification_error": 0.12916666666666668, + "standard_error": 0.019949187589224916 + }, + { + "epoch": 370, + "mean_classification_error": 0.10625, + "standard_error": 0.017712260751007503 + }, + { + "epoch": 380, + "mean_classification_error": 0.09895833333333333, + "standard_error": 0.017506072155738912 + }, + { + "epoch": 390, + "mean_classification_error": 0.09479166666666668, + "standard_error": 0.016878165261865332 + }, + { + "epoch": 400, + "mean_classification_error": 0.07708333333333332, + "standard_error": 0.014735168070391259 + }, + { + "epoch": 410, + "mean_classification_error": 0.06458333333333333, + "standard_error": 0.013423009065208602 + }, + { + "epoch": 420, + "mean_classification_error": 0.055208333333333325, + "standard_error": 0.011593511100778511 + }, + { + "epoch": 430, + "mean_classification_error": 0.042708333333333334, + "standard_error": 0.009724606697823332 + }, + { + "epoch": 440, + "mean_classification_error": 0.042708333333333334, + "standard_error": 0.009950856364098384 + }, + { + "epoch": 450, + "mean_classification_error": 0.03958333333333333, + "standard_error": 0.008945217490615638 + }, + { + "epoch": 460, + "mean_classification_error": 0.03645833333333333, + "standard_error": 0.008849844973451853 + }, + { + "epoch": 470, + "mean_classification_error": 0.03020833333333333, + "standard_error": 0.007750376220075162 + }, + { + "epoch": 480, + "mean_classification_error": 0.03020833333333333, + "standard_error": 0.007750376220075162 + }, + { + "epoch": 490, + "mean_classification_error": 0.029166666666666664, + "standard_error": 0.007780829682065437 + }, + { + "epoch": 500, + "mean_classification_error": 0.025, + "standard_error": 0.007123753452209252 + }, + { + "epoch": 510, + "mean_classification_error": 0.021875, + "standard_error": 0.006995671102459661 + }, + { + "epoch": 520, + "mean_classification_error": 0.020833333333333332, + "standard_error": 0.006836772117853057 + }, + { + "epoch": 530, + "mean_classification_error": 0.019791666666666666, + "standard_error": 0.006834737061365687 + }, + { + "epoch": 540, + "mean_classification_error": 0.01875, + "standard_error": 0.006828628252999559 + }, + { + "epoch": 550, + "mean_classification_error": 0.01666666666666667, + "standard_error": 0.006294358257117707 + }, + { + "epoch": 560, + "mean_classification_error": 0.01875, + "standard_error": 0.0066636611815037786 + }, + { + "epoch": 570, + "mean_classification_error": 0.020833333333333332, + "standard_error": 0.006836772117853058 + }, + { + "epoch": 580, + "mean_classification_error": 0.019791666666666666, + "standard_error": 0.006669921080659217 + }, + { + "epoch": 590, + "mean_classification_error": 0.02291666666666666, + "standard_error": 0.007301199507273736 + }, + { + "epoch": 600, + "mean_classification_error": 0.02291666666666666, + "standard_error": 0.007301199507273736 + } + ] + }, + "sources": [ + "results/coupled_ladder/p2_confirm_side4.json", + "results/coupled_ladder/p2_confirm_side8.json", + "results/coupled_ladder/p2_confirm_side12.json", + "results/coupled_ladder/p2_confirm_side16.json", + "results/coupled_ladder/p2_confirm_side24.json", + "results/coupled_ladder/p2_confirm_side32.json" + ] +} diff --git a/results/coupled_ladder/p2_scaling_source.csv b/results/coupled_ladder/p2_scaling_source.csv new file mode 100644 index 0000000..1e4eec0 --- /dev/null +++ b/results/coupled_ladder/p2_scaling_source.csv @@ -0,0 +1,241 @@ +side,learnable_edges,method,metric,mean,ci_low,ci_high
+4,32,clean,classification_error,0.0,0.0,0.0
+4,32,clean,classification_error_auc,0.013203125,0.008177083333333331,0.019505208333333336
+4,32,clean,reached_stable_zero_error,1.0,1.0,1.0
+4,32,clean,restricted_epochs_to_stable_zero_error,45.0,25.25,70.25
+4,32,clean,restricted_updates_to_stable_zero_error,357.85,199.0,563.1818749999993
+4,32,clean,restricted_edge_updates_to_stable_zero_error,11451.2,6361.52,18066.479999999996
+4,32,clean,restricted_teaching_signal_reads_to_stable_zero_error,11451.2,6359.84,17939.239999999998
+4,32,clean,restricted_learning_time_to_stable_zero_seconds,3.5785000000000458,2.0004937499999853,5.601756250000185
+4,32,matched_noise,classification_error,0.007291666666666666,0.0010416666666666667,0.015625
+4,32,matched_noise,classification_error_auc,0.02390625,0.012959852430555556,0.03701410590277776
+4,32,matched_noise,reached_stable_zero_error,0.95,0.8916666666666668,0.9916666666666666
+4,32,matched_noise,restricted_epochs_to_stable_zero_error,108.5,55.83333333333333,171.25
+4,32,matched_noise,restricted_updates_to_stable_zero_error,821.7166666666668,421.64124999999996,1288.845208333333
+4,32,matched_noise,restricted_edge_updates_to_stable_zero_error,26294.933333333338,13370.326666666666,41224.126666666656
+4,32,matched_noise,restricted_teaching_signal_reads_to_stable_zero_error,26294.933333333338,13431.266666666668,41515.37999999999
+4,32,matched_noise,restricted_learning_time_to_stable_zero_seconds,8.217166666666666,4.23548125000002,12.917185416666678
+4,32,raw,classification_error,0.34687499999999993,0.30729166666666663,0.3885416666666667
+4,32,raw,classification_error_auc,0.34838541666666667,0.3088361545138889,0.38895030381944434
+4,32,raw,reached_stable_zero_error,0.175,0.10833333333333332,0.24166666666666664
+4,32,raw,restricted_epochs_to_stable_zero_error,501.0833333333333,462.58333333333337,537.7520833333332
+4,32,raw,restricted_updates_to_stable_zero_error,3357.666666666667,3042.3479166666666,3662.110416666667
+4,32,raw,restricted_edge_updates_to_stable_zero_error,107445.33333333334,97457.57333333333,117255.05999999997
+4,32,raw,restricted_teaching_signal_reads_to_stable_zero_error,107445.33333333334,97141.48000000001,117275.08
+4,32,raw,restricted_learning_time_to_stable_zero_seconds,33.57666666666664,30.429910416666683,36.61570208333325
+4,32,constant,classification_error,0.06145833333333334,0.03125,0.09583333333333334
+4,32,constant,classification_error_auc,0.06347222222222222,0.03546006944444445,0.09543424479166665
+4,32,constant,reached_stable_zero_error,0.7583333333333332,0.6416666666666666,0.8583333333333334
+4,32,constant,restricted_epochs_to_stable_zero_error,174.91666666666666,113.25,239.5854166666665
+4,32,constant,restricted_updates_to_stable_zero_error,1288.9833333333331,806.2495833333334,1809.2043749999996
+4,32,constant,restricted_edge_updates_to_stable_zero_error,41247.46666666666,25998.126666666663,57878.82666666665
+4,32,constant,restricted_teaching_signal_reads_to_stable_zero_error,41759.46666666666,26508.919999999995,58261.65333333333
+4,32,constant,restricted_learning_time_to_stable_zero_seconds,12.889833333333215,8.195037499999886,18.11363541666641
+4,32,sdil,classification_error,0.0,0.0,0.0
+4,32,sdil,classification_error_auc,0.012838541666666667,0.00798611111111111,0.019140625
+4,32,sdil,reached_stable_zero_error,1.0,1.0,1.0
+4,32,sdil,restricted_epochs_to_stable_zero_error,40.83333333333333,22.916666666666668,64.5
+4,32,sdil,restricted_updates_to_stable_zero_error,324.575,182.54166666666669,508.778333333333
+4,32,sdil,restricted_edge_updates_to_stable_zero_error,10386.4,5798.666666666667,16444.686666666654
+4,32,sdil,restricted_teaching_signal_reads_to_stable_zero_error,20772.8,11531.16,32878.50666666666
+4,32,sdil,restricted_learning_time_to_stable_zero_seconds,3.2457500000000437,1.8007395833333222,5.1278500000001666
+8,128,clean,classification_error,0.0125,0.003125,0.025
+8,128,clean,classification_error_auc,0.024375,0.015494791666666669,0.034583984374999946
+8,128,clean,reached_stable_zero_error,0.9,0.8,0.975
+8,128,clean,restricted_epochs_to_stable_zero_error,102.0,54.25,160.25
+8,128,clean,restricted_updates_to_stable_zero_error,816.0,436.0,1280.0
+8,128,clean,restricted_edge_updates_to_stable_zero_error,104448.0,55552.0,162816.0
+8,128,clean,restricted_teaching_signal_reads_to_stable_zero_error,104448.0,56064.0,163328.0
+8,128,clean,restricted_learning_time_to_stable_zero_seconds,8.159999999999865,4.2999999999999465,12.739999999999766
+8,128,matched_noise,classification_error,0.026041666666666668,0.007291666666666666,0.051041666666666666
+8,128,matched_noise,classification_error_auc,0.056414930555555555,0.035311848958333336,0.0797573784722222
+8,128,matched_noise,reached_stable_zero_error,0.875,0.775,0.9583333333333333
+8,128,matched_noise,restricted_epochs_to_stable_zero_error,243.41666666666669,175.0,314.75
+8,128,matched_noise,restricted_updates_to_stable_zero_error,1887.8166666666664,1340.7037500000001,2471.303958333332
+8,128,matched_noise,restricted_edge_updates_to_stable_zero_error,241640.5333333333,172539.54666666666,315133.1466666666
+8,128,matched_noise,restricted_teaching_signal_reads_to_stable_zero_error,241640.5333333333,172787.54666666666,314763.78666666656
+8,128,matched_noise,restricted_learning_time_to_stable_zero_seconds,18.878166666666516,13.45398958333326,24.62251249999971
+8,128,raw,classification_error,0.3791666666666666,0.334375,0.4239583333333333
+8,128,raw,classification_error_auc,0.39015625,0.3469077690972222,0.4322664930555555
+8,128,raw,reached_stable_zero_error,0.075,0.03333333333333333,0.125
+8,128,raw,restricted_epochs_to_stable_zero_error,559.0833333333334,530.9979166666667,582.75
+8,128,raw,restricted_updates_to_stable_zero_error,3767.6,3446.7733333333335,4072.25375
+8,128,raw,restricted_edge_updates_to_stable_zero_error,482252.8,441679.36,520498.2666666667
+8,128,raw,restricted_teaching_signal_reads_to_stable_zero_error,482252.8,441475.06666666665,520315.0399999999
+8,128,raw,restricted_learning_time_to_stable_zero_seconds,37.67600000000004,34.4781604166668,40.70692083333316
+8,128,constant,classification_error,0.06458333333333334,0.03333333333333334,0.10104166666666665
+8,128,constant,classification_error_auc,0.06527777777777777,0.036345052083333336,0.09837673611111111
+8,128,constant,reached_stable_zero_error,0.7583333333333333,0.6416666666666666,0.8583333333333332
+8,128,constant,restricted_epochs_to_stable_zero_error,196.41666666666669,133.58333333333334,263.0833333333333
+8,128,constant,restricted_updates_to_stable_zero_error,1556.1333333333332,1047.1216666666667,2096.176666666666
+8,128,constant,restricted_edge_updates_to_stable_zero_error,199185.06666666665,133602.93333333335,267900.1066666666
+8,128,constant,restricted_teaching_signal_reads_to_stable_zero_error,201233.06666666665,136784.31999999998,268940.2399999998
+8,128,constant,restricted_learning_time_to_stable_zero_seconds,15.561333333333133,10.555216666666539,20.94367291666636
+8,128,sdil,classification_error,0.0125,0.003125,0.025
+8,128,sdil,classification_error_auc,0.024375,0.015546875000000002,0.034661675347222205
+8,128,sdil,reached_stable_zero_error,0.9,0.8,0.975
+8,128,sdil,restricted_epochs_to_stable_zero_error,101.5,53.66666666666667,159.75
+8,128,sdil,restricted_updates_to_stable_zero_error,812.0,431.3333333333333,1274.0166666666653
+8,128,sdil,restricted_edge_updates_to_stable_zero_error,103936.0,55210.66666666667,162730.6666666667
+8,128,sdil,restricted_teaching_signal_reads_to_stable_zero_error,207872.0,111616.0,328362.6666666667
+8,128,sdil,restricted_learning_time_to_stable_zero_seconds,8.119999999999866,4.306666666666614,12.733333333333102
+12,288,clean,classification_error,0.01875,0.00625,0.034375
+12,288,clean,classification_error_auc,0.047031250000000004,0.024817708333333334,0.07323046874999989
+12,288,clean,reached_stable_zero_error,0.85,0.725,0.95
+12,288,clean,restricted_epochs_to_stable_zero_error,129.25,70.0,197.25
+12,288,clean,restricted_updates_to_stable_zero_error,1034.0,571.95,1568.0
+12,288,clean,restricted_edge_updates_to_stable_zero_error,297792.0,160704.0,454464.0
+12,288,clean,restricted_teaching_signal_reads_to_stable_zero_error,297792.0,161856.0,452736.0
+12,288,clean,restricted_learning_time_to_stable_zero_seconds,31.020000000000778,16.680000000000312,47.46000000000137
+12,288,matched_noise,classification_error,0.08020833333333334,0.04791666666666666,0.115625
+12,288,matched_noise,classification_error_auc,0.11233506944444445,0.07696158854166667,0.15118077256944443
+12,288,matched_noise,reached_stable_zero_error,0.675,0.5583333333333333,0.7916666666666666
+12,288,matched_noise,restricted_epochs_to_stable_zero_error,467.4166666666667,417.74583333333334,512.25
+12,288,matched_noise,restricted_updates_to_stable_zero_error,3371.841666666667,2920.2410416666667,3786.7475
+12,288,matched_noise,restricted_edge_updates_to_stable_zero_error,971090.4,841615.74,1094660.3399999999
+12,288,matched_noise,restricted_teaching_signal_reads_to_stable_zero_error,971090.4,841912.74,1093814.64
+12,288,matched_noise,restricted_learning_time_to_stable_zero_seconds,101.1552500000031,87.50690000000259,114.07032500000355
+12,288,raw,classification_error,0.48125,0.4510416666666667,0.5114583333333333
+12,288,raw,classification_error_auc,0.4816493055555555,0.4522215711805555,0.5120227864583333
+12,288,raw,reached_stable_zero_error,0.03333333333333333,0.008333333333333333,0.06666666666666667
+12,288,raw,restricted_epochs_to_stable_zero_error,581.0833333333333,562.1666666666666,595.8333333333333
+12,288,raw,restricted_updates_to_stable_zero_error,4482.275,4324.840208333333,4618.510208333333
+12,288,raw,restricted_edge_updates_to_stable_zero_error,1290895.2,1245407.34,1330315.38
+12,288,raw,restricted_teaching_signal_reads_to_stable_zero_error,1290895.2,1245536.58,1329782.46
+12,288,raw,restricted_learning_time_to_stable_zero_seconds,134.46825000000436,129.7265437500042,138.57364375000446
+12,288,constant,classification_error,0.06354166666666668,0.03229166666666666,0.1
+12,288,constant,classification_error_auc,0.08370659722222222,0.04886241319444444,0.12250043402777776
+12,288,constant,reached_stable_zero_error,0.7416666666666666,0.6166666666666666,0.8583333333333332
+12,288,constant,restricted_epochs_to_stable_zero_error,197.91666666666666,131.58333333333334,269.8333333333333
+12,288,constant,restricted_updates_to_stable_zero_error,1579.3916666666667,1056.6404166666669,2144.525416666667
+12,288,constant,restricted_edge_updates_to_stable_zero_error,454864.8,300857.82,618240.1799999999
+12,288,constant,restricted_teaching_signal_reads_to_stable_zero_error,459472.8,305067.95999999996,623208.2399999998
+12,288,constant,restricted_learning_time_to_stable_zero_seconds,47.38175000000134,31.383256250000766,64.4990312500019
+12,288,sdil,classification_error,0.01875,0.00625,0.034375
+12,288,sdil,classification_error_auc,0.04690972222222223,0.024635199652777776,0.073359375
+12,288,sdil,reached_stable_zero_error,0.85,0.725,0.95
+12,288,sdil,restricted_epochs_to_stable_zero_error,128.33333333333331,68.91666666666667,195.91874999999985
+12,288,sdil,restricted_updates_to_stable_zero_error,1026.6666666666665,553.3333333333334,1569.3333333333335
+12,288,sdil,restricted_edge_updates_to_stable_zero_error,295680.0,159552.0,452356.7999999996
+12,288,sdil,restricted_teaching_signal_reads_to_stable_zero_error,591360.0,317184.0,900873.5999999992
+12,288,sdil,restricted_learning_time_to_stable_zero_seconds,30.80000000000077,16.640000000000306,46.92000000000131
+16,512,clean,classification_error,0.025,0.009375,0.040625
+16,512,clean,classification_error_auc,0.06505208333333333,0.040078125000000006,0.09338541666666667
+16,512,clean,reached_stable_zero_error,0.8,0.675,0.925
+16,512,clean,restricted_epochs_to_stable_zero_error,197.5,126.5,272.0
+16,512,clean,restricted_updates_to_stable_zero_error,1580.0,1018.0,2178.0
+16,512,clean,restricted_edge_updates_to_stable_zero_error,808960.0,525312.0,1114112.0
+16,512,clean,restricted_teaching_signal_reads_to_stable_zero_error,808960.0,518144.0,1113088.0
+16,512,clean,restricted_learning_time_to_stable_zero_seconds,47.400000000001256,30.600000000000655,65.52000000000191
+16,512,matched_noise,classification_error,0.11354166666666665,0.07291666666666666,0.15729166666666666
+16,512,matched_noise,classification_error_auc,0.16313368055555552,0.12361111111111112,0.2052779947916666
+16,512,matched_noise,reached_stable_zero_error,0.5833333333333333,0.4583333333333333,0.7083333333333333
+16,512,matched_noise,restricted_epochs_to_stable_zero_error,540.75,513.75,564.3333333333334
+16,512,matched_noise,restricted_updates_to_stable_zero_error,4181.891666666667,3926.454166666667,4411.09625
+16,512,matched_noise,restricted_edge_updates_to_stable_zero_error,2141128.5333333337,2011634.6666666665,2257407.5733333332
+16,512,matched_noise,restricted_teaching_signal_reads_to_stable_zero_error,2141128.5333333337,2012084.9066666663,2258256.213333333
+16,512,matched_noise,restricted_learning_time_to_stable_zero_seconds,125.45675000000396,117.98845625000371,132.35101250000426
+16,512,raw,classification_error,0.4770833333333334,0.43125,0.5229166666666667
+16,512,raw,classification_error_auc,0.4797048611111111,0.4340004340277778,0.5244709201388889
+16,512,raw,reached_stable_zero_error,0.0,0.0,0.0
+16,512,raw,restricted_epochs_to_stable_zero_error,600.0,600.0,600.0
+16,512,raw,restricted_updates_to_stable_zero_error,4495.933333333333,4395.755416666667,4586.975833333334
+16,512,raw,restricted_edge_updates_to_stable_zero_error,2301917.8666666667,2250791.466666667,2349642.56
+16,512,raw,restricted_teaching_signal_reads_to_stable_zero_error,2301917.8666666667,2251041.28,2349184.7466666666
+16,512,raw,restricted_learning_time_to_stable_zero_seconds,134.87800000000433,131.87265625000424,137.64108125000445
+16,512,constant,classification_error,0.09583333333333334,0.057291666666666664,0.13958333333333334
+16,512,constant,classification_error_auc,0.13220486111111113,0.08796875000000001,0.18053906249999996
+16,512,constant,reached_stable_zero_error,0.6083333333333333,0.4916666666666666,0.725
+16,512,constant,restricted_epochs_to_stable_zero_error,322.1666666666667,254.66666666666669,388.6666666666667
+16,512,constant,restricted_updates_to_stable_zero_error,2570.9083333333338,2033.4745833333332,3112.756874999998
+16,512,constant,restricted_edge_updates_to_stable_zero_error,1316305.066666667,1040075.3066666668,1593321.7066666663
+16,512,constant,restricted_teaching_signal_reads_to_stable_zero_error,1324497.066666667,1049585.8133333332,1597681.0666666662
+16,512,constant,restricted_learning_time_to_stable_zero_seconds,77.12725000000228,60.94735625000177,93.24530625000286
+16,512,sdil,classification_error,0.025,0.009375,0.040625
+16,512,sdil,classification_error_auc,0.06378472222222223,0.040095269097222226,0.09045182291666663
+16,512,sdil,reached_stable_zero_error,0.8,0.675,0.925
+16,512,sdil,restricted_epochs_to_stable_zero_error,197.33333333333331,128.0,273.5
+16,512,sdil,restricted_updates_to_stable_zero_error,1578.6666666666665,1018.0,2171.3499999999985
+16,512,sdil,restricted_edge_updates_to_stable_zero_error,808277.3333333333,524279.4666666667,1114120.5333333325
+16,512,sdil,restricted_teaching_signal_reads_to_stable_zero_error,1616554.6666666665,1045828.2666666666,2217301.3333333335
+16,512,sdil,restricted_learning_time_to_stable_zero_seconds,47.36000000000125,30.699500000000672,65.30000000000184
+24,1152,clean,classification_error,0.025,0.009375,0.040625
+24,1152,clean,classification_error_auc,0.08796875,0.064712890625,0.11304687499999999
+24,1152,clean,reached_stable_zero_error,0.8,0.675,0.925
+24,1152,clean,restricted_epochs_to_stable_zero_error,278.25,212.0,346.75
+24,1152,clean,restricted_updates_to_stable_zero_error,2226.0,1692.0,2788.0
+24,1152,clean,restricted_edge_updates_to_stable_zero_error,2564352.0,1953792.0,3197952.0
+24,1152,clean,restricted_teaching_signal_reads_to_stable_zero_error,2564352.0,1949184.0,3197952.0
+24,1152,clean,restricted_learning_time_to_stable_zero_seconds,66.78000000000182,50.64000000000124,83.2800000000024
+24,1152,matched_noise,classification_error,0.19375,0.153125,0.23645833333333335
+24,1152,matched_noise,classification_error_auc,0.25717013888888884,0.2150434027777778,0.2995227864583333
+24,1152,matched_noise,reached_stable_zero_error,0.31666666666666665,0.2333333333333333,0.4
+24,1152,matched_noise,restricted_epochs_to_stable_zero_error,588.1666666666667,579.9166666666667,594.6666666666666
+24,1152,matched_noise,restricted_updates_to_stable_zero_error,4691.516666666666,4617.283125,4750.591666666666
+24,1152,matched_noise,restricted_edge_updates_to_stable_zero_error,5404627.2,5319810.72,5472739.2
+24,1152,matched_noise,restricted_teaching_signal_reads_to_stable_zero_error,5404627.2,5319675.84,5472730.319999999
+24,1152,matched_noise,restricted_learning_time_to_stable_zero_seconds,140.74550000000457,138.5307437500045,142.51400625000463
+24,1152,raw,classification_error,0.484375,0.46875,0.4989583333333334
+24,1152,raw,classification_error_auc,0.4859114583333334,0.4679251302083333,0.5037413194444444
+24,1152,raw,reached_stable_zero_error,0.0,0.0,0.0
+24,1152,raw,restricted_epochs_to_stable_zero_error,600.0,600.0,600.0
+24,1152,raw,restricted_updates_to_stable_zero_error,4800.0,4800.0,4800.0
+24,1152,raw,restricted_edge_updates_to_stable_zero_error,5529600.0,5529600.0,5529600.0
+24,1152,raw,restricted_teaching_signal_reads_to_stable_zero_error,5529600.0,5529600.0,5529600.0
+24,1152,raw,restricted_learning_time_to_stable_zero_seconds,144.0000000000047,144.0000000000047,144.0000000000047
+24,1152,constant,classification_error,0.18125,0.134375,0.23125
+24,1152,constant,classification_error_auc,0.22522569444444446,0.17953038194444446,0.2717013888888889
+24,1152,constant,reached_stable_zero_error,0.36666666666666664,0.25,0.4833333333333333
+24,1152,constant,restricted_epochs_to_stable_zero_error,463.66666666666663,412.83125,511.3333333333333
+24,1152,constant,restricted_updates_to_stable_zero_error,3706.0916666666662,3302.6545833333334,4086.7606250000003
+24,1152,constant,restricted_edge_updates_to_stable_zero_error,4269417.6,3806310.96,4704873.6
+24,1152,constant,restricted_teaching_signal_reads_to_stable_zero_error,4287849.6,3816261.8400000003,4719585.119999999
+24,1152,constant,restricted_learning_time_to_stable_zero_seconds,111.1827500000035,99.08275000000302,122.68586250000388
+24,1152,sdil,classification_error,0.029166666666666664,0.013541666666666665,0.046875
+24,1152,sdil,classification_error_auc,0.08796875,0.06430512152777779,0.1132204861111111
+24,1152,sdil,reached_stable_zero_error,0.7833333333333333,0.65,0.9
+24,1152,sdil,restricted_epochs_to_stable_zero_error,278.0,212.5,347.3333333333333
+24,1152,sdil,restricted_updates_to_stable_zero_error,2224.0,1701.3333333333335,2772.0
+24,1152,sdil,restricted_edge_updates_to_stable_zero_error,2562048.0,1953772.8,3201792.0
+24,1152,sdil,restricted_teaching_signal_reads_to_stable_zero_error,5124096.0,3915264.0,6400550.399999997
+24,1152,sdil,restricted_learning_time_to_stable_zero_seconds,66.7200000000018,50.82000000000122,83.20050000000236
+32,2048,clean,classification_error,0.015625,0.003125,0.028125
+32,2048,clean,classification_error_auc,0.19627604166666668,0.16614583333333335,0.226328125
+32,2048,clean,reached_stable_zero_error,0.875,0.775,0.975
+32,2048,clean,restricted_epochs_to_stable_zero_error,436.75,407.75,466.25
+32,2048,clean,restricted_updates_to_stable_zero_error,3494.0,3264.0,3736.0
+32,2048,clean,restricted_edge_updates_to_stable_zero_error,7155712.0,6684672.0,7643238.399999991
+32,2048,clean,restricted_teaching_signal_reads_to_stable_zero_error,7155712.0,6688768.0,7651430.399999991
+32,2048,clean,restricted_learning_time_to_stable_zero_seconds,34.940000000000964,32.620000000001205,37.32000000000083
+32,2048,matched_noise,classification_error,0.26666666666666666,0.21770833333333334,0.315625
+32,2048,matched_noise,classification_error_auc,0.3127951388888889,0.27772547743055553,0.348515625
+32,2048,matched_noise,reached_stable_zero_error,0.14166666666666666,0.075,0.21666666666666665
+32,2048,matched_noise,restricted_epochs_to_stable_zero_error,590.75,580.6666666666667,598.0833333333333
+32,2048,matched_noise,restricted_updates_to_stable_zero_error,4725.975,4646.616666666667,4784.0
+32,2048,matched_noise,restricted_edge_updates_to_stable_zero_error,9678796.8,9513537.706666665,9798997.333333332
+32,2048,matched_noise,restricted_teaching_signal_reads_to_stable_zero_error,9678796.8,9512276.053333333,9798997.333333332
+32,2048,matched_noise,restricted_learning_time_to_stable_zero_seconds,47.25974999999912,46.453083333332565,47.84666666666571
+32,2048,raw,classification_error,0.4989583333333333,0.490625,0.50625
+32,2048,raw,classification_error_auc,0.4976649305555556,0.4911022135416666,0.5035937500000001
+32,2048,raw,reached_stable_zero_error,0.0,0.0,0.0
+32,2048,raw,restricted_epochs_to_stable_zero_error,600.0,600.0,600.0
+32,2048,raw,restricted_updates_to_stable_zero_error,4800.0,4800.0,4800.0
+32,2048,raw,restricted_edge_updates_to_stable_zero_error,9830400.0,9830400.0,9830400.0
+32,2048,raw,restricted_teaching_signal_reads_to_stable_zero_error,9830400.0,9830400.0,9830400.0
+32,2048,raw,restricted_learning_time_to_stable_zero_seconds,47.99999999999901,47.99999999999901,47.99999999999901
+32,2048,constant,classification_error,0.271875,0.2229166666666667,0.32083333333333336
+32,2048,constant,classification_error_auc,0.29671006944444445,0.257404296875,0.3356082899305555
+32,2048,constant,reached_stable_zero_error,0.2333333333333333,0.15,0.325
+32,2048,constant,restricted_epochs_to_stable_zero_error,568.5,554.4166666666666,581.0833333333334
+32,2048,constant,restricted_updates_to_stable_zero_error,4548.0,4435.333333333333,4650.6833333333325
+32,2048,constant,restricted_edge_updates_to_stable_zero_error,9314304.0,9086293.333333334,9524599.466666665
+32,2048,constant,restricted_teaching_signal_reads_to_stable_zero_error,9347072.0,9117696.0,9560064.0
+32,2048,constant,restricted_learning_time_to_stable_zero_seconds,45.47999999999936,44.3533333333328,46.51333333333259
+32,2048,sdil,classification_error,0.02291666666666666,0.009375,0.03854166666666666
+32,2048,sdil,classification_error_auc,0.19340277777777776,0.16297699652777778,0.22323784722222223
+32,2048,sdil,reached_stable_zero_error,0.825,0.7166666666666666,0.925
+32,2048,sdil,restricted_epochs_to_stable_zero_error,435.8333333333333,407.33333333333337,465.16666666666663
+32,2048,sdil,restricted_updates_to_stable_zero_error,3486.6666666666665,3258.0,3722.6666666666665
+32,2048,sdil,restricted_edge_updates_to_stable_zero_error,7140693.333333333,6671018.666666667,7621290.666666667
+32,2048,sdil,restricted_teaching_signal_reads_to_stable_zero_error,14281386.666666666,13344699.733333332,15234389.333333332
+32,2048,sdil,restricted_learning_time_to_stable_zero_seconds,34.8666666666676,32.579833333334314,37.20000000000068
|