### 网格搜索 ###
install.packages("gbm")
set.seed(1234)
library(caret)
library(gbm)
fitControl <- trainControl(method = 'repeatedcv',number = 10,repeats = 5)
# 设置网格搜索的参数池
gbmGrid <- expand.grid(interaction.depth = c(3,5,9),n.trees = (1:20)*5,shrinkage = 0.1,n.minobsinnode = 20)
nrow(gbmGrid)
# 训练模型,找出最优参数组合
gbmfit <- train(accept ~ .,data = car,method = 'gbm',trControl = fitControl,tuneGrid = gbmGrid,metric = 'Accuracy')gbmfit$bestTune # 查看模型最优的参数组合plot(gbmfit)
8 0.5290 nan 0.1000 0.06389 0.4866 nan 0.1000 0.066810 0.4438 nan 0.1000 0.050620 0.2592 nan 0.1000 0.010040 0.1435 nan 0.1000 -0.001960 0.0950 nan 0.1000 -0.000280 0.0668 nan 0.1000 -0.0004100 0.0485 nan 0.1000 -0.0014Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41092 1.1518 nan 0.1000 0.25873 0.9983 nan 0.1000 0.18444 0.8888 nan 0.1000 0.14465 0.8016 nan 0.1000 0.10096 0.7391 nan 0.1000 0.08977 0.6838 nan 0.1000 0.07798 0.6363 nan 0.1000 0.05529 0.6021 nan 0.1000 0.042910 0.5728 nan 0.1000 0.043120 0.4161 nan 0.1000 0.012840 0.2905 nan 0.1000 0.004360 0.2250 nan 0.1000 0.000080 0.1868 nan 0.1000 0.0028100 0.1599 nan 0.1000 -0.0011Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42532 1.1400 nan 0.1000 0.28013 0.9769 nan 0.1000 0.20714 0.8536 nan 0.1000 0.15885 0.7568 nan 0.1000 0.12686 0.6804 nan 0.1000 0.10217 0.6178 nan 0.1000 0.07958 0.5680 nan 0.1000 0.06599 0.5270 nan 0.1000 0.053210 0.4928 nan 0.1000 0.047620 0.3168 nan 0.1000 0.004440 0.2040 nan 0.1000 0.001460 0.1528 nan 0.1000 0.003580 0.1202 nan 0.1000 -0.0011100 0.0962 nan 0.1000 -0.0015Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44172 1.1298 nan 0.1000 0.29283 0.9571 nan 0.1000 0.21594 0.8269 nan 0.1000 0.16575 0.7264 nan 0.1000 0.13086 0.6474 nan 0.1000 0.11527 0.5760 nan 0.1000 0.08548 0.5225 nan 0.1000 0.07179 0.4757 nan 0.1000 0.062010 0.4349 nan 0.1000 0.046720 0.2496 nan 0.1000 0.015540 0.1395 nan 0.1000 0.002460 0.0900 nan 0.1000 0.000280 0.0630 nan 0.1000 -0.0012100 0.0456 nan 0.1000 -0.0007Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41642 1.1512 nan 0.1000 0.27603 0.9959 nan 0.1000 0.19364 0.8834 nan 0.1000 0.14185 0.7990 nan 0.1000 0.11196 0.7317 nan 0.1000 0.08697 0.6786 nan 0.1000 0.07188 0.6348 nan 0.1000 0.05339 0.5993 nan 0.1000 0.046510 0.5704 nan 0.1000 0.044020 0.4054 nan 0.1000 0.015240 0.2805 nan 0.1000 -0.000160 0.2258 nan 0.1000 -0.000280 0.1853 nan 0.1000 -0.0010100 0.1642 nan 0.1000 0.0004Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43272 1.1387 nan 0.1000 0.28073 0.9689 nan 0.1000 0.20874 0.8447 nan 0.1000 0.15105 0.7518 nan 0.1000 0.12016 0.6790 nan 0.1000 0.09267 0.6215 nan 0.1000 0.08168 0.5699 nan 0.1000 0.07559 0.5238 nan 0.1000 0.052510 0.4900 nan 0.1000 0.047620 0.3147 nan 0.1000 0.008840 0.1975 nan 0.1000 0.005160 0.1471 nan 0.1000 0.000780 0.1137 nan 0.1000 -0.0017100 0.0918 nan 0.1000 -0.0004Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44642 1.1234 nan 0.1000 0.28283 0.9530 nan 0.1000 0.21644 0.8232 nan 0.1000 0.16885 0.7208 nan 0.1000 0.12316 0.6437 nan 0.1000 0.10197 0.5806 nan 0.1000 0.08458 0.5270 nan 0.1000 0.06259 0.4843 nan 0.1000 0.056010 0.4474 nan 0.1000 0.051020 0.2581 nan 0.1000 0.013840 0.1420 nan 0.1000 0.005360 0.0905 nan 0.1000 -0.000680 0.0628 nan 0.1000 -0.0023100 0.0462 nan 0.1000 -0.0008Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41242 1.1500 nan 0.1000 0.26663 0.9955 nan 0.1000 0.18424 0.8853 nan 0.1000 0.14855 0.7969 nan 0.1000 0.11316 0.7292 nan 0.1000 0.08847 0.6759 nan 0.1000 0.06678 0.6332 nan 0.1000 0.05879 0.5957 nan 0.1000 0.051110 0.5650 nan 0.1000 0.039420 0.4060 nan 0.1000 0.014140 0.2817 nan 0.1000 0.002860 0.2236 nan 0.1000 0.000980 0.1849 nan 0.1000 -0.0016100 0.1626 nan 0.1000 -0.0007Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43712 1.1354 nan 0.1000 0.28723 0.9702 nan 0.1000 0.20434 0.8451 nan 0.1000 0.15605 0.7503 nan 0.1000 0.11726 0.6772 nan 0.1000 0.10547 0.6124 nan 0.1000 0.08198 0.5604 nan 0.1000 0.06619 0.5202 nan 0.1000 0.052210 0.4849 nan 0.1000 0.043920 0.3242 nan 0.1000 0.013440 0.2085 nan 0.1000 0.003460 0.1533 nan 0.1000 0.001380 0.1204 nan 0.1000 -0.0008100 0.0960 nan 0.1000 0.0000Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.45122 1.1244 nan 0.1000 0.29893 0.9515 nan 0.1000 0.20754 0.8231 nan 0.1000 0.15795 0.7267 nan 0.1000 0.13296 0.6451 nan 0.1000 0.10377 0.5791 nan 0.1000 0.08628 0.5237 nan 0.1000 0.06859 0.4813 nan 0.1000 0.054010 0.4468 nan 0.1000 0.051820 0.2605 nan 0.1000 0.012440 0.1429 nan 0.1000 0.004460 0.0948 nan 0.1000 0.001680 0.0664 nan 0.1000 -0.0015100 0.0492 nan 0.1000 -0.0012Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41002 1.1522 nan 0.1000 0.26263 0.9967 nan 0.1000 0.18604 0.8860 nan 0.1000 0.14485 0.8010 nan 0.1000 0.11566 0.7311 nan 0.1000 0.09007 0.6770 nan 0.1000 0.06008 0.6358 nan 0.1000 0.06149 0.5988 nan 0.1000 0.048510 0.5681 nan 0.1000 0.038820 0.4105 nan 0.1000 0.016440 0.2860 nan 0.1000 0.007560 0.2278 nan 0.1000 -0.000680 0.1867 nan 0.1000 -0.0004100 0.1551 nan 0.1000 0.0002Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41712 1.1380 nan 0.1000 0.28313 0.9722 nan 0.1000 0.20834 0.8485 nan 0.1000 0.15225 0.7577 nan 0.1000 0.12156 0.6810 nan 0.1000 0.09677 0.6197 nan 0.1000 0.07898 0.5689 nan 0.1000 0.06339 0.5282 nan 0.1000 0.050810 0.4942 nan 0.1000 0.049820 0.3159 nan 0.1000 0.012540 0.1978 nan 0.1000 0.003260 0.1445 nan 0.1000 -0.001680 0.1146 nan 0.1000 -0.0004100 0.0933 nan 0.1000 -0.0006Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44722 1.1258 nan 0.1000 0.29403 0.9497 nan 0.1000 0.21094 0.8235 nan 0.1000 0.16645 0.7233 nan 0.1000 0.12466 0.6462 nan 0.1000 0.11307 0.5763 nan 0.1000 0.08268 0.5238 nan 0.1000 0.06899 0.4778 nan 0.1000 0.061110 0.4355 nan 0.1000 0.042620 0.2623 nan 0.1000 0.011040 0.1440 nan 0.1000 0.005660 0.0923 nan 0.1000 0.000080 0.0644 nan 0.1000 -0.0010100 0.0473 nan 0.1000 -0.0019Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41372 1.1481 nan 0.1000 0.26833 0.9911 nan 0.1000 0.19644 0.8775 nan 0.1000 0.14355 0.7915 nan 0.1000 0.11356 0.7226 nan 0.1000 0.08757 0.6683 nan 0.1000 0.07468 0.6228 nan 0.1000 0.05529 0.5870 nan 0.1000 0.047310 0.5570 nan 0.1000 0.036320 0.4001 nan 0.1000 0.012340 0.2783 nan 0.1000 0.002260 0.2218 nan 0.1000 0.001080 0.1866 nan 0.1000 0.0027100 0.1582 nan 0.1000 -0.0009Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42952 1.1372 nan 0.1000 0.28433 0.9703 nan 0.1000 0.21034 0.8467 nan 0.1000 0.15735 0.7523 nan 0.1000 0.12056 0.6777 nan 0.1000 0.10067 0.6152 nan 0.1000 0.08658 0.5620 nan 0.1000 0.06359 0.5201 nan 0.1000 0.054210 0.4862 nan 0.1000 0.036120 0.3168 nan 0.1000 0.004540 0.2021 nan 0.1000 0.004060 0.1440 nan 0.1000 -0.000580 0.1128 nan 0.1000 -0.0009100 0.0916 nan 0.1000 -0.0003Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44432 1.1245 nan 0.1000 0.28543 0.9562 nan 0.1000 0.21824 0.8238 nan 0.1000 0.16765 0.7224 nan 0.1000 0.12946 0.6438 nan 0.1000 0.10157 0.5786 nan 0.1000 0.07818 0.5270 nan 0.1000 0.07499 0.4795 nan 0.1000 0.054910 0.4418 nan 0.1000 0.047720 0.2519 nan 0.1000 0.011540 0.1395 nan 0.1000 0.001360 0.0921 nan 0.1000 -0.001180 0.0637 nan 0.1000 -0.0010100 0.0454 nan 0.1000 -0.0002Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42252 1.1503 nan 0.1000 0.27363 0.9957 nan 0.1000 0.19424 0.8815 nan 0.1000 0.14015 0.7946 nan 0.1000 0.11196 0.7269 nan 0.1000 0.08237 0.6754 nan 0.1000 0.06478 0.6315 nan 0.1000 0.06009 0.5948 nan 0.1000 0.036710 0.5666 nan 0.1000 0.039520 0.4028 nan 0.1000 0.012040 0.2814 nan 0.1000 0.004960 0.2206 nan 0.1000 0.001680 0.1860 nan 0.1000 0.0000100 0.1581 nan 0.1000 -0.0001Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42972 1.1353 nan 0.1000 0.27473 0.9724 nan 0.1000 0.20614 0.8485 nan 0.1000 0.15295 0.7536 nan 0.1000 0.12016 0.6798 nan 0.1000 0.09637 0.6195 nan 0.1000 0.08658 0.5650 nan 0.1000 0.06679 0.5233 nan 0.1000 0.060610 0.4847 nan 0.1000 0.042620 0.3152 nan 0.1000 0.013140 0.2023 nan 0.1000 0.003560 0.1525 nan 0.1000 0.000080 0.1175 nan 0.1000 -0.0002100 0.0949 nan 0.1000 -0.0003Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43872 1.1285 nan 0.1000 0.30203 0.9499 nan 0.1000 0.21664 0.8197 nan 0.1000 0.15725 0.7244 nan 0.1000 0.13266 0.6445 nan 0.1000 0.10717 0.5778 nan 0.1000 0.08298 0.5240 nan 0.1000 0.07149 0.4785 nan 0.1000 0.057410 0.4401 nan 0.1000 0.046820 0.2610 nan 0.1000 0.009840 0.1431 nan 0.1000 0.001460 0.0902 nan 0.1000 -0.000080 0.0637 nan 0.1000 -0.0002100 0.0466 nan 0.1000 -0.0007Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41542 1.1516 nan 0.1000 0.25203 1.0049 nan 0.1000 0.19764 0.8869 nan 0.1000 0.14885 0.7997 nan 0.1000 0.11826 0.7289 nan 0.1000 0.08917 0.6756 nan 0.1000 0.06588 0.6337 nan 0.1000 0.05929 0.5970 nan 0.1000 0.050210 0.5648 nan 0.1000 0.041520 0.4027 nan 0.1000 0.009740 0.2722 nan 0.1000 0.003460 0.2167 nan 0.1000 -0.000180 0.1792 nan 0.1000 -0.0002100 0.1576 nan 0.1000 -0.0008Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43292 1.1395 nan 0.1000 0.28033 0.9743 nan 0.1000 0.21554 0.8491 nan 0.1000 0.15995 0.7544 nan 0.1000 0.12356 0.6797 nan 0.1000 0.10187 0.6164 nan 0.1000 0.06938 0.5709 nan 0.1000 0.06779 0.5285 nan 0.1000 0.052910 0.4947 nan 0.1000 0.041820 0.3213 nan 0.1000 0.009940 0.2009 nan 0.1000 0.001760 0.1491 nan 0.1000 0.001080 0.1175 nan 0.1000 0.0002100 0.0919 nan 0.1000 -0.0025Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.46002 1.1252 nan 0.1000 0.28993 0.9528 nan 0.1000 0.22134 0.8224 nan 0.1000 0.16315 0.7237 nan 0.1000 0.12926 0.6448 nan 0.1000 0.10607 0.5790 nan 0.1000 0.08888 0.5232 nan 0.1000 0.07109 0.4768 nan 0.1000 0.055610 0.4397 nan 0.1000 0.053820 0.2541 nan 0.1000 0.005740 0.1314 nan 0.1000 0.002860 0.0874 nan 0.1000 -0.000880 0.0613 nan 0.1000 -0.0000100 0.0436 nan 0.1000 -0.0014Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41622 1.1499 nan 0.1000 0.27183 0.9939 nan 0.1000 0.19584 0.8812 nan 0.1000 0.14115 0.7978 nan 0.1000 0.10486 0.7321 nan 0.1000 0.08997 0.6773 nan 0.1000 0.07128 0.6331 nan 0.1000 0.05149 0.5987 nan 0.1000 0.040610 0.5703 nan 0.1000 0.042220 0.4055 nan 0.1000 0.012440 0.2857 nan 0.1000 0.003160 0.2212 nan 0.1000 0.001580 0.1835 nan 0.1000 -0.0002100 0.1537 nan 0.1000 -0.0011Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43982 1.1377 nan 0.1000 0.28993 0.9701 nan 0.1000 0.21214 0.8465 nan 0.1000 0.15255 0.7549 nan 0.1000 0.12246 0.6789 nan 0.1000 0.09907 0.6173 nan 0.1000 0.08298 0.5652 nan 0.1000 0.06529 0.5236 nan 0.1000 0.054810 0.4891 nan 0.1000 0.045520 0.3193 nan 0.1000 0.012940 0.2046 nan 0.1000 0.000860 0.1477 nan 0.1000 0.000680 0.1163 nan 0.1000 -0.0012100 0.0965 nan 0.1000 0.0009Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44932 1.1282 nan 0.1000 0.29413 0.9533 nan 0.1000 0.22044 0.8223 nan 0.1000 0.16945 0.7173 nan 0.1000 0.12536 0.6402 nan 0.1000 0.09737 0.5787 nan 0.1000 0.08108 0.5262 nan 0.1000 0.07269 0.4812 nan 0.1000 0.059410 0.4418 nan 0.1000 0.054620 0.2580 nan 0.1000 0.009540 0.1393 nan 0.1000 0.003260 0.0929 nan 0.1000 -0.000980 0.0658 nan 0.1000 -0.0018100 0.0472 nan 0.1000 0.0001Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41372 1.1496 nan 0.1000 0.27533 0.9926 nan 0.1000 0.18084 0.8832 nan 0.1000 0.14535 0.7953 nan 0.1000 0.10926 0.7306 nan 0.1000 0.08547 0.6782 nan 0.1000 0.07358 0.6327 nan 0.1000 0.05609 0.5978 nan 0.1000 0.052510 0.5661 nan 0.1000 0.041520 0.4023 nan 0.1000 0.008340 0.2805 nan 0.1000 0.004560 0.2190 nan 0.1000 -0.000580 0.1856 nan 0.1000 0.0010100 0.1606 nan 0.1000 0.0004Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42292 1.1383 nan 0.1000 0.27163 0.9721 nan 0.1000 0.20384 0.8500 nan 0.1000 0.15555 0.7545 nan 0.1000 0.12526 0.6786 nan 0.1000 0.09487 0.6170 nan 0.1000 0.07828 0.5670 nan 0.1000 0.06349 0.5263 nan 0.1000 0.059710 0.4887 nan 0.1000 0.043520 0.3153 nan 0.1000 0.003940 0.2066 nan 0.1000 0.002260 0.1519 nan 0.1000 -0.000380 0.1183 nan 0.1000 -0.0007100 0.0924 nan 0.1000 0.0005Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44632 1.1275 nan 0.1000 0.28393 0.9550 nan 0.1000 0.21554 0.8247 nan 0.1000 0.16195 0.7256 nan 0.1000 0.11946 0.6501 nan 0.1000 0.10157 0.5850 nan 0.1000 0.08358 0.5314 nan 0.1000 0.07179 0.4855 nan 0.1000 0.056310 0.4472 nan 0.1000 0.044520 0.2478 nan 0.1000 0.008740 0.1381 nan 0.1000 0.002160 0.0894 nan 0.1000 0.000480 0.0635 nan 0.1000 -0.0012100 0.0477 nan 0.1000 -0.0003Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41252 1.1495 nan 0.1000 0.26873 0.9951 nan 0.1000 0.19244 0.8834 nan 0.1000 0.14005 0.7990 nan 0.1000 0.11536 0.7319 nan 0.1000 0.08907 0.6776 nan 0.1000 0.07128 0.6343 nan 0.1000 0.05619 0.5980 nan 0.1000 0.047110 0.5679 nan 0.1000 0.044320 0.4033 nan 0.1000 0.012740 0.2744 nan 0.1000 0.003360 0.2212 nan 0.1000 0.001880 0.1826 nan 0.1000 0.0023100 0.1562 nan 0.1000 -0.0019Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42522 1.1422 nan 0.1000 0.28103 0.9757 nan 0.1000 0.20904 0.8532 nan 0.1000 0.15125 0.7607 nan 0.1000 0.12686 0.6843 nan 0.1000 0.09977 0.6225 nan 0.1000 0.08068 0.5722 nan 0.1000 0.06679 0.5279 nan 0.1000 0.054710 0.4930 nan 0.1000 0.043820 0.3237 nan 0.1000 0.014540 0.2076 nan 0.1000 0.005460 0.1483 nan 0.1000 -0.000780 0.1162 nan 0.1000 -0.0013100 0.0949 nan 0.1000 0.0003Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43552 1.1305 nan 0.1000 0.29833 0.9557 nan 0.1000 0.21514 0.8257 nan 0.1000 0.16105 0.7284 nan 0.1000 0.12646 0.6496 nan 0.1000 0.10407 0.5856 nan 0.1000 0.08398 0.5310 nan 0.1000 0.06629 0.4860 nan 0.1000 0.051810 0.4499 nan 0.1000 0.052420 0.2552 nan 0.1000 0.008440 0.1430 nan 0.1000 0.002860 0.0944 nan 0.1000 0.000180 0.0653 nan 0.1000 0.0011100 0.0470 nan 0.1000 -0.0014Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41262 1.1486 nan 0.1000 0.26703 0.9932 nan 0.1000 0.18464 0.8791 nan 0.1000 0.14095 0.7972 nan 0.1000 0.10986 0.7309 nan 0.1000 0.08587 0.6792 nan 0.1000 0.06868 0.6371 nan 0.1000 0.05659 0.5993 nan 0.1000 0.043210 0.5687 nan 0.1000 0.040120 0.4023 nan 0.1000 0.009140 0.2737 nan 0.1000 0.005160 0.2191 nan 0.1000 -0.000680 0.1810 nan 0.1000 -0.0009100 0.1563 nan 0.1000 -0.0015Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42792 1.1382 nan 0.1000 0.28543 0.9717 nan 0.1000 0.20464 0.8487 nan 0.1000 0.15605 0.7550 nan 0.1000 0.12046 0.6801 nan 0.1000 0.10007 0.6180 nan 0.1000 0.08188 0.5662 nan 0.1000 0.06749 0.5253 nan 0.1000 0.053710 0.4909 nan 0.1000 0.045220 0.3136 nan 0.1000 0.007840 0.2043 nan 0.1000 0.000960 0.1525 nan 0.1000 0.001380 0.1173 nan 0.1000 0.0004100 0.0934 nan 0.1000 -0.0008Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44302 1.1265 nan 0.1000 0.29293 0.9516 nan 0.1000 0.20934 0.8235 nan 0.1000 0.16625 0.7248 nan 0.1000 0.13456 0.6449 nan 0.1000 0.10347 0.5812 nan 0.1000 0.08568 0.5279 nan 0.1000 0.06719 0.4832 nan 0.1000 0.061010 0.4439 nan 0.1000 0.062420 0.2455 nan 0.1000 0.006540 0.1339 nan 0.1000 0.000560 0.0844 nan 0.1000 -0.000580 0.0609 nan 0.1000 0.0008100 0.0453 nan 0.1000 -0.0006Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.40932 1.1493 nan 0.1000 0.27133 0.9936 nan 0.1000 0.18464 0.8808 nan 0.1000 0.14035 0.7971 nan 0.1000 0.11326 0.7283 nan 0.1000 0.08297 0.6764 nan 0.1000 0.06628 0.6331 nan 0.1000 0.06079 0.5957 nan 0.1000 0.043810 0.5668 nan 0.1000 0.041320 0.3983 nan 0.1000 0.011340 0.2804 nan 0.1000 0.002060 0.2216 nan 0.1000 0.000980 0.1871 nan 0.1000 0.0002100 0.1604 nan 0.1000 -0.0001Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43382 1.1361 nan 0.1000 0.28273 0.9713 nan 0.1000 0.20454 0.8487 nan 0.1000 0.15915 0.7529 nan 0.1000 0.12046 0.6780 nan 0.1000 0.09577 0.6182 nan 0.1000 0.07878 0.5697 nan 0.1000 0.06589 0.5278 nan 0.1000 0.052310 0.4938 nan 0.1000 0.053420 0.3209 nan 0.1000 0.013740 0.2027 nan 0.1000 0.003260 0.1494 nan 0.1000 -0.000280 0.1200 nan 0.1000 -0.0004100 0.0949 nan 0.1000 -0.0016Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.45062 1.1268 nan 0.1000 0.30573 0.9510 nan 0.1000 0.22164 0.8204 nan 0.1000 0.16065 0.7207 nan 0.1000 0.12956 0.6400 nan 0.1000 0.10507 0.5739 nan 0.1000 0.09288 0.5177 nan 0.1000 0.06559 0.4746 nan 0.1000 0.051810 0.4400 nan 0.1000 0.042820 0.2553 nan 0.1000 0.007140 0.1389 nan 0.1000 -0.001260 0.0881 nan 0.1000 0.000080 0.0634 nan 0.1000 -0.0004100 0.0479 nan 0.1000 -0.0006Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.40882 1.1472 nan 0.1000 0.26163 0.9904 nan 0.1000 0.19264 0.8763 nan 0.1000 0.14735 0.7904 nan 0.1000 0.10996 0.7226 nan 0.1000 0.08537 0.6698 nan 0.1000 0.07348 0.6258 nan 0.1000 0.05979 0.5891 nan 0.1000 0.043110 0.5603 nan 0.1000 0.038920 0.4000 nan 0.1000 0.013540 0.2678 nan 0.1000 0.002260 0.2158 nan 0.1000 0.001380 0.1788 nan 0.1000 0.0020100 0.1543 nan 0.1000 -0.0021Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44402 1.1348 nan 0.1000 0.28183 0.9657 nan 0.1000 0.21054 0.8413 nan 0.1000 0.15395 0.7495 nan 0.1000 0.11806 0.6747 nan 0.1000 0.09437 0.6143 nan 0.1000 0.07558 0.5636 nan 0.1000 0.06459 0.5218 nan 0.1000 0.054710 0.4872 nan 0.1000 0.054820 0.3117 nan 0.1000 0.011340 0.1987 nan 0.1000 -0.001560 0.1448 nan 0.1000 0.000780 0.1129 nan 0.1000 0.0027100 0.0907 nan 0.1000 -0.0011Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.45092 1.1232 nan 0.1000 0.29173 0.9486 nan 0.1000 0.22354 0.8185 nan 0.1000 0.16665 0.7191 nan 0.1000 0.13146 0.6358 nan 0.1000 0.10667 0.5700 nan 0.1000 0.07988 0.5192 nan 0.1000 0.07039 0.4757 nan 0.1000 0.060410 0.4360 nan 0.1000 0.046220 0.2488 nan 0.1000 0.010640 0.1396 nan 0.1000 0.000960 0.0905 nan 0.1000 0.000380 0.0625 nan 0.1000 -0.0008100 0.0465 nan 0.1000 -0.0008Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.40302 1.1518 nan 0.1000 0.27133 0.9967 nan 0.1000 0.19394 0.8825 nan 0.1000 0.14395 0.7959 nan 0.1000 0.10986 0.7270 nan 0.1000 0.08867 0.6735 nan 0.1000 0.07358 0.6292 nan 0.1000 0.05819 0.5927 nan 0.1000 0.050210 0.5615 nan 0.1000 0.042320 0.3997 nan 0.1000 0.008040 0.2796 nan 0.1000 0.004460 0.2238 nan 0.1000 -0.001680 0.1865 nan 0.1000 -0.0001100 0.1581 nan 0.1000 -0.0017Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43422 1.1362 nan 0.1000 0.28253 0.9676 nan 0.1000 0.20674 0.8448 nan 0.1000 0.16025 0.7488 nan 0.1000 0.12946 0.6722 nan 0.1000 0.08937 0.6166 nan 0.1000 0.08098 0.5647 nan 0.1000 0.05979 0.5247 nan 0.1000 0.057610 0.4883 nan 0.1000 0.042220 0.3180 nan 0.1000 0.006440 0.2036 nan 0.1000 0.001960 0.1555 nan 0.1000 0.000280 0.1196 nan 0.1000 0.0002100 0.0957 nan 0.1000 -0.0005Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43712 1.1282 nan 0.1000 0.30183 0.9507 nan 0.1000 0.20514 0.8238 nan 0.1000 0.15935 0.7252 nan 0.1000 0.12986 0.6451 nan 0.1000 0.10807 0.5789 nan 0.1000 0.08728 0.5224 nan 0.1000 0.07749 0.4735 nan 0.1000 0.057610 0.4358 nan 0.1000 0.045620 0.2526 nan 0.1000 0.007240 0.1415 nan 0.1000 0.001860 0.0909 nan 0.1000 -0.000480 0.0630 nan 0.1000 -0.0011100 0.0454 nan 0.1000 -0.0013Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.39872 1.1512 nan 0.1000 0.27073 0.9951 nan 0.1000 0.19134 0.8823 nan 0.1000 0.13905 0.7970 nan 0.1000 0.10676 0.7332 nan 0.1000 0.09087 0.6764 nan 0.1000 0.07408 0.6316 nan 0.1000 0.05969 0.5948 nan 0.1000 0.041010 0.5683 nan 0.1000 0.036720 0.4100 nan 0.1000 0.011740 0.2910 nan 0.1000 0.000960 0.2319 nan 0.1000 0.001480 0.1919 nan 0.1000 0.0004100 0.1656 nan 0.1000 -0.0000Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42672 1.1356 nan 0.1000 0.27923 0.9699 nan 0.1000 0.20234 0.8475 nan 0.1000 0.14765 0.7552 nan 0.1000 0.11656 0.6841 nan 0.1000 0.09717 0.6224 nan 0.1000 0.07598 0.5742 nan 0.1000 0.06489 0.5313 nan 0.1000 0.053910 0.4962 nan 0.1000 0.042820 0.3250 nan 0.1000 0.012340 0.2088 nan 0.1000 0.003460 0.1507 nan 0.1000 0.001180 0.1204 nan 0.1000 0.0014100 0.0948 nan 0.1000 -0.0002Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44222 1.1288 nan 0.1000 0.28623 0.9553 nan 0.1000 0.21484 0.8265 nan 0.1000 0.16535 0.7222 nan 0.1000 0.13136 0.6414 nan 0.1000 0.10377 0.5770 nan 0.1000 0.08758 0.5217 nan 0.1000 0.06819 0.4774 nan 0.1000 0.057210 0.4406 nan 0.1000 0.045720 0.2594 nan 0.1000 0.015740 0.1421 nan 0.1000 0.001460 0.0921 nan 0.1000 -0.000980 0.0644 nan 0.1000 0.0002100 0.0461 nan 0.1000 0.0001Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41192 1.1510 nan 0.1000 0.26703 0.9954 nan 0.1000 0.19164 0.8821 nan 0.1000 0.13775 0.7976 nan 0.1000 0.10876 0.7312 nan 0.1000 0.08927 0.6754 nan 0.1000 0.07428 0.6307 nan 0.1000 0.05539 0.5949 nan 0.1000 0.046710 0.5654 nan 0.1000 0.038720 0.4039 nan 0.1000 0.013740 0.2810 nan 0.1000 0.003360 0.2190 nan 0.1000 0.001980 0.1830 nan 0.1000 -0.0004100 0.1558 nan 0.1000 -0.0012Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43482 1.1379 nan 0.1000 0.28913 0.9692 nan 0.1000 0.20304 0.8465 nan 0.1000 0.15735 0.7521 nan 0.1000 0.11916 0.6792 nan 0.1000 0.09847 0.6183 nan 0.1000 0.07848 0.5687 nan 0.1000 0.06609 0.5265 nan 0.1000 0.058310 0.4907 nan 0.1000 0.041320 0.3246 nan 0.1000 0.006140 0.2094 nan 0.1000 0.000960 0.1544 nan 0.1000 -0.000080 0.1202 nan 0.1000 -0.0012100 0.0961 nan 0.1000 -0.0020Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44832 1.1263 nan 0.1000 0.29343 0.9525 nan 0.1000 0.22144 0.8202 nan 0.1000 0.16605 0.7191 nan 0.1000 0.12886 0.6398 nan 0.1000 0.10527 0.5745 nan 0.1000 0.08568 0.5210 nan 0.1000 0.06939 0.4764 nan 0.1000 0.060310 0.4377 nan 0.1000 0.044520 0.2541 nan 0.1000 0.010140 0.1354 nan 0.1000 0.000160 0.0862 nan 0.1000 0.000580 0.0606 nan 0.1000 0.0012100 0.0433 nan 0.1000 -0.0015Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41222 1.1522 nan 0.1000 0.26843 0.9955 nan 0.1000 0.18554 0.8862 nan 0.1000 0.14465 0.7984 nan 0.1000 0.11116 0.7312 nan 0.1000 0.08957 0.6769 nan 0.1000 0.06578 0.6346 nan 0.1000 0.05579 0.5989 nan 0.1000 0.051110 0.5668 nan 0.1000 0.043420 0.3981 nan 0.1000 0.008440 0.2826 nan 0.1000 0.004060 0.2204 nan 0.1000 -0.001080 0.1822 nan 0.1000 -0.0004100 0.1573 nan 0.1000 -0.0011Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43442 1.1392 nan 0.1000 0.28313 0.9725 nan 0.1000 0.20684 0.8473 nan 0.1000 0.15955 0.7536 nan 0.1000 0.12446 0.6776 nan 0.1000 0.10137 0.6157 nan 0.1000 0.07958 0.5668 nan 0.1000 0.06079 0.5268 nan 0.1000 0.053410 0.4925 nan 0.1000 0.052320 0.3105 nan 0.1000 0.012140 0.2029 nan 0.1000 0.003960 0.1466 nan 0.1000 0.000180 0.1149 nan 0.1000 0.0005100 0.0928 nan 0.1000 -0.0007Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.46042 1.1261 nan 0.1000 0.29113 0.9521 nan 0.1000 0.21564 0.8243 nan 0.1000 0.15665 0.7290 nan 0.1000 0.12376 0.6521 nan 0.1000 0.11077 0.5837 nan 0.1000 0.08498 0.5290 nan 0.1000 0.07169 0.4837 nan 0.1000 0.068410 0.4394 nan 0.1000 0.049020 0.2450 nan 0.1000 0.006740 0.1381 nan 0.1000 0.000760 0.0867 nan 0.1000 -0.001880 0.0596 nan 0.1000 0.0005100 0.0436 nan 0.1000 -0.0020Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.40612 1.1491 nan 0.1000 0.27383 0.9930 nan 0.1000 0.19784 0.8792 nan 0.1000 0.14295 0.7938 nan 0.1000 0.11406 0.7258 nan 0.1000 0.08627 0.6732 nan 0.1000 0.06638 0.6312 nan 0.1000 0.05989 0.5928 nan 0.1000 0.052310 0.5595 nan 0.1000 0.041420 0.4005 nan 0.1000 0.017840 0.2768 nan 0.1000 0.002060 0.2183 nan 0.1000 -0.000180 0.1827 nan 0.1000 -0.0009100 0.1564 nan 0.1000 -0.0029Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42762 1.1368 nan 0.1000 0.29333 0.9677 nan 0.1000 0.20754 0.8438 nan 0.1000 0.15715 0.7482 nan 0.1000 0.12386 0.6727 nan 0.1000 0.10397 0.6102 nan 0.1000 0.08258 0.5603 nan 0.1000 0.06419 0.5190 nan 0.1000 0.054910 0.4842 nan 0.1000 0.040420 0.3110 nan 0.1000 0.010640 0.2009 nan 0.1000 0.001160 0.1531 nan 0.1000 -0.000780 0.1207 nan 0.1000 -0.0013100 0.0956 nan 0.1000 0.0021Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44672 1.1244 nan 0.1000 0.29883 0.9453 nan 0.1000 0.21514 0.8154 nan 0.1000 0.15175 0.7198 nan 0.1000 0.13006 0.6422 nan 0.1000 0.10557 0.5760 nan 0.1000 0.07808 0.5253 nan 0.1000 0.07229 0.4785 nan 0.1000 0.054510 0.4406 nan 0.1000 0.047820 0.2475 nan 0.1000 0.009440 0.1356 nan 0.1000 0.001260 0.0888 nan 0.1000 -0.000980 0.0620 nan 0.1000 0.0000100 0.0448 nan 0.1000 -0.0017Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.41662 1.1515 nan 0.1000 0.26483 0.9975 nan 0.1000 0.18924 0.8853 nan 0.1000 0.14365 0.7994 nan 0.1000 0.11336 0.7321 nan 0.1000 0.09037 0.6784 nan 0.1000 0.07038 0.6354 nan 0.1000 0.05839 0.5995 nan 0.1000 0.051210 0.5679 nan 0.1000 0.040820 0.4041 nan 0.1000 0.009240 0.2842 nan 0.1000 -0.000260 0.2235 nan 0.1000 -0.001580 0.1879 nan 0.1000 -0.0002100 0.1594 nan 0.1000 -0.0014Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.42322 1.1381 nan 0.1000 0.28033 0.9736 nan 0.1000 0.21204 0.8458 nan 0.1000 0.15605 0.7513 nan 0.1000 0.11906 0.6755 nan 0.1000 0.09917 0.6145 nan 0.1000 0.07508 0.5663 nan 0.1000 0.06579 0.5244 nan 0.1000 0.048410 0.4919 nan 0.1000 0.050420 0.3208 nan 0.1000 0.019540 0.2022 nan 0.1000 0.003860 0.1486 nan 0.1000 -0.000280 0.1180 nan 0.1000 -0.0001100 0.0955 nan 0.1000 -0.0009Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.44922 1.1239 nan 0.1000 0.29523 0.9485 nan 0.1000 0.21654 0.8208 nan 0.1000 0.15785 0.7236 nan 0.1000 0.12876 0.6445 nan 0.1000 0.09877 0.5823 nan 0.1000 0.08478 0.5287 nan 0.1000 0.08069 0.4789 nan 0.1000 0.054310 0.4434 nan 0.1000 0.049820 0.2586 nan 0.1000 0.016940 0.1439 nan 0.1000 0.002560 0.0915 nan 0.1000 0.000380 0.0641 nan 0.1000 -0.0010100 0.0464 nan 0.1000 -0.0012Iter TrainDeviance ValidDeviance StepSize Improve1 1.3863 nan 0.1000 0.43222 1.1259 nan 0.1000 0.29453 0.9524 nan 0.1000 0.21014 0.8245 nan 0.1000 0.16855 0.7252 nan 0.1000 0.12686 0.6462 nan 0.1000 0.10657 0.5806 nan 0.1000 0.08478 0.5266 nan 0.1000 0.07889 0.4765 nan 0.1000 0.057110 0.4390 nan 0.1000 0.060220 0.2500 nan 0.1000 0.013740 0.1304 nan 0.1000 0.001860 0.0851 nan 0.1000 0.000980 0.0570 nan 0.1000 -0.0006100 0.0409 nan 0.1000 -0.0007