В этом примере показано, как выполнить обвинение недостающих данных в рабочем процессе протокола результатов кредита с помощью алгоритма k - ближайших соседей (kNN).
kNN алгоритм является непараметрическим методом, используемым в классификации и регрессии. В обоих случаях вход состоит из k-closest учебных примеров в пространстве признаков. Выход зависит от того, используется ли kNN в классификации или регрессии. В kNN классификации объект классифицируется голосованием множества его соседей, и объект присвоен классу, наиболее распространенному среди его k - ближайших соседей. В kNN регрессии выход является средним значением значений k - ближайших соседей. Для получения дополнительной информации о kNN алгоритме смотрите fitcknn.
Для получения дополнительной информации об альтернативных подходах для "обработки" недостающих данных смотрите, Приписывают Моделированию Протокола результатов Отсутствующие значения.
Используйте dataMissing набор данных, чтобы приписать отсутствующие значения для CustAge (числовой) и ResStatus (категориальные) предикторы.
load CreditCardData.mat
disp(head(dataMissing)); CustID CustAge TmAtAddress ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance UtilRate status
______ _______ ___________ ___________ _________ __________ _______ _______ _________ ________ ______
1 53 62 <undefined> Unknown 50000 55 Yes 1055.9 0.22 0
2 61 22 Home Owner Employed 52000 25 Yes 1161.6 0.24 0
3 47 30 Tenant Employed 37000 61 No 877.23 0.29 0
4 NaN 75 Home Owner Employed 53000 20 Yes 157.37 0.08 0
5 68 56 Home Owner Employed 53000 14 Yes 561.84 0.11 0
6 65 13 Home Owner Employed 48000 59 Yes 968.18 0.15 0
7 34 32 Home Owner Unknown 32000 26 Yes 717.82 0.02 1
8 50 57 Other Employed 51000 33 No 3041.2 0.13 0
В этом примере, 'CustID' и 'status' столбцы удалены в процессе обвинения, когда те - id и response значения соответственно. В качестве альтернативы можно принять решение оставить 'status' столбец в.
dataToImpute = dataMissing(:,setdiff(dataMissing.Properties.VariableNames,... {'CustID','status'},'stable'));
Создайте фиктивные переменные для всех категориальных предикторов так, чтобы kNN алгоритм мог вычислить Евклидовы расстояния.
dResStatus = dummyvar(dataToImpute.ResStatus); dEmpStatus = dummyvar(dataToImpute.EmpStatus); dOtherCC = dummyvar(dataToImpute.OtherCC);
'k' в kNN алгоритме основан на подобии функции. Выбор правильного значения 'k' названная настройка параметра процесса, которая важна для большей точности. Нет никакого физического способа определить "лучшее" значение для 'k', таким образом, необходимо попробовать несколько значений прежде, чем обосноваться на одном. Маленькие значения 'k' может быть шумным и подвергнуть эффектам выбросов. Большие значения 'k' имейте более сглаженные контуры решения, которые означают более низкое отклонение, но увеличенное смещение.
В целях этого примера выберите 'k' как квадратный корень из количества выборок в наборе данных. Это - общепринятое значение для 'k'. Выберите значение 'k' это является нечетным для того, чтобы повредить связь между двумя классами данных.
numObs = height(dataToImpute); k = round(sqrt(numObs)); if ~mod(k,2) k = k+1; end
Получите отсутствующие значения от CustAge и ResStatus предикторы.
missingResStatus = ismissing(dataToImpute.ResStatus); missingCustAge = ismissing(dataToImpute.CustAge);
Затем выполните эти шаги:
custAgeToImpute = dataToImpute; custAgeToImpute.HomeOwner = dResStatus(:,1); custAgeToImpute.Tenant = dResStatus(:,2); custAgeToImpute.Employed = dEmpStatus(:,1); custAgeToImpute.HasOtherCC = dOtherCC(:,2); custAgeToImpute = removevars(custAgeToImpute, 'ResStatus'); custAgeToImpute = removevars(custAgeToImpute, 'EmpStatus'); custAgeToImpute = removevars(custAgeToImpute, 'OtherCC'); knnCustAge = fitcknn(custAgeToImpute, 'CustAge', 'NumNeighbors', k, 'Standardize',true); imputedCustAge = predict(knnCustAge,custAgeToImpute(missingCustAge,:)); resStatusToImpute = dataToImpute; resStatusToImpute.Employed = dEmpStatus(:,1); resStatusToImpute.HasOtherCC = dOtherCC(:,2); resStatusToImpute = removevars(resStatusToImpute, 'EmpStatus'); resStatusToImpute = removevars(resStatusToImpute, 'OtherCC'); knnResStatus = fitcknn(resStatusToImpute, 'ResStatus', 'NumNeighbors', k, 'Standardize', true); imputedResStatus = predict(knnResStatus,resStatusToImpute(missingResStatus,:));
Создайте новый набор данных с оценочными данными.
knnImputedData = dataMissing; knnImputedData.CustAge(missingCustAge) = imputedCustAge; knnImputedData.ResStatus(missingResStatus) = imputedResStatus; disp(knnImputedData(5:10,:));
CustID CustAge TmAtAddress ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance UtilRate status
______ _______ ___________ __________ _________ __________ _______ _______ _________ ________ ______
5 68 56 Home Owner Employed 53000 14 Yes 561.84 0.11 0
6 65 13 Home Owner Employed 48000 59 Yes 968.18 0.15 0
7 34 32 Home Owner Unknown 32000 26 Yes 717.82 0.02 1
8 50 57 Other Employed 51000 33 No 3041.2 0.13 0
9 50 10 Tenant Unknown 52000 25 Yes 115.56 0.02 1
10 49 30 Home Owner Unknown 53000 23 Yes 718.5 0.17 1
disp(knnImputedData(find(missingCustAge,5),:));
CustID CustAge TmAtAddress ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance UtilRate status
______ _______ ___________ __________ _________ __________ _______ _______ _________ ________ ______
4 52 75 Home Owner Employed 53000 20 Yes 157.37 0.08 0
19 55 14 Home Owner Employed 51000 11 Yes 519.46 0.42 1
138 41 31 Other Employed 41000 2 Yes 1101.8 0.32 0
165 37 21 Home Owner Unknown 38000 70 No 1217 0.2 0
207 48 38 Home Owner Employed 48000 12 No 573.9 0.1 0
disp(knnImputedData(find(missingResStatus,5),:));
CustID CustAge TmAtAddress ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance UtilRate status
______ _______ ___________ __________ _________ __________ _______ _______ _________ ________ ______
1 53 62 Tenant Unknown 50000 55 Yes 1055.9 0.22 0
22 51 13 Tenant Employed 35000 33 Yes 468.85 0.01 0
33 46 8 Home Owner Unknown 32000 26 Yes 940.78 0.3 0
47 52 56 Tenant Employed 56000 79 Yes 294.46 0.12 0
103 64 49 Tenant Employed 50000 35 Yes 118.43 0 0
Постройте гистограмму значений предиктора до и после обвинения.
Predictor ="CustAge"; f1 = фигура; ax1 = оси (f1); гистограмма (ax1, knnImputedData. (Предиктор),'FaceColor','red','FaceAlpha',1); содержание on гистограмма (ax1, dataMissing. (Предиктор),'FaceColor','blue','FaceAlpha',1); легенда (strcat ("Imputed ", Предиктор), strcat ("Observed ", Предиктор)); заголовок (strcat ("Histogram of ", Предиктор));
Используйте оценочные данные, чтобы создать creditscorecard объект, и затем использует autobinning, fitmodel, и formatpoints создать модель протокола результатов кредита.
sc = creditscorecard(knnImputedData,'IDVar','CustID'); sc = autobinning(sc); [sc,mdl] = fitmodel(sc,'display','off'); sc = formatpoints(sc,'PointsOddsAndPDO',[500 2 50]); PointsInfo = displaypoints(sc); disp(PointsInfo);
Predictors Bin Points
______________ _____________________ ______
{'CustAge' } {'[-Inf,33)' } 52.425
{'CustAge' } {'[33,37)' } 56.637
{'CustAge' } {'[37,40)' } 57.392
{'CustAge' } {'[40,45)' } 66.957
{'CustAge' } {'[45,48)' } 80.031
{'CustAge' } {'[48,58)' } 80.54
{'CustAge' } {'[58,Inf]' } 97.928
{'CustAge' } {'<missing>' } NaN
{'ResStatus' } {'Tenant' } 63.009
{'ResStatus' } {'Home Owner' } 72.35
{'ResStatus' } {'Other' } 92.439
{'ResStatus' } {'<missing>' } NaN
{'EmpStatus' } {'Unknown' } 58.91
{'EmpStatus' } {'Employed' } 86.808
{'EmpStatus' } {'<missing>' } NaN
{'CustIncome'} {'[-Inf,29000)' } 30.822
{'CustIncome'} {'[29000,33000)' } 56.555
{'CustIncome'} {'[33000,35000)' } 68.016
{'CustIncome'} {'[35000,40000)' } 70.153
{'CustIncome'} {'[40000,42000)' } 70.943
{'CustIncome'} {'[42000,47000)' } 82.062
{'CustIncome'} {'[47000,Inf]' } 96.092
{'CustIncome'} {'<missing>' } NaN
{'TmWBank' } {'[-Inf,12)' } 50.924
{'TmWBank' } {'[12,23)' } 60.953
{'TmWBank' } {'[23,45)' } 61.759
{'TmWBank' } {'[45,71)' } 93.05
{'TmWBank' } {'[71,Inf]' } 133.51
{'TmWBank' } {'<missing>' } NaN
{'OtherCC' } {'No' } 50.656
{'OtherCC' } {'Yes' } 75.67
{'OtherCC' } {'<missing>' } NaN
{'AMBalance' } {'[-Inf,558.88)' } 89.682
{'AMBalance' } {'[558.88,1254.28)' } 63.136
{'AMBalance' } {'[1254.28,1597.44)'} 59.779
{'AMBalance' } {'[1597.44,Inf]' } 49.286
{'AMBalance' } {'<missing>' } NaN
Создайте набор данных 'new customers' и затем вычислите баллы и вероятности значения по умолчанию.
dataNewCustomers = dataMissing(1:20,1:end-1); disp(head(dataNewCustomers));
CustID CustAge TmAtAddress ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance UtilRate
______ _______ ___________ ___________ _________ __________ _______ _______ _________ ________
1 53 62 <undefined> Unknown 50000 55 Yes 1055.9 0.22
2 61 22 Home Owner Employed 52000 25 Yes 1161.6 0.24
3 47 30 Tenant Employed 37000 61 No 877.23 0.29
4 NaN 75 Home Owner Employed 53000 20 Yes 157.37 0.08
5 68 56 Home Owner Employed 53000 14 Yes 561.84 0.11
6 65 13 Home Owner Employed 48000 59 Yes 968.18 0.15
7 34 32 Home Owner Unknown 32000 26 Yes 717.82 0.02
8 50 57 Other Employed 51000 33 No 3041.2 0.13
Выполните ту же предварительную обработку на 'new customers' данные как на обучающих данных.
dResStatusNewCustomers = dummyvar(dataNewCustomers.ResStatus); dEmpStatusNewCustomers = dummyvar(dataNewCustomers.EmpStatus); dOtherCCNewCustomers = dummyvar(dataNewCustomers.OtherCC); dataNewCustomersCopy = dataNewCustomers; dataNewCustomersCopy.HomeOwner = dResStatusNewCustomers(:,1); dataNewCustomersCopy.Tenant = dResStatusNewCustomers(:,2); dataNewCustomersCopy.Employed = dEmpStatusNewCustomers(:,1); dataNewCustomersCopy.HasOtherCC = dOtherCCNewCustomers(:,2); dataNewCustomersCopy = removevars(dataNewCustomersCopy, 'ResStatus'); dataNewCustomersCopy = removevars(dataNewCustomersCopy, 'EmpStatus'); dataNewCustomersCopy = removevars(dataNewCustomersCopy, 'OtherCC');
Предскажите недостающие данные в наборе данных выигрыша с той же моделью обвинения как прежде.
missingCustAgeNewCustomers = isnan(dataNewCustomers.CustAge); missingResStatusNewCustomers = ismissing(dataNewCustomers.ResStatus); imputedCustAgeNewCustomers = round(predict(knnCustAge, dataNewCustomersCopy(missingCustAgeNewCustomers,:))); imputedResStatusNewCustomers = predict(knnResStatus, dataNewCustomersCopy(missingResStatusNewCustomers,:)); dataNewCustomers.CustAge(missingCustAgeNewCustomers) = imputedCustAgeNewCustomers; dataNewCustomers.ResStatus(missingResStatusNewCustomers) = imputedResStatusNewCustomers;
Используйте score вычислить множество новых клиентов.
[scores, points] = score(sc, dataNewCustomers); disp(scores);
530.4076 553.7430 506.8439 562.0948 552.9379 585.0343 445.0174 517.5798 525.6620 508.4568 497.5853 540.2558 516.5434 491.3461 567.6451 486.5128 475.7897 468.7094 552.0658 510.3532
disp(points);
CustAge ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance
_______ _________ _________ __________ _______ _______ _________
80.54 63.009 58.91 96.092 93.05 75.67 63.136
97.928 72.35 86.808 96.092 61.759 75.67 63.136
80.031 63.009 86.808 70.153 93.05 50.656 63.136
80.54 72.35 86.808 96.092 60.953 75.67 89.682
97.928 72.35 86.808 96.092 60.953 75.67 63.136
97.928 72.35 86.808 96.092 93.05 75.67 63.136
56.637 72.35 58.91 56.555 61.759 75.67 63.136
80.54 92.439 86.808 96.092 61.759 50.656 49.286
80.54 63.009 58.91 96.092 61.759 75.67 89.682
80.54 72.35 58.91 96.092 61.759 75.67 63.136
80.54 63.009 58.91 68.016 61.759 75.67 89.682
80.54 92.439 58.91 82.062 60.953 75.67 89.682
97.928 72.35 58.91 96.092 50.924 50.656 89.682
66.957 92.439 58.91 70.943 61.759 50.656 89.682
80.031 92.439 86.808 82.062 60.953 75.67 89.682
56.637 72.35 86.808 70.153 61.759 75.67 63.136
57.392 63.009 86.808 68.016 61.759 75.67 63.136
52.425 72.35 86.808 30.822 60.953 75.67 89.682
80.54 72.35 86.808 96.092 50.924 75.67 89.682
80.54 92.439 58.91 82.062 60.953 75.67 59.779