Пометьте данные с помощью полуконтролируемого самометода обучения
fitsemiself создает полуконтролируемую самоучебную модель, данную маркированные данные, метки и непомеченные данные. Возвращенная модель содержит подходящие метки для непомеченных данных и соответствующих баллов. Эта модель может также предсказать метки для невидимых данных с помощью predict объектная функция. Для получения дополнительной информации об алгоритме маркировки см. Алгоритмы.
Mdl = fitsemiself(Tbl,ResponseVarName,UnlabeledTbl)Tbl, где Tbl.ResponseVarName содержит метки для маркированных данных и возвращает адаптированные метки для непомеченных данных в UnlabeledTbl. Функция хранит приспособленные метки и соответствующие баллы в FittedLabels и LabelScores свойства объекта Mdl, соответственно.
Mdl = fitsemiself(Tbl,formula,UnlabeledTbl)formula задавать переменную отклика (вектор из меток) и переменные предикторы, чтобы использовать среди переменных в Tbl. Функция использует эти переменные, чтобы пометить данные в UnlabeledTbl.
Mdl = fitsemiself(Tbl,Y,UnlabeledTbl)Tbl и метки в Y пометить данные в UnlabeledTbl.
Mdl = fitsemiself(X,Y,UnlabeledX)X и метки в Y пометить данные в UnlabeledX.
Mdl = fitsemiself(___,Name,Value)
Подгонка помечает к непомеченным данным при помощи полуконтролируемого самометода обучения.
Случайным образом сгенерируйте 60 наблюдений за маркированными данными с 20 наблюдениями в каждом из трех классов.
rng('default') % For reproducibility labeledX = [randn(20,2)*0.25 + ones(20,2); randn(20,2)*0.25 - ones(20,2); randn(20,2)*0.5]; Y = [ones(20,1); ones(20,1)*2; ones(20,1)*3];
Визуализируйте маркированные данные при помощи графика рассеивания. Наблюдения в том же классе имеют тот же цвет. Заметьте, что данные разделены в три кластера с очень небольшим количеством перекрытия.
scatter(labeledX(:,1),labeledX(:,2),[],Y,'filled') title('Labeled Data')
Случайным образом сгенерируйте 300 дополнительных наблюдений за непомеченными данными с 100 наблюдениями в классе. В целях валидации отслеживайте истинные метки для непомеченных данных.
unlabeledX = [randn(100,2)*0.25 + ones(100,2);
randn(100,2)*0.25 - ones(100,2);
randn(100,2)*0.5];
trueLabels = [ones(100,1); ones(100,1)*2; ones(100,1)*3];Подгонка помечает к непомеченным данным при помощи полуконтролируемого самометода обучения. Функциональный fitsemiself возвращает SemiSupervisedSelfTrainingModel возразите чей FittedLabels свойство содержит подходящие метки для непомеченных данных и чей LabelScores свойство содержит связанные оценки метки.
Mdl = fitsemiself(labeledX,Y,unlabeledX)
Mdl =
SemiSupervisedSelfTrainingModel with properties:
FittedLabels: [300x1 double]
LabelScores: [300x3 double]
ClassNames: [1 2 3]
ResponseName: 'Y'
CategoricalPredictors: []
Learner: [1x1 classreg.learning.classif.CompactClassificationECOC]
Properties, Methods
Визуализируйте подходящие результаты метки при помощи графика рассеивания. Используйте подходящие метки, чтобы выбрать цвет наблюдений и использовать максимальные баллы метки, чтобы установить прозрачность наблюдений. Наблюдения с меньшей прозрачностью помечены большим доверием. Заметьте, что наблюдения, которые лежат ближе кластерным контурам, помечены большей неопределенностью.
maxLabelScores = max(Mdl.LabelScores,[],2); rescaledScores = rescale(maxLabelScores,0.05,0.95); scatter(unlabeledX(:,1),unlabeledX(:,2),[],Mdl.FittedLabels,'filled', ... 'MarkerFaceAlpha','flat','AlphaData',rescaledScores); title('Fitted Labels for Unlabeled Data')
Определите точность маркировки при помощи истинных меток для непомеченных данных.
numWrongLabels = sum(trueLabels ~= Mdl.FittedLabels)
numWrongLabels = 8
Только 8 из этих 300 наблюдений в unlabeledX mislabeled.
Подгонка помечает к непомеченным данным при помощи полуконтролируемого самометода обучения. Укажите, что тип ученика раньше соответствовал меткам.
Загрузите carsmall набор данных. Составьте таблицу от переменных Acceleration, Displacement, и так далее. Для каждого наблюдения или строки в таблице, обрабатывают Cylinders значение как метка для того наблюдения.
load carsmall
Tbl = table(Acceleration,Displacement,Horsepower,Weight,Cylinders);Предположим, что только 20% наблюдений помечены. Воссоздать этот сценарий, случайным образом демонстрационные 20 помеченных наблюдений и сохранить их в таблице unlabeledTbl. Удалите метку из остальной части наблюдений и сохраните их в таблице unlabeledTbl. Чтобы проверить точность метки, соответствующей в конце примера, сохраните истинные метки для непомеченных данных в переменной trueLabels.
rng('default') % For reproducibility of the sampling [labeledTbl,Idx] = datasample(Tbl,20,'Replace',false); unlabeledTbl = Tbl; unlabeledTbl(Idx,:) = []; trueLabels = unlabeledTbl.Cylinders; unlabeledTbl.Cylinders = [];
Подгонка помечает к непомеченным данным при помощи полуконтролируемого самометода обучения. Используйте мультикласс модель SVM (ECOC), чтобы итеративно пометить непомеченные наблюдения. Задайте, чтобы стандартизировать числовые предикторы и использовать линейную функцию ядра для бинарных учеников SVM. Функциональный fitsemiself возвращает объект чей FittedLabels свойство содержит подходящие метки для непомеченных данных.
Mdl = fitsemiself(labeledTbl,'Cylinders',unlabeledTbl, ... 'Learner',templateECOC('Learner',templateSVM('Standardize',true, ... 'KernelFunction','linear'))); fittedLabels = Mdl.FittedLabels;
Идентифицируйте наблюдения, которые неправильно помечены путем сравнения сохраненных истинных меток для непомеченных данных к подходящим меткам, возвращенным полуконтролируемым самометодом обучения.
wrongIdx = (trueLabels ~= fittedLabels); wrongTbl = unlabeledTbl(wrongIdx,:);
Визуализируйте подходящие результаты метки для непомеченных данных. Наблюдения Mislabeled окружены в графике.
gscatter(unlabeledTbl.Displacement,unlabeledTbl.Weight, ... fittedLabels) hold on plot(wrongTbl.Displacement,wrongTbl.Weight, ... 'ko','MarkerSize',8) xlabel('Displacement') ylabel('Weight') legend('4 cylinders','6 cylinders','8 cylinders','Mislabeled') title('Fitted Labels for Unlabeled Data')
Алгоритм начинает по образованию заданный пользователями классификатор (Learner), сначала обученный на одних только маркированных данных, и затем использует тот классификатор, чтобы сделать предсказания метки для непомеченных данных. Затем алгоритм обеспечивает музыку к предсказаниям, и затем обрабатывает предсказания как истинные метки для следующего учебного цикла классификатора, если баллы выше порога (ScoreThreshold). Этот процесс повторения до предсказаний метки сходится или предел итерации (IterationLimit) достигнут.
[1] Эбни, Стивен. “Изучая Алгоритм Yarowsky”. Компьютерная лингвистика 30, № 3 (сентябрь 2004): 365–95. https://doi.org/10.1162/0891201041850876.
[2] Yarowsky, Дэвид. “Безнадзорное Разрешение неоднозначности Смысла слова, Конкурирующее с Контролируемыми Методами”. Продолжения 33-го Годового собрания Ассоциации для Компьютерной лингвистики, 189–96. Кембридж, Массачусетс: Ассоциация для Компьютерной лингвистики, 1995. https://doi.org/10.3115/981658.981684.
fitsemigraph | predict | SemiSupervisedSelfTrainingModel | templateDiscriminant | templateECOC | templateEnsemble | templateKernel | templateKNN | templateLinear | templateSVM | templateTree