fsrnca

Выбор признаков с помощью анализа компонента окрестности для регрессии

Свернуть все на странице

Синтаксис

mdl = fsrnca(X,Y)

mdl = fsrnca(X,Y,Name,Value)

Описание

пример

mdl = fsrnca(X,Y) выполняет выбор признаков для регрессии, используя предикторы в X и ответы в Y.

fsrnca изучает веса функции путем диагональной адаптации анализа соседних компонентов (NCA) с регуляризацией.

пример

mdl = fsrnca(X,Y,Name,Value) выполняет выбор признаков для регрессии с дополнительными опциями, заданными одним или несколькими аргументами пары "имя-значение".

Примеры

свернуть все

Обнаружение соответствующих функций в данных с использованием NCA для регрессии

Открыть Live Script

Сгенерируйте данные игрушки, где переменная отклика зависит от 3-го, 9-го и 15-го предикторов.

rng(0,'twister'); % For reproducibility
N = 100;
X = rand(N,20);
y = 1 + X(:,3)*5 + sin(X(:,9)./X(:,15) + 0.25*randn(N,1));

Подбор модели анализа компонентов окрестностей для регрессии.

mdl = fsrnca(X,y,'Verbose',1,'Lambda',0.5/N);

 o Solver = LBFGS, HessianHistorySize = 15, LineSearchMethod = weakwolfe

|====================================================================================================|
|   ITER   |   FUN VALUE   |  NORM GRAD  |  NORM STEP  |  CURV  |    GAMMA    |    ALPHA    | ACCEPT |
|====================================================================================================|
|        0 |  1.636932e+00 |   3.688e-01 |   0.000e+00 |        |   1.627e+00 |   0.000e+00 |   YES  |
|        1 |  8.304833e-01 |   1.083e-01 |   2.449e+00 |    OK  |   9.194e+00 |   4.000e+00 |   YES  |
|        2 |  7.548105e-01 |   1.341e-02 |   1.164e+00 |    OK  |   1.095e+01 |   1.000e+00 |   YES  |
|        3 |  7.346997e-01 |   9.752e-03 |   6.383e-01 |    OK  |   2.979e+01 |   1.000e+00 |   YES  |
|        4 |  7.053407e-01 |   1.605e-02 |   1.712e+00 |    OK  |   5.809e+01 |   1.000e+00 |   YES  |
|        5 |  6.970502e-01 |   9.106e-03 |   8.818e-01 |    OK  |   6.223e+01 |   1.000e+00 |   YES  |
|        6 |  6.952347e-01 |   5.522e-03 |   6.382e-01 |    OK  |   3.280e+01 |   1.000e+00 |   YES  |
|        7 |  6.946302e-01 |   9.102e-04 |   1.952e-01 |    OK  |   3.380e+01 |   1.000e+00 |   YES  |
|        8 |  6.945037e-01 |   6.557e-04 |   9.942e-02 |    OK  |   8.490e+01 |   1.000e+00 |   YES  |
|        9 |  6.943908e-01 |   1.997e-04 |   1.756e-01 |    OK  |   1.124e+02 |   1.000e+00 |   YES  |
|       10 |  6.943785e-01 |   3.478e-04 |   7.755e-02 |    OK  |   7.621e+01 |   1.000e+00 |   YES  |
|       11 |  6.943728e-01 |   1.428e-04 |   3.416e-02 |    OK  |   3.649e+01 |   1.000e+00 |   YES  |
|       12 |  6.943711e-01 |   1.128e-04 |   1.231e-02 |    OK  |   6.092e+01 |   1.000e+00 |   YES  |
|       13 |  6.943688e-01 |   1.066e-04 |   2.326e-02 |    OK  |   9.319e+01 |   1.000e+00 |   YES  |
|       14 |  6.943655e-01 |   9.324e-05 |   4.399e-02 |    OK  |   1.810e+02 |   1.000e+00 |   YES  |
|       15 |  6.943603e-01 |   1.206e-04 |   8.823e-02 |    OK  |   4.609e+02 |   1.000e+00 |   YES  |
|       16 |  6.943582e-01 |   1.701e-04 |   6.669e-02 |    OK  |   8.425e+01 |   5.000e-01 |   YES  |
|       17 |  6.943552e-01 |   5.160e-05 |   6.473e-02 |    OK  |   8.832e+01 |   1.000e+00 |   YES  |
|       18 |  6.943546e-01 |   2.477e-05 |   1.215e-02 |    OK  |   7.925e+01 |   1.000e+00 |   YES  |
|       19 |  6.943546e-01 |   1.077e-05 |   6.086e-03 |    OK  |   1.378e+02 |   1.000e+00 |   YES  |

|====================================================================================================|
|   ITER   |   FUN VALUE   |  NORM GRAD  |  NORM STEP  |  CURV  |    GAMMA    |    ALPHA    | ACCEPT |
|====================================================================================================|
|       20 |  6.943545e-01 |   2.260e-05 |   4.071e-03 |    OK  |   5.856e+01 |   1.000e+00 |   YES  |
|       21 |  6.943545e-01 |   4.250e-06 |   1.109e-03 |    OK  |   2.964e+01 |   1.000e+00 |   YES  |
|       22 |  6.943545e-01 |   1.916e-06 |   8.356e-04 |    OK  |   8.649e+01 |   1.000e+00 |   YES  |
|       23 |  6.943545e-01 |   1.083e-06 |   5.270e-04 |    OK  |   1.168e+02 |   1.000e+00 |   YES  |
|       24 |  6.943545e-01 |   1.791e-06 |   2.673e-04 |    OK  |   4.016e+01 |   1.000e+00 |   YES  |
|       25 |  6.943545e-01 |   2.596e-07 |   1.111e-04 |    OK  |   3.154e+01 |   1.000e+00 |   YES  |

         Infinity norm of the final gradient = 2.596e-07
              Two norm of the final step     = 1.111e-04, TolX   = 1.000e-06
Relative infinity norm of the final gradient = 2.596e-07, TolFun = 1.000e-06
EXIT: Local minimum found.

Постройте график выбранных функций. Веса нерелевантных функций должны быть близки к нулю.

figure()
plot(mdl.FeatureWeights,'ro')
grid on
xlabel('Feature index')
ylabel('Feature weight')

Figure contains an axes. The axes contains an object of type line.

fsrnca правильно обнаруживает соответствующие предикторы для этого отклика.

Настройка параметра регуляризации в NCA для регрессии

Открыть Live Script

Загрузите выборочные данные.

load robotarm.mat

The robotarm (pumadyn32nm) создается с помощью симулятора руки робота с 7168 обучающими наблюдениями и 1024 тестовыми наблюдениями с 32 признаками [1] [2]. Это предварительно обработанная версия исходного набора данных. Данные предварительно обрабатываются путем вычитания линейной регрессионной подгонки с последующей нормализацией всех функций к единичному отклонению.

Выполните выбор признаков анализа соседских компонентов (NCA) для регрессии с параметром по умолчанию $λ$ (параметр регуляризации) значение.

nca = fsrnca(Xtrain,ytrain,'FitMethod','exact', ...
    'Solver','lbfgs');

Постройте график выбранных значений.

figure
plot(nca.FeatureWeights,'ro')
xlabel('Feature index')
ylabel('Feature weight')
grid on

Figure contains an axes. The axes contains an object of type line.

Больше половины весов функций ненулевые. Вычислите потери, используя тестовый набор как меру эффективности при помощи выбранных функций.

L = loss(nca,Xtest,ytest)

L = 0.0837

Попробуйте улучшить эффективность. Настройте параметр регуляризации $λ$ для выбора признаков с помощью пятикратной перекрестной проверки. Настройка $λ$ означает нахождение $λ$ значение, которое производит минимальные регрессионные потери. Настроиться $λ$ использование перекрестной валидации:

1. Разделите данные на пять складок. Для каждой складки cvpartition Присвоения 4/5-ю часть данных как набор обучающих данных и 1/5-ю часть данных как тестовый набор.

rng(1) % For reproducibility 
n = length(ytrain);
cvp = cvpartition(length(ytrain),'kfold',5);
numvalidsets = cvp.NumTestSets;

Назначьте $λ$ значения для поиска. Умножение значений отклика на константу увеличивает срок функции потерь на множитель константы. Поэтому, включая std(ytrain) коэффициент в $λ$ значения балансируют функцию потерь по умолчанию ('mad', среднее абсолютное отклонение) термин и термин регуляризации в целевой функции. В этом примере std(ytrain) коэффициент равен единице, поскольку загруженные выборочные данные являются предварительно обработанной версией исходного набора данных.

lambdavals = linspace(0,50,20)*std(ytrain)/n;

Создайте массив для хранения значений потерь.

lossvals = zeros(length(lambdavals),numvalidsets);

2. Обучите модель NCA для каждой $λ$ значение, используя набор обучающих данных в каждой складке.

3. Вычислите регрессионные потери для соответствующего тестового набора в складке с помощью модели NCA. Запишите значение потерь.

4. Повторите это для каждого $λ$ значение и каждый сгиб.

for i = 1:length(lambdavals)
    for k = 1:numvalidsets
        X = Xtrain(cvp.training(k),:);
        y = ytrain(cvp.training(k),:);
        Xvalid = Xtrain(cvp.test(k),:);
        yvalid = ytrain(cvp.test(k),:);

        nca = fsrnca(X,y,'FitMethod','exact', ...
             'Solver','minibatch-lbfgs','Lambda',lambdavals(i), ...
             'GradientTolerance',1e-4,'IterationLimit',30);
        
        lossvals(i,k) = loss(nca,Xvalid,yvalid,'LossFunction','mse');
    end
end

Вычислите средние потери, полученные из складок для каждого $λ$ значение.

meanloss = mean(lossvals,2);

Постройте график средних потерь по сравнению с $λ$ значения.

figure
plot(lambdavals,meanloss,'ro-')
xlabel('Lambda')
ylabel('Loss (MSE)')
grid on

Figure contains an axes. The axes contains an object of type line.

Найти $λ$ значение, которое задает минимальное значение потерь.

[~,idx] = min(meanloss)

idx = 17

bestlambda = lambdavals(idx)

bestlambda = 0.0059

bestloss = meanloss(idx)

bestloss = 0.0590

Подгонка модели выбора признаков NCA для регрессии с использованием лучшей $λ$ значение.

nca = fsrnca(Xtrain,ytrain,'FitMethod','exact', ...
    'Solver','lbfgs','Lambda',bestlambda);

Постройте график выбранных функций.

figure
plot(nca.FeatureWeights,'ro')
xlabel('Feature Index')
ylabel('Feature Weight')
grid on

Figure contains an axes. The axes contains an object of type line.

Большинство весов функций равны нулю. fsrnca определяет четыре наиболее релевантные функции.

Вычислите потери для тестового набора.

L = loss(nca,Xtest,ytest)

L = 0.0571

Настройка параметра регуляризации, $λ$ , исключил больше нерелевантные функции и улучшил эффективность.

Сравнение выбора признаков NCA и ARD

Открыть Live Script

В этом примере используются данные Abalone, [3][4] из репозитория машинного обучения UCI [5]. Загрузите данные и сохраните их в текущей папке с именем 'abalone.data'.

Сохраните данные в таблице. Отобразите первые семь строк.

tbl = readtable('abalone.data','Filetype','text','ReadVariableNames',false);
tbl.Properties.VariableNames = {'Sex','Length','Diameter','Height', ...
    'WWeight','SWeight','VWeight','ShWeight','NoShellRings'};
tbl(1:7,:)

ans=7×9 table
     Sex     Length    Diameter    Height    WWeight    SWeight    VWeight    ShWeight    NoShellRings
    _____    ______    ________    ______    _______    _______    _______    ________    ____________

    {'M'}    0.455      0.365      0.095      0.514     0.2245      0.101       0.15           15     
    {'M'}     0.35      0.265       0.09     0.2255     0.0995     0.0485       0.07            7     
    {'F'}     0.53       0.42      0.135      0.677     0.2565     0.1415       0.21            9     
    {'M'}     0.44      0.365      0.125      0.516     0.2155      0.114      0.155           10     
    {'I'}     0.33      0.255       0.08      0.205     0.0895     0.0395      0.055            7     
    {'I'}    0.425        0.3      0.095     0.3515      0.141     0.0775       0.12            8     
    {'F'}     0.53      0.415       0.15     0.7775      0.237     0.1415       0.33           20

Набор данных имеет 4177 наблюдений. Цель состоит в том, чтобы предсказать возраст абалоны из восьми физических измерений. Последняя переменная, количество интерпретатора звонков, показывает возраст абалоны. Первый предиктор является категориальной переменной. Последней переменной в таблице является переменная отклика.

Подготовьте предиктор и переменные отклика для fsrnca. Последний столбец tbl содержит количество интерпретатора звонков, которое является переменной отклика. Первая переменная предиктора, пол, категориальна. Вы должны создать фиктивные переменные.

y = table2array(tbl(:,end));
X(:,1:3) = dummyvar(categorical(tbl.Sex));
X = [X,table2array(tbl(:,2:end-1))];

Используйте четырехкратную перекрестную валидацию, чтобы настроить параметр регуляризации в модели NCA. Сначала разбейте данные на четыре складки.

rng('default') % For reproducibility
n = length(y);
cvp = cvpartition(n,'kfold',4);
numtestsets = cvp.NumTestSets;

cvpartition разделяет данные на четыре раздела (складки). В каждой складке около трех четвертей данных присваивается как набор обучающих данных, а одна четвертая - как тестовый набор.

Сгенерируйте разнообразие $λ$ (параметр регуляризации) значения для подбора кривой модели для определения наилучших $λ$ значение. Создайте вектор, чтобы собрать значения потерь из каждой подгонки.

lambdavals = linspace(0,25,20)*std(y)/n;
lossvals = zeros(length(lambdavals),numtestsets);

Строки lossvals соответствует $λ$ значения и столбцы соответствуют складкам.

Подгонка модели NCA для регрессии с помощью fsrnca к данным из каждой складки с помощью каждой $λ$ значение. Вычислите потери для каждой модели, используя тестовые данные из каждой складки.

for i = 1:length(lambdavals)
   for k = 1:numtestsets
       Xtrain = X(cvp.training(k),:);
       ytrain = y(cvp.training(k),:);
       Xtest = X(cvp.test(k),:);
       ytest = y(cvp.test(k),:);

       nca = fsrnca(Xtrain,ytrain,'FitMethod','exact', ...
				 'Solver','lbfgs','Lambda',lambdavals(i),'Standardize',true);

       lossvals(i,k) = loss(nca,Xtest,ytest,'LossFunction','mse');
    end
end

Вычислите средние потери для складок, то есть вычислите среднее значение во втором измерении lossvals.

meanloss = mean(lossvals,2);

Постройте график $λ$ значения от средней потери от четырех складок.

figure
plot(lambdavals,meanloss,'ro-')
xlabel('Lambda')
ylabel('Loss (MSE)')
grid on

Найти $λ$ значение, которое минимизирует средние потери.

[~,idx] = min(meanloss);
bestlambda = lambdavals(idx)

bestlambda = 0.0071

Вычислите лучшее значение потерь.

bestloss = meanloss(idx)

bestloss = 4.7799

Подгонка модели NCA на все данные с помощью лучших $λ$ значение.

nca = fsrnca(X,y,'FitMethod','exact','Solver','lbfgs', ...
    'Verbose',1,'Lambda',bestlambda,'Standardize',true);

 o Solver = LBFGS, HessianHistorySize = 15, LineSearchMethod = weakwolfe

|====================================================================================================|
|   ITER   |   FUN VALUE   |  NORM GRAD  |  NORM STEP  |  CURV  |    GAMMA    |    ALPHA    | ACCEPT |
|====================================================================================================|
|        0 |  2.469168e+00 |   1.266e-01 |   0.000e+00 |        |   4.741e+00 |   0.000e+00 |   YES  |
|        1 |  2.375166e+00 |   8.265e-02 |   7.268e-01 |    OK  |   1.054e+01 |   1.000e+00 |   YES  |
|        2 |  2.293528e+00 |   2.067e-02 |   2.034e+00 |    OK  |   1.569e+01 |   1.000e+00 |   YES  |
|        3 |  2.286703e+00 |   1.031e-02 |   3.158e-01 |    OK  |   2.213e+01 |   1.000e+00 |   YES  |
|        4 |  2.279928e+00 |   2.023e-02 |   9.374e-01 |    OK  |   1.953e+01 |   1.000e+00 |   YES  |
|        5 |  2.276258e+00 |   6.884e-03 |   2.497e-01 |    OK  |   1.439e+01 |   1.000e+00 |   YES  |
|        6 |  2.274358e+00 |   1.792e-03 |   4.010e-01 |    OK  |   3.109e+01 |   1.000e+00 |   YES  |
|        7 |  2.274105e+00 |   2.412e-03 |   2.399e-01 |    OK  |   3.557e+01 |   1.000e+00 |   YES  |
|        8 |  2.274073e+00 |   1.459e-03 |   7.684e-02 |    OK  |   1.356e+01 |   1.000e+00 |   YES  |
|        9 |  2.274050e+00 |   3.733e-04 |   3.797e-02 |    OK  |   1.725e+01 |   1.000e+00 |   YES  |
|       10 |  2.274043e+00 |   2.750e-04 |   1.379e-02 |    OK  |   2.445e+01 |   1.000e+00 |   YES  |
|       11 |  2.274027e+00 |   2.682e-04 |   5.701e-02 |    OK  |   7.386e+01 |   1.000e+00 |   YES  |
|       12 |  2.274020e+00 |   1.712e-04 |   4.107e-02 |    OK  |   9.461e+01 |   1.000e+00 |   YES  |
|       13 |  2.274014e+00 |   2.633e-04 |   6.720e-02 |    OK  |   7.469e+01 |   1.000e+00 |   YES  |
|       14 |  2.274012e+00 |   9.818e-05 |   2.263e-02 |    OK  |   3.275e+01 |   1.000e+00 |   YES  |
|       15 |  2.274012e+00 |   4.220e-05 |   6.188e-03 |    OK  |   2.799e+01 |   1.000e+00 |   YES  |
|       16 |  2.274012e+00 |   2.859e-05 |   4.979e-03 |    OK  |   6.628e+01 |   1.000e+00 |   YES  |
|       17 |  2.274011e+00 |   1.582e-05 |   6.767e-03 |    OK  |   1.439e+02 |   1.000e+00 |   YES  |
|       18 |  2.274011e+00 |   7.623e-06 |   4.311e-03 |    OK  |   1.211e+02 |   1.000e+00 |   YES  |
|       19 |  2.274011e+00 |   3.038e-06 |   2.528e-04 |    OK  |   1.798e+01 |   5.000e-01 |   YES  |

|====================================================================================================|
|   ITER   |   FUN VALUE   |  NORM GRAD  |  NORM STEP  |  CURV  |    GAMMA    |    ALPHA    | ACCEPT |
|====================================================================================================|
|       20 |  2.274011e+00 |   6.710e-07 |   2.325e-04 |    OK  |   2.721e+01 |   1.000e+00 |   YES  |

         Infinity norm of the final gradient = 6.710e-07
              Two norm of the final step     = 2.325e-04, TolX   = 1.000e-06
Relative infinity norm of the final gradient = 6.710e-07, TolFun = 1.000e-06
EXIT: Local minimum found.

Постройте график выбранных функций.

figure
plot(nca.FeatureWeights,'ro')
xlabel('Feature Index')
ylabel('Feature Weight')
grid on

Нерелевантные функции имеют нулевые веса. Согласно этому рисунку, функциям 1, 3 и 9 не выбраны.

Подгонка модели регрессии Гауссова процесса (GPR) с помощью подмножества метода регрессоров для оценки параметра и полностью независимого условного метода для предсказания. Используйте квадратную функцию экспоненциального ядра ARD, которая присваивает индивидуальный вес каждому предиктору. Стандартизируйте предикторы.

gprMdl = fitrgp(tbl,'NoShellRings','KernelFunction','ardsquaredexponential', ...
      'FitMethod','sr','PredictMethod','fic','Standardize',true)

gprMdl = 
  RegressionGP
           PredictorNames: {'Sex'  'Length'  'Diameter'  'Height'  'WWeight'  'SWeight'  'VWeight'  'ShWeight'}
             ResponseName: 'NoShellRings'
    CategoricalPredictors: 1
        ResponseTransform: 'none'
          NumObservations: 4177
           KernelFunction: 'ARDSquaredExponential'
        KernelInformation: [1×1 struct]
            BasisFunction: 'Constant'
                     Beta: 11.4959
                    Sigma: 2.0282
        PredictorLocation: [10×1 double]
           PredictorScale: [10×1 double]
                    Alpha: [1000×1 double]
         ActiveSetVectors: [1000×10 double]
            PredictMethod: 'FIC'
            ActiveSetSize: 1000
                FitMethod: 'SR'
          ActiveSetMethod: 'Random'
        IsActiveSetVector: [4177×1 logical]
            LogLikelihood: -9.0019e+03
         ActiveSetHistory: [1×1 struct]
           BCDInformation: []


  Properties, Methods

Вычислите регрессионные потери на обучающих данных (реституционные потери) для обученной модели.

L = resubLoss(gprMdl)

L = 4.0306

Наименьшие перекрестные потери с использованием fsrnca сопоставим с потерями, полученными с помощью модели GPR с ядром ARD.

Входные параметры

свернуть все

`X` - Значения переменных предиктора
n -by - p матрица

Значения переменных предиктора, заданные как n -by - p матрица, где n - количество наблюдений, а p - количество переменных предиктора.

Типы данных: single | double

`Y` - Значения отклика
численный вектор действительных чисел длины n

Значения отклика, заданные как численный вектор действительных чисел длины n, где n - количество наблюдений.

Типы данных: single | double

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

Пример: 'Solver','sgd','Weights',W,'Lambda',0.0003 задает решатель как стохастический градиентный спуск, веса наблюдений как значения в векторе W, и устанавливает параметр регуляризации на 0,0003.

Опции подбора кривой

свернуть все

`'FitMethod'` - Метод подбора кривой модели
`'exact'` (по умолчанию) | `'none'` | `'average'`

Метод для подбора кривой модели, заданный как разделенная запятыми пара, состоящая из 'FitMethod' и одно из следующих:

'exact' - Выполняет подбор кривой, используя все данные.
'none' - Никакого подбора кривой. Используйте эту опцию, чтобы вычислить ошибку обобщения модели NCA с помощью начальных весов функций, предоставленных в вызове fsrnca.
'average' - Разделяет данные на разделы (подмножества), подбирает каждый раздел используя exact метод и возвращает среднее значение весов функций. Вы можете задать количество разделов, используя NumPartitions аргумент пары "имя-значение".

Пример: 'FitMethod','none'

`'NumPartitions'` - Количество перегородок
`max(2,min(10,n))` (по умолчанию) | целое число от 2 до n

Количество разделов для разделения данных для использования с 'FitMethod','average' опция, заданная как разделенная разделенными запятой парами, состоящая из 'NumPartitions' и целое число значения между 2 и n, где n количество наблюдений.

Пример: 'NumPartitions',15

Типы данных: double | single

`'Lambda'` - Параметр регуляризации
1/ n (по умолчанию) | неотрицательной скаляром

Параметр регуляризации для предотвращения сверхподбора кривой, заданный как разделенная разделенными запятой парами, состоящая из 'Lambda' и неотрицательный скаляр.

Когда количество наблюдений n увеличивается, вероятность сверхподбора кривой уменьшается, и необходимое количество регуляризации также уменьшается. Смотрите Tune Regularization Parameter в NCA для регрессии, чтобы узнать, как настроить параметр регуляризации.

Пример: 'Lambda',0.002

Типы данных: double | single

`'LengthScale'` - Ширина ядра
`1` (по умолчанию) | положительный действительный скаляр

Ширина ядра, заданная как разделенная разделенными запятой парами, состоящая из 'LengthScale' и положительный действительный скаляр.

Значение шкалы длины 1 разумно, когда все предикторы в одной шкале. Если предикторы в X имеют очень разные величины, затем рассмотрите стандартизацию значений предиктора с помощью 'Standardize',true и настройка 'LengthScale',1.

Пример: 'LengthScale',1.5

Типы данных: double | single

`'InitialFeatureWeights'` - Начальные веса функций
`ones(p,1)` (по умолчанию) | p вектор -by-1 действительных положительных скалярных величин

Начальные веса функций, заданные как разделенная разделенными запятой парами, состоящая из 'InitialFeatureWeights' и вектор < reservedrangesplaceholder1 > -на- действительных положительных скалярных величин > -на- действительных положительных скалярных величин, где p - количество предикторов в обучающих данных.

Регуляризованная целевая функция для оптимизации весов признаков является неконвексной. В результате использование различных начальных весов функций может дать различные результаты. Установка всех начальных весов функций равной 1 обычно работает хорошо, но в некоторых случаях случайная инициализация с использованием rand(p,1) может дать лучшие качественные решения.

Типы данных: double | single

`'Weights'` - Веса наблюдений
n вектор -by-1 из 1s (по умолчанию) | n -by-1 из действительных положительных скалярных величин

Веса наблюдений, заданные как разделенная разделенными запятой парами, состоящая из 'ObservationWeights' и вектор n -by-1 действительных положительных скалярных величин. Используйте веса наблюдений, чтобы задать более высокую важность некоторых наблюдений по сравнению с другими. Веса по умолчанию присваивают равное значение всем наблюдениям.

Типы данных: double | single

`'Standardize'` - Индикатор для стандартизации данных предиктора
`false` (по умолчанию) | `true`

Индикатор для стандартизации данных предиктора, заданный как разделенная разделенными запятой парами, состоящая из 'Standardize' и любой из них false или true. Для получения дополнительной информации смотрите Влияние Стандартизации.

Пример: 'Standardize',true

Типы данных: logical

`'Verbose'` - Индикатор уровня подробностей
0 (по умолчанию) | 1 | >

Индикатор уровня подробностей для итогового отображения сходимости, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и одно из следующих:

0 - Нет сводных данных сходимости
1 - сводные данные сходимости, включая норму значений градиента и целевой функции
> 1 - Больше информации о сходимости, в зависимости от алгоритма аппроксимации
При использовании 'minibatch-lbfgs' решатель и уровень подробностей > 1, информация сходимости включает итерацию журнала от промежуточных мини-пакетных моделей LBFGS.

Пример: 'Verbose',1

Типы данных: double | single

`'Solver'` - Тип решателя
`'lbfgs'` | `'sgd'` | `'minibatch-lbfgs'`

Тип решателя для оценки весов функций, заданный как разделенная разделенными запятой парами, состоящая из 'Solver' и одно из следующих:

'lbfgs' - Алгоритм Broyden-Fletcher-Goldfarb-Shanno (LBFGS) с ограниченной памятью
'sgd' - алгоритм Стохастического градиентного спуска (SGD)
'minibatch-lbfgs' - Стохастический градиентный спуск с алгоритмом LBFGS, применяемым к мини-пакетам

По умолчанию это 'lbfgs' для n ≤ 1000 и 'sgd' для n > 1000.

Пример: 'solver','minibatch-lbfgs'

`'LossFunction'` - Функция потерь
`'mad'` (по умолчанию) | `'mse'` | `'epsiloninsensitive'` | указатель на функцию

Функция потерь, заданная как разделенная разделенными запятой парами, состоящая из 'LossFunction' и одно из следующих:

'mad' - Среднее абсолютное отклонение

$l (y_{i}, y_{j}) = | y_{i} - y_{j} | .$
'mse' - Средняя квадратичная невязка

$l (y_{i}, y_{j}) = {(y_{i} - y_{j})}^{2} .$
'epsiloninsensitive' - нечувствительная функция потерь

$l (y_{i}, y_{j}) = \max (0, | y_{i} - y_{j} | - ϵ) .$
Эта функция потерь более устойчива к выбросам, чем средняя квадратичная невязка или среднее абсолютное отклонение.
lossfun - Пользовательский указатель на функцию потерь. Функция потерь имеет эту форму.
```
function L = lossfun(Yu,Yv)
% calculation of loss
...
```
Yu является вектором u -by-1 и Yv является вектором v -by-1. L является u -by - v матрицей значений потерь, такой что L(i,j) - значение потерь для Yu(i) и Yv(j).

Объективная функция для минимизации включает функцию потерь l (_y i, _{<reservedrangesplaceholder1> <reservedrangesplaceholder0>}) следующим образом:

$f (w) = \frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1, j \neq i}^{n} p_{i j} l (y_{i}, y_{j}) + λ \sum_{r = 1}^{p} w_{r}^{2},$

где w - вектор веса функции, n - количество наблюдений, а p - количество переменных предиктора. p _ij - это вероятность того, что _x j является контрольной точкой для x i. Для получения дополнительной информации см. раздел «Выбор признаков NCA для регрессии».

Пример: 'LossFunction',@lossfun

`'Epsilon'` - Значение Эпсилона
`iqr(Y)/13.49` (по умолчанию) | неотрицательным вещественным скаляром

Значение эпсилона для 'LossFunction','epsiloninsensitive' опция, заданная как разделенная разделенными запятой парами, состоящая из 'LossFunction' и неотрицательный действительный скаляр. Значение по умолчанию является оценкой стандартного отклонения выборки с использованием межквартильной области значений переменной отклика.

Пример: 'Epsilon',0.1

Типы данных: double | single

`'CacheSize'` - Размер памяти
`1000MB` (по умолчанию) | целое число

Размер памяти, в МБ, для расчета целевой функции и градиента, заданный как разделенная разделенными запятой парами, состоящая из 'CacheSize' и целое число.

Пример: 'CacheSize',1500MB

Типы данных: double | single

Опции LBFGS

свернуть все

`'HessianHistorySize'` - Размер буфера истории для гессианского приближения
`15` (по умолчанию) | положительное целое число

Размер буфера истории для Hessian приближения для 'lbfgs' решатель, заданный как разделенная разделенными запятой парами, состоящая из 'HessianHistorySize' и положительное целое число. При каждой итерации функция использует самую последнюю HessianHistorySize итерации для построения приближения к обратному Гессиану.

Пример: 'HessianHistorySize',20

Типы данных: double | single

`'InitialStepSize'` - Начальный размер шага
`'auto'` (по умолчанию) | положительный действительный скаляр

Начальный размер шага для 'lbfgs' решатель, заданный как разделенная разделенными запятой парами, состоящая из 'InitialStepSize' и положительный действительный скаляр. По умолчанию функция определяет начальный размер шага автоматически.

Типы данных: double | single

`'LineSearchMethod'` - Метод поиска по линии
`'weakwolfe'` (по умолчанию) | `'strongwolfe'` | `'backtracking'`

Метод поиска по линии, заданный как разделенная разделенными запятой парами, состоящая из 'LineSearchMethod' и одно из следующих:

'weakwolfe' - Слабый поиск линии Вульфа
'strongwolfe' - Сильный поиск линии Вульфа
'backtracking' - Поиск линии обратного отслеживания

Пример: 'LineSearchMethod','backtracking'

`'MaxLineSearchIterations'` - Максимальное количество итераций поиска по линии
`20` (по умолчанию) | положительное целое число

Максимальное количество итераций поиска по линии, заданное как разделенная разделенными запятой парами, состоящая из 'MaxLineSearchIterations' и положительное целое число.

Пример: 'MaxLineSearchIterations',25

Типы данных: double | single

`'GradientTolerance'` - Относительный допуск сходимости
`1e-6` (по умолчанию) | положительный действительный скаляр

Относительный допуск сходимости по норме градиента для lbfgs решателя, заданная как разделенная разделенными запятой парами, состоящая из 'GradientTolerance' и положительный действительный скаляр.

Пример: 'GradientTolerance',0.000002

Типы данных: double | single

Опции SGD

свернуть все

`'InitialLearningRate'` - Начальная скорость обучения для `'sgd'` решатель
`'auto'` (по умолчанию) | положительный действительный скаляр

Начальная скорость обучения для 'sgd' решатель, заданный как разделенная разделенными запятой парами, состоящая из 'InitialLearningRate' и положительный действительный скаляр.

При использовании типа решателя 'sgd', скорость обучения затухает над итерациями, начиная со значения, заданного для 'InitialLearningRate'.

Значение по умолчанию 'auto' означает, что начальная скорость обучения определяется с помощью экспериментов на небольших подмножествах данных. Используйте NumTuningIterations аргумент пары "имя-значение", чтобы задать количество итераций для автоматической настройки начальной скорости обучения. Используйте TuningSubsetSize аргумент пары "имя-значение" для задания количества наблюдений, используемых для автоматической настройки начальной скорости обучения.

Для типа решателя 'minibatch-lbfgs', можно задать 'InitialLearningRate' к очень высокому значению. В этом случае функция применяет LBFGS к каждому мини-пакету отдельно с начальными весами признаков из предыдущего мини-пакета.

Чтобы убедиться, что выбранная начальная скорость обучения уменьшает целевое значение с каждой итерацией, постройте график Iteration от Objective значения, сохраненные в mdl.FitInfo свойство.

Можно использовать refit метод с 'InitialFeatureWeights' равно mdl.FeatureWeights чтобы начать с текущего решения и запустить дополнительные итерации

Пример: 'InitialLearningRate',0.9

Типы данных: double | single

`'MiniBatchSize'` - Количество наблюдений, используемых в каждой партии для `'sgd'` решатель
min (10, n) (по умолчанию) | положительное целое число значения от 1 до

Количество наблюдений, используемых в каждом пакете для 'sgd' решатель, заданный как разделенная разделенными запятой парами, состоящая из 'MiniBatchSize' и положительное целое число от 1 до n.

Пример: 'MiniBatchSize',25

Типы данных: double | single

`'PassLimit'` - Максимальное количество проходов для решателя `'sgd'`
`5` (по умолчанию) | положительное целое число

Максимальное количество проходов через все n наблюдения для 'sgd' решателя, заданная как разделенная разделенными запятой парами, состоящая из 'PassLimit' и положительное целое число. Каждый проход через все данные называется эпохой.

Пример: 'PassLimit',10

Типы данных: double | single

`'NumPrint'` - Частота партий для отображения сводных данных сходимости
10 (по умолчанию) | положительное целое значение

Частота партий для отображения сводных данных сходимости для 'sgd' решатель, заданный как разделенная разделенными запятой парами, состоящая из 'NumPrint' и положительное целое число. Этот аргумент применяется, когда 'Verbose' значение больше 0. NumPrint мини-пакеты обрабатываются для каждой линии сводных данных сходимости, отображаемой в командной строке.

Пример: 'NumPrint',5

Типы данных: double | single

`'NumTuningIterations'` - Количество итераций настройки
20 (по умолчанию) | положительное целое число

Количество итераций настройки для 'sgd' решатель, заданный как разделенная разделенными запятой парами, состоящая из 'NumTuningIterations' и положительное целое число. Эта опция действительна только для 'InitialLearningRate','auto'.

Пример: 'NumTuningIterations',15

Типы данных: double | single

`'TuningSubsetSize'` - Количество наблюдений, используемых для настройки начальной скорости обучения
min (100, n) (по умолчанию) | положительное целое число значения от 1 до

Количество наблюдений, используемых для настройки начальной скорости обучения, заданное как разделенная разделенными запятой парами, состоящая из 'TuningSubsetSize' и положительное целое значение от 1 до n. Эта опция действительна только для 'InitialLearningRate','auto'.

Пример: 'TuningSubsetSize',25

Типы данных: double | single

Опции SGD или LBFGS

свернуть все

`'IterationLimit'` - Максимальное количество итераций
положительное целое число

Максимальное количество итераций, заданное как разделенная разделенными запятой парами, состоящая из 'IterationLimit' и положительное целое число. Значение по умолчанию является 10000 для SGD и 1000 для LBFGS и мини-пакетных LBFGS.

Каждый проход через пакет является итерацией. Каждый проход через все данные является эпохой. Если данные разделены на k мини-пакета, то каждая эпоха эквивалентна k итерациям.

Пример: 'IterationLimit',250

Типы данных: double | single

`'StepTolerance'` - Допуск сходимости по размеру шага
1e-6 (по умолчанию) | положительным вещественным скаляром

Допуск сходимости размера шага, заданный как разделенная разделенными запятой парами, состоящая из 'StepTolerance' и положительный действительный скаляр. The 'lbfgs' решатель использует абсолютный допуск шага, и 'sgd' решатель использует относительный допуск шага.

Пример: 'StepTolerance',0.000005

Типы данных: double | single

Мини-пакетные опции LBFGS

свернуть все

`'MiniBatchLBFGSIterations'` - Максимальное количество итераций на мини-пакет шага LBFGS
10 (по умолчанию) | положительное целое число

Максимальное количество итераций на мини-пакетный шаг LBFGS, заданное как разделенная разделенными запятой парами, состоящая из 'MiniBatchLBFGSIterations' и положительное целое число.

Пример: 'MiniBatchLBFGSIterations',15

Мини-пакетный алгоритм LBFGS является комбинацией методов SGD и LBFGS. Поэтому все аргументы пары "имя-значение", которые применяются к решателям SGD и LBFGS, также применяются к мини-пакетному алгоритму LBFGS.

Типы данных: double | single

Выходные аргументы

свернуть все

`mdl` - Модель анализа компонентов соседства для регрессии
`FeatureSelectionNCARegression` объект

Модель анализа компонентов окрестностей для регрессии, возвращенная как FeatureSelectionNCARegression объект.

Ссылки

[1] Rasmussen, C. E., R. M. Neal, G. E. Hinton, D. van Campand, M. Revow, Z. Ghahramani, R. Kustra, R. Tibshirani. Руководство DELVE, 1996, http://mlg.eng.cam.ac.uk/pub/pdf/RasNeaHinetal96.pdf.

[2] Университет Торонто, факультет компьютерных наук. Удаление наборов данных. http://www.cs.toronto.edu/~delve/data/datasets.html.

[3] Нэш, У. Дж., Т. Л. Селлерс, С. Р. Тальбот, А. Дж. Коуторн и У. Б. Форд. "Популяционная биология Абалоне (виды Haliotis) в Тасмании. I. Blacklip Abalone (H. rubra) с Северного побережья и островов пролива Басс ". Деление морского рыболовства, технический доклад № 48, 1994 год.

[4] Waugh, S. «Extending and Benchmarking Cascade-Correlation: Extensions to the Cascade-Correlation Architecture and Benchmarking of Feed-Forward Supervied Neural Networds». Тасманийский университет, кафедра компьютерных наук, 1995 год.

[5] Лихман, M. UCI Machine Learning Repository. Irvine, CA: University of California, School of Information and Computer Science, 2013. http://archive.ics.uci.edu/ml.

См. также

FeatureSelectionNCARegression | loss | predict | refit

Темы

Введенный в R2016b

Документация

fsrnca

Синтаксис

Описание

Примеры

Обнаружение соответствующих функций в данных с использованием NCA для регрессии

Настройка параметра регуляризации в NCA для регрессии

Сравнение выбора признаков NCA и ARD

Входные параметры

X - Значения переменных предиктора n -by - p матрица

Y - Значения отклика численный вектор действительных чисел длины n

Аргументы в виде пар имя-значение

'FitMethod' - Метод подбора кривой модели 'exact' (по умолчанию) | 'none' | 'average'

'NumPartitions' - Количество перегородок max(2,min(10,n)) (по умолчанию) | целое число от 2 до n

'Lambda' - Параметр регуляризации 1/ n (по умолчанию) | неотрицательной скаляром

'LengthScale' - Ширина ядра 1 (по умолчанию) | положительный действительный скаляр

'InitialFeatureWeights' - Начальные веса функций ones(p,1) (по умолчанию) | p вектор -by-1 действительных положительных скалярных величин

'Weights' - Веса наблюдений n вектор -by-1 из 1s (по умолчанию) | n -by-1 из действительных положительных скалярных величин

'Standardize' - Индикатор для стандартизации данных предиктора false (по умолчанию) | true

'Verbose' - Индикатор уровня подробностей 0 (по умолчанию) | 1 | >

'Solver' - Тип решателя 'lbfgs' | 'sgd' | 'minibatch-lbfgs'

'LossFunction' - Функция потерь 'mad' (по умолчанию) | 'mse' | 'epsiloninsensitive' | указатель на функцию

'Epsilon' - Значение Эпсилона iqr(Y)/13.49 (по умолчанию) | неотрицательным вещественным скаляром

'CacheSize' - Размер памяти 1000MB (по умолчанию) | целое число

'HessianHistorySize' - Размер буфера истории для гессианского приближения 15 (по умолчанию) | положительное целое число

'InitialStepSize' - Начальный размер шага 'auto' (по умолчанию) | положительный действительный скаляр

'LineSearchMethod' - Метод поиска по линии 'weakwolfe' (по умолчанию) | 'strongwolfe' | 'backtracking'

'MaxLineSearchIterations' - Максимальное количество итераций поиска по линии 20 (по умолчанию) | положительное целое число

'GradientTolerance' - Относительный допуск сходимости 1e-6 (по умолчанию) | положительный действительный скаляр

'InitialLearningRate' - Начальная скорость обучения для 'sgd' решатель 'auto' (по умолчанию) | положительный действительный скаляр

'MiniBatchSize' - Количество наблюдений, используемых в каждой партии для 'sgd' решатель min (10, n) (по умолчанию) | положительное целое число значения от 1 до

'PassLimit' - Максимальное количество проходов для решателя 'sgd' 5 (по умолчанию) | положительное целое число

'NumPrint' - Частота партий для отображения сводных данных сходимости 10 (по умолчанию) | положительное целое значение

'NumTuningIterations' - Количество итераций настройки 20 (по умолчанию) | положительное целое число

'TuningSubsetSize' - Количество наблюдений, используемых для настройки начальной скорости обучения min (100, n) (по умолчанию) | положительное целое число значения от 1 до

'IterationLimit' - Максимальное количество итераций положительное целое число

'StepTolerance' - Допуск сходимости по размеру шага 1e-6 (по умолчанию) | положительным вещественным скаляром

'MiniBatchLBFGSIterations' - Максимальное количество итераций на мини-пакет шага LBFGS 10 (по умолчанию) | положительное целое число

Выходные аргументы

mdl - Модель анализа компонентов соседства для регрессии FeatureSelectionNCARegression объект

Ссылки

См. также

Темы

Statistics and Machine Learning Toolbox документация

Поддержка

`X` - Значения переменных предиктора
n -by - p матрица

`Y` - Значения отклика
численный вектор действительных чисел длины n

`'FitMethod'` - Метод подбора кривой модели
`'exact'` (по умолчанию) | `'none'` | `'average'`

`'NumPartitions'` - Количество перегородок
`max(2,min(10,n))` (по умолчанию) | целое число от 2 до n

`'Lambda'` - Параметр регуляризации
1/ n (по умолчанию) | неотрицательной скаляром

`'LengthScale'` - Ширина ядра
`1` (по умолчанию) | положительный действительный скаляр

`'InitialFeatureWeights'` - Начальные веса функций
`ones(p,1)` (по умолчанию) | p вектор -by-1 действительных положительных скалярных величин

`'Weights'` - Веса наблюдений
n вектор -by-1 из 1s (по умолчанию) | n -by-1 из действительных положительных скалярных величин

`'Standardize'` - Индикатор для стандартизации данных предиктора
`false` (по умолчанию) | `true`

`'Verbose'` - Индикатор уровня подробностей
0 (по умолчанию) | 1 | >

`'Solver'` - Тип решателя
`'lbfgs'` | `'sgd'` | `'minibatch-lbfgs'`

`'LossFunction'` - Функция потерь
`'mad'` (по умолчанию) | `'mse'` | `'epsiloninsensitive'` | указатель на функцию

`'Epsilon'` - Значение Эпсилона
`iqr(Y)/13.49` (по умолчанию) | неотрицательным вещественным скаляром

`'CacheSize'` - Размер памяти
`1000MB` (по умолчанию) | целое число

`'HessianHistorySize'` - Размер буфера истории для гессианского приближения
`15` (по умолчанию) | положительное целое число

`'InitialStepSize'` - Начальный размер шага
`'auto'` (по умолчанию) | положительный действительный скаляр

`'LineSearchMethod'` - Метод поиска по линии
`'weakwolfe'` (по умолчанию) | `'strongwolfe'` | `'backtracking'`

`'MaxLineSearchIterations'` - Максимальное количество итераций поиска по линии
`20` (по умолчанию) | положительное целое число

`'GradientTolerance'` - Относительный допуск сходимости
`1e-6` (по умолчанию) | положительный действительный скаляр

`'InitialLearningRate'` - Начальная скорость обучения для `'sgd'` решатель
`'auto'` (по умолчанию) | положительный действительный скаляр

`'MiniBatchSize'` - Количество наблюдений, используемых в каждой партии для `'sgd'` решатель
min (10, n) (по умолчанию) | положительное целое число значения от 1 до

`'PassLimit'` - Максимальное количество проходов для решателя `'sgd'`
`5` (по умолчанию) | положительное целое число

`'NumPrint'` - Частота партий для отображения сводных данных сходимости
10 (по умолчанию) | положительное целое значение

`'NumTuningIterations'` - Количество итераций настройки
20 (по умолчанию) | положительное целое число

`'TuningSubsetSize'` - Количество наблюдений, используемых для настройки начальной скорости обучения
min (100, n) (по умолчанию) | положительное целое число значения от 1 до

`'IterationLimit'` - Максимальное количество итераций
положительное целое число

`'StepTolerance'` - Допуск сходимости по размеру шага
1e-6 (по умолчанию) | положительным вещественным скаляром

`'MiniBatchLBFGSIterations'` - Максимальное количество итераций на мини-пакет шага LBFGS
10 (по умолчанию) | положительное целое число

`mdl` - Модель анализа компонентов соседства для регрессии
`FeatureSelectionNCARegression` объект