Составьте длинную таблицу, извлеките высокий вектор из таблицы, и затем найдите общее количество элементов в векторе.

Составьте длинную таблицу для набора данных airlinesmall.csv. Данные содержат информацию о прибытии и время отправления рейсов США. Извлеките переменную ArrDelay, которая является вектором задержек прибытия.

ds = tabularTextDatastore('airlinesmall.csv','TreatAsMissing','NA');
ds.SelectedVariableNames = {'ArrDelay' 'DepDelay'};
tt = tall(ds);
tX = tt.ArrDelay;

Используйте matlab.tall.reduce, чтобы считать общее количество non-NaN элементов в высоком векторе. Первый функциональный numel считает число элементов в каждом блоке данных, и второй функциональный sum добавляет вместе все счета для каждого блока, чтобы привести к скалярному результату.

s = matlab.tall.reduce(@numel,@sum,tX)

s =

  MxNx... tall double array

    ?    ?    ?    ...
    ?    ?    ?    ...
    ?    ?    ?    ...
    :    :    :
    :    :    :

Соберите результат в память.

s = gather(s)

Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 1: Completed in 1.2 sec
Evaluation completed in 1.4 sec

s = 123523

Составьте длинную таблицу, затем вычислите среднюю задержку рейса на каждый год в данных.

Составьте длинную таблицу для набора данных airlinesmall.csv. Данные содержат информацию о прибытии и время отправления рейсов США. Удалите строки недостающих данных из таблицы и извлеките ArrDelay, DepDelay и переменные Year. Эти переменные являются векторами задержек прибытия и отъезда и связанных лет для каждого рейса в наборе данных.

ds = tabularTextDatastore('airlinesmall.csv','TreatAsMissing','NA');
ds.SelectedVariableNames = {'ArrDelay' 'DepDelay' 'Year'};
tt = tall(ds);
tt = rmmissing(tt);

Используйте matlab.tall.reduce, чтобы применить две функции к длинной таблице. Первая функция комбинирует переменные ArrDelay и DepDelay, чтобы найти общую среднюю задержку каждого рейса. Функция определяет, сколько уникальных лет находится в каждом фрагменте данных, и затем циклах в течение каждого года, и вычисляет среднюю общую задержку рейсов в том году. Результатом является 2D таблица переменных, содержащая год и среднюю общую задержку. Эти промежуточные данные должны уменьшаться далее, чтобы прибыть в среднюю задержку в год. Сохраните эту функцию в своей текущей папке как transform_fcn.m.

type transform_fcn

function t = transform_fcn(a,b,c)
ii = gather(unique(c));

for k = 1:length(ii)
    jj = (c == ii(k));
    d = mean([a(jj) b(jj)], 2);
    
    if k == 1
        t = table(c(jj),d,'VariableNames',{'Year' 'MeanDelay'});
    else
        t = [t; table(c(jj),d,'VariableNames',{'Year' 'MeanDelay'})];
    end
end

end

Вторая функция использует результаты первой функции, чтобы вычислить среднюю общую задержку на каждый год. Вывод от reduce_fcn совместим с выводом от transform_fcn, так, чтобы блоки данных могли быть конкатенированы в любом порядке и постоянно уменьшаться, пока только одна строка не остается в течение каждого года.

type reduce_fcn

function TT = reduce_fcn(t)
[groups,Y] = findgroups(t.Year);
D = splitapply(@mean, t.MeanDelay, groups);

TT = table(Y,D,'VariableNames',{'Year' 'MeanDelay'});
end

Применяйте преобразование и уменьшайте функции до высоких векторов. Поскольку входные параметры (вводят double) и выходные параметры (вводят table) имеют различные типы данных, используют пару "имя-значение" 'OutputsLike', чтобы указать, что вывод является таблицей. Простой способ задать тип вывода состоит в том, чтобы вызвать функцию преобразования с фиктивными входными параметрами.

a = tt.ArrDelay;
b = tt.DepDelay;
c = tt.Year;
d1 = matlab.tall.reduce(@transform_fcn, @reduce_fcn, a, b, c, 'OutputsLike',{transform_fcn(0,0,0)})

d1 =

  Mx2 tall table

    Year    MeanDelay
    ____    _________

     ?          ?    
     ?          ?    
     ?          ?    
     :          :
     :          :

Соберите результаты в память, чтобы видеть среднюю общую задержку рейса в год.

d1 = gather(d1)

Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 1: Completed in 1.9 sec
Evaluation completed in 2.2 sec

d1=22×2 table
    Year    MeanDelay
    ____    _________

    1987     7.6889  
    1988     6.7918  
    1989     8.0757  
    1990     7.1548  
    1991     4.0134  
    1992     5.1767  
    1993     5.4941  
    1994     6.0303  
    1995     8.4284  
    1996     9.6981  
    1997     8.4346  
    1998     8.3789  
    1999     8.9121  
    2000     10.595  
    2001     6.8975  
    2002     3.4325  
      ⋮

type mySplitFcn

function T = mySplitFcn(a,b,c)
T = matlab.tall.reduce(@non_group_transform_fcn, @non_group_reduce_fcn, ...
    a, b, c, 'OutputsLike', {non_group_transform_fcn(0,0,0)});

    function t = non_group_transform_fcn(a,b,c)
        d = mean([a b], 2);
        t = table(c,d,'VariableNames',{'Year' 'MeanDelay'});
    end

    function TT = non_group_reduce_fcn(t)
        D = mean(t.MeanDelay);
        TT = table(t.Year(1),D,'VariableNames',{'Year' 'MeanDelay'});
    end

end

groups = findgroups(c);
d2 = splitapply(@mySplitFcn, a, b, c, groups);
d2 = gather(d2)

Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 2: Completed in 0.51 sec
- Pass 2 of 2: Completed in 1.1 sec
Evaluation completed in 2 sec

d2=22×2 table
    Year    MeanDelay
    ____    _________

    1987     7.6889  
    1988     6.7918  
    1989     8.0757  
    1990     7.1548  
    1991     4.0134  
    1992     5.1767  
    1993     5.4941  
    1994     6.0303  
    1995     8.4284  
    1996     9.6981  
    1997     8.4346  
    1998     8.3789  
    1999     8.9121  
    2000     10.595  
    2001     6.8975  
    2002     3.4325  
      ⋮

Вычислите взвешенное стандартное отклонение и отклонение длинного массива с помощью вектора весов. Это - один пример того, как можно использовать matlab.tall.reduce, чтобы работать вокруг функциональности, которую длинные массивы еще не поддерживают.

Создайте два высоких вектора случайных данных. tX содержит случайные данные, и tP содержит соответствующие вероятности, таким образом, что sum(tP) является 1. Эти вероятности подходят, чтобы взвесить данные.

rng default
tX = tall(rand(1e4,1));
p = rand(1e4,1);
tP = tall(normalize(p,'scale',sum(p)));

Запишите тождественное отображение, которое возвращает выходные параметры, равные входным параметрам. Этот подход пропускает шаг преобразования matlab.tall.reduce и передает данные непосредственно шагу сокращения, где функция сокращения неоднократно применяется, чтобы уменьшать размер данных.

type identityTransform.m

function [A,B] = identityTransform(X,Y)
  A = X;
  B = Y;
end

Затем, запишите функцию сокращения, которая работает с блоками высоких векторов, чтобы вычислить взвешенное отклонение и стандартное отклонение.

type weightedStats.m

function [wvar, wstd] = weightedStats(X, P)
  wvar = var(X,P);
  wstd = std(X,P);
end

Используйте matlab.tall.reduce, чтобы применить эти функции к блокам данных в высоких векторах.

[tX_var_weighted, tX_std_weighted] = matlab.tall.reduce(@identityTransform, @weightedStats, tX, tP)

tX_var_weighted =

  tall double

    0.0832


tX_std_weighted =

  tall double

    0.2885