numpartitions

Возвратите оценку для разумного количества разделов для параллельной обработки

Описание

пример

n = numpartitions(sds) возвращает количество по умолчанию разделов для datastore сигнала sds.

пример

n = numpartitions(sds,pool) возвращает разумное количество разделов, чтобы параллелизировать sds по параллельному пулу.

  • Если sds содержит данные о файле, количество разделов зависит от количества рабочих в пуле и общем количестве файлов.

  • Если sds содержит данные в оперативной памяти, количество разделов зависит от количества рабочих в пуле и общем количестве членов.

Чтобы параллелизировать доступ к datastore, необходимо было установить Parallel Computing Toolbox™.

Примеры

свернуть все

Задайте путь к файлу к сигналам в качестве примера, включенным с MATLAB®. Создайте datastore сигнала, который указывает на заданную папку.

folder = fullfile(matlabroot,'toolbox','matlab','audiovideo');
sds = signalDatastore(folder,'SampleRateVariableName','Fs');

Получите количество по умолчанию разделов для datastore сигнала.

n = numpartitions(sds)
n = 7

Разделите datastore в количество по умолчанию разделов и возвратите datastore, соответствующий четвертому разделу.

subsds = partition(sds,n,4);

Используйте extractAfter функционируйте, чтобы отобразить имя файла, содержавшегося в datastore, соответствующем четвертому разделу.

fName = extractAfter(subsds.Files,'audiovideo\')
fName = 1x1 cell array
    {0x0 char}

Считайте данные и информацию о сигнале в datastore, соответствующем четвертому разделу. Извлеките частоту дискретизации из info и передискретизируйте сигнал к половине исходной частоты дискретизации. Постройте исходные и передискретизируемые сигналы.

while hasdata(subsds)
    [data,info] = read(subsds);
    fs = info.SampleRate;
    f_res = 0.5*fs;
    ts = (0:length(data)-1)/fs;
    data_res = resample(data,1,2);
    t_res = (0:length(data_res)-1)/f_res;
    plot(ts,data,t_res,data_res,':')
    xlabel('Time (s)')
    ylabel('Signal')
    legend('Original','Resampled','Location','NorthWest')
end

Задайте путь к сигналам в качестве примера, включенным с MATLAB®.

folder = fullfile(matlabroot,'toolbox','matlab','audiovideo');

Создайте datastore сигнала, который указывает на заданную папку.

sds = signalDatastore(folder);

Возвратите оценку для разумного количества разделов для параллельной обработки, учитывая текущий параллельный пул.

pool = gcp;
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 12).
n = numpartitions(sds,pool)
n = 7

Разделите datastore сигнала и считайте данные сигнала в каждой части.

parfor ii = 1:n
    subds = partition(sds,n,ii);
    while hasdata(subds)
        data = read(subds);
    end
end

Входные параметры

свернуть все

Datastore сигнала в виде signalDatastore объект.

Параллельный пул в виде параллели

Выходные аргументы

свернуть все

Количество разделов, по которым параллелизируется доступ к datastore. По умолчанию количество разделов является min (наблюдения N, 3Nworkers), где:

  • Наблюдения N являются количеством файлов в datastore (в случае данных о файле) или число членов в datastore (в случае данных в оперативной памяти).

  • Рабочие N являются количеством рабочих в пуле.

Введенный в R2020a