numpartitions

Оценка возврата для разумного количества разделов для параллельной обработки

Описание

пример

n = numpartitions(sds) возвращает количество разделов по умолчанию для сигнального datastore sds.

пример

n = numpartitions(sds,pool) возвращает разумное количество разделов для параллелизации sds над параллельным бассейном.

  • Если sds содержит данные файла, количество разделов зависит от количества рабочих мест в пуле и общего количества файлов.

  • Если sds содержит данные в памяти, количество разделов зависит от количества рабочих мест в пуле и общего количества представителей.

Для параллелизации доступа к datastore необходимо установить Parallel Computing Toolbox™.

Примеры

свернуть все

Укажите путь к файлу примерных сигналов, включенных в MATLAB ®. Создайте сигнальный datastore, который указывает на указанную папку.

folder = fullfile(matlabroot,'toolbox','matlab','audiovideo');
sds = signalDatastore(folder,'SampleRateVariableName','Fs');

Получите количество разделов по умолчанию для сигнального datastore.

n = numpartitions(sds)
n = 7

Разделите datastore на количество разделов по умолчанию и верните datastore, соответствующий четвертому разделу.

subsds = partition(sds,n,4);

Используйте extractAfter функция для отображения имени файла, содержащегося в datastore, соответствующем четвертому разделу.

fName = extractAfter(subsds.Files,'audiovideo\')
fName = 1x1 cell array
    {0x0 char}

Считайте данные и информацию о сигнале в datastore, соответствующем четвертому разделу. Извлеките частоту дискретизации из info и повторно отобразите сигнал в половину исходной частоты дискретизации. Постройте график исходных и повторно дискретизированных сигналов.

while hasdata(subsds)
    [data,info] = read(subsds);
    fs = info.SampleRate;
    f_res = 0.5*fs;
    ts = (0:length(data)-1)/fs;
    data_res = resample(data,1,2);
    t_res = (0:length(data_res)-1)/f_res;
    plot(ts,data,t_res,data_res,':')
    xlabel('Time (s)')
    ylabel('Signal')
    legend('Original','Resampled','Location','NorthWest')
end

Figure contains an axes. The axes contains 2 objects of type line. These objects represent Original, Resampled.

Укажите путь к каталогу, содержащему примеры сигналов, включенных в MATLAB ®.

folder = fullfile(matlabroot,'toolbox','matlab','audiovideo');

Создайте сигнальный datastore, который указывает на указанную папку.

sds = signalDatastore(folder);

Возвращает оценку разумного количества разделов для параллельной обработки, учитывая текущий параллельный пул.

pool = gcp;
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
n = numpartitions(sds,pool)
n = 7

Разделите хранилище datastore сигнала и считайте данные сигнала в каждой части.

parfor ii = 1:n
    subds = partition(sds,n,ii);
    while hasdata(subds)
        data = read(subds);
    end
end

Входные параметры

свернуть все

Сигнальный datastore, заданный как signalDatastore объект.

Параллельный пул, заданный как параллельный

Выходные аргументы

свернуть все

Количество разделов, через которые осуществляется параллельный доступ к datastore. По умолчанию количество разбиений составляет min (N наблюдения, 3 N рабочие), где:

  • N наблюдения - это количество файлов в datastore (в случае данных файла) или количество представителей в datastore (в случае данных в памяти).

  • N работников - это количество работников в бассейне.

Введенный в R2020a