В этом примере показано, как создавать, компилировать и развертывать dlhdl.Workflow объект с alexnet в качестве сетевого объекта с помощью пакета поддержки Deep Learning HDL Toolbox™ для Xilinx FPGA и SoC. Используйте MATLAB ® для извлечения результатов прогнозирования из целевого устройства. Alexnet - предварительно обученная сверточная нейронная сеть, которая обучена более чем миллиону изображений и может классифицировать изображения на 1000 категорий объектов (таких как клавиатура, кофе, кружка, карандаш и многие животные). В качестве сетевых объектов можно также использовать VGG-19 и Darknet-19.
Комплект для разработки Xilinx ZCU102 SoC
Пакет поддержки HDL Toolbox™ глубокого обучения для Xilinx FPGA и SoC
Модель Toolbox™ глубокого обучения для Alexnet
Глубокое обучение Toolbox™
Глубокое обучение HDL Toolbox™
Для загрузки предварительно обученной сети серии alexnet введите:
snet = alexnet;
Для загрузки предварительно обученной сети серии vgg19 введите:
% snet = vgg19;Для загрузки предварительно обученного сетевого darknet19 введите:
% snet = darknet19;Для просмотра уровней предварительно обученной сети серии введите:
analyzeNetwork(snet) % The saved network contains 25 layers including input, convolution, ReLU, cross channel normalization, % max pool, fully connected, and the softmax output layers.
Используйте dlhdl.Target класс для создания целевого объекта с пользовательским именем для целевого устройства и интерфейсом для подключения целевого устройства к хост-компьютеру. Опции интерфейса - JTAG и Ethernet. Чтобы использовать JTAG, установите Xilinx™ Vivado™ Design Suite 2019.2. Чтобы задать траекторию инструмента Xilinx Vivado, введите:
% hdlsetuptoolpath('ToolName', 'Xilinx Vivado', 'ToolPath', 'C:\Xilinx\Vivado\2019.2\bin\vivado.bat');
hTarget = dlhdl.Target('Xilinx','Interface','Ethernet');
Используйте dlhdl.Workflow для создания объекта. При создании объекта укажите сеть и имя битового потока. Укажите сохраненную предварительно обученную нейронную сеть alexnet в качестве сети. Убедитесь, что имя битового потока соответствует типу данных и целевой плате FPGA. В этом примере целевой платой FPGA является плата Xilinx ZCU102 SoC. Битовый поток использует один тип данных.
hW = dlhdl.Workflow('Network', snet, 'Bitstream', 'zcu102_single','Target',hTarget);
Для компиляции сети серии Alexnet выполните метод компиляции dlhdl.Workflow объект. При необходимости можно указать максимальное количество входных кадров.
dn = hW.compile('InputFrameNumberLimit',15) offset_name offset_address allocated_space
_______________________ ______________ _________________
"InputDataOffset" "0x00000000" "12.0 MB"
"OutputResultOffset" "0x00c00000" "4.0 MB"
"SystemBufferOffset" "0x01000000" "28.0 MB"
"InstructionDataOffset" "0x02c00000" "4.0 MB"
"ConvWeightDataOffset" "0x03000000" "16.0 MB"
"FCWeightDataOffset" "0x04000000" "224.0 MB"
"EndOffset" "0x12000000" "Total: 288.0 MB"
dn = struct with fields:
Operators: [1×1 struct]
LayerConfigs: [1×1 struct]
NetConfigs: [1×1 struct]
Для развертывания сети на оборудовании Xilinx ZCU102 выполните функцию развертывания dlhdl.Workflow объект. Эта функция использует выходные данные функции компиляции для программирования платы FPGA с помощью файла программирования. Он также загружает веса сети и отклонения. Функция развертывания запускает программирование устройства FPGA, отображает сообщения о ходе выполнения и время, необходимое для развертывания сети.
hW.deploy
### FPGA bitstream programming has been skipped as the same bitstream is already loaded on the target FPGA. ### Deep learning network programming has been skipped as the same network is already loaded on the target FPGA.
Загрузите пример изображения.
imgFile = 'espressomaker.jpg';
inputImg = imresize(imread(imgFile), [227,227]);
imshow(inputImg)
Выполните метод прогнозирования на dlhdl.Workflow и затем отобразите метку в окне команды MATLAB.
[prediction, speed] = hW.predict(single(inputImg),'Profile','on');
### Finished writing input activations. ### Running single input activations.
Deep Learning Processor Profiler Performance Results
LastLayerLatency(cycles) LastLayerLatency(seconds) FramesNum Total Latency Frames/s
------------- ------------- --------- --------- ---------
Network 33531964 0.15242 1 33531979 6.6
conv_module 8965629 0.04075
conv1 1396567 0.00635
norm1 622836 0.00283
pool1 226593 0.00103
conv2 3409730 0.01550
norm2 378491 0.00172
pool2 233223 0.00106
conv3 1139273 0.00518
conv4 892869 0.00406
conv5 615895 0.00280
pool5 50267 0.00023
fc_module 24566335 0.11167
fc6 15819119 0.07191
fc7 7030644 0.03196
fc8 1716570 0.00780
* The clock frequency of the DL processor is: 220MHz
[val, idx] = max(prediction);
snet.Layers(end).ClassNames{idx}ans = 'espresso maker'
Загрузите несколько изображений и извлеките их результаты прогнозирования с помощью функции поддержки нескольких кадров. Дополнительные сведения см. в разделе Поддержка нескольких рам.
demoOnImage функция загружает несколько изображений и извлекает их результаты прогнозирования. annotateresults функция отображает результат прогнозирования изображения поверх изображений, которые собраны в массив 3 на 5.
imshow(inputImg)
demoOnImage;
### Finished writing input activations. ### Running single input activations.
FPGA PREDICTION: envelope FPGA PREDICTION: file FPGA PREDICTION: folding chair FPGA PREDICTION: mixing bowl FPGA PREDICTION: toilet seat FPGA PREDICTION: dining table FPGA PREDICTION: envelope FPGA PREDICTION: espresso maker FPGA PREDICTION: computer keyboard FPGA PREDICTION: monitor FPGA PREDICTION: mouse FPGA PREDICTION: ballpoint FPGA PREDICTION: letter opener FPGA PREDICTION: analog clock FPGA PREDICTION: ashcan
