Обновите последовательность видео или оптического потока для классификации
i3dUpdated = updateSequence(i3d,videoFrame)videoFrame, и выходные параметры обновленный расширенный 3D видео классификатор (I3D) i3d классификатор. Выход содержит обновленный объект классификатора.
Чтобы классифицировать обновленную последовательность, используйте classifySequence объектная функция.
Видео объект классификатора обеспечивает последовательность как очередь метода "первым пришел - первым вышел" (FIFO). InputSize свойство объекта классификатора задает количество кадров в очереди.
i3dUpdated = udpateSequence(i3d,videoFrame,ExecutionEnvironment=env)
"auto" — Устанавливает среду выполнения на графический процессор, при наличии. В противном случае функция устанавливает его на центральный процессор.
"gpu" — Устанавливает среду выполнения на графический процессор. Использование графического процессора требует Parallel Computing Toolbox™ и CUDA® активированный NVIDIA® Графический процессор. Для получения информации о поддерживаемом вычислите возможности, смотрите Поддержку графического процессора Релизом (Parallel Computing Toolbox).
"cpu" — Устанавливает среду выполнения на центральный процессор.
В этом примере показано, как классифицировать видео последовательности на видеофайл с помощью Классификатора Видео SlowFast, предварительно обученного на кинетике 400 видео наборов данных распознавания активности. Чтобы узнать больше, как обучить видео сеть классификатора для вашего набора данных, посмотрите Распознавание Жеста с помощью Видео и Глубокого обучения.
Загрузите классификатор видео SlowFast
sf = slowFastVideoClassifier();
Видеоплеер Setup и видео средство чтения
Задайте имя видеофайла к потоковым видеокадрам.
videoFilename = "pushup.mp4";Создайте VideoReader, чтобы считать видео.
reader = VideoReader(videoFilename);
Setup видеоплеер.
player = vision.VideoPlayer;
Классифицируйте видео последовательности
Задайте, как часто классификатор должен быть применен к входящим видеокадрам.
classifyInterval = 10;
Значение 10 эффективности времени выполнения балансов против эффективности классификации. Увеличьте это значение, чтобы улучшать производительность во время выполнения за счет недостающих действий из видеофайла.
Получите длину последовательности Классификатора Видео SlowFast. Классифицируйте только после получения, по крайней мере, sequenceLength количество кадров из видеофайла.
sequenceLength = sf.InputSize(4);
Считайте видеокадры с помощью hasFrame и readFrame функции VideoReader. Используя updateSequence функционируйте обновляют последовательность видео классификатора. Используя classifySequence функция классифицирует обновленную последовательность.
numFrames = 0; text = ""; while hasFrame(reader) frame = readFrame(reader); numFrames = numFrames + 1; % Update the sequence with the next video frame. sf = updateSequence(sf,frame); % Classify the sequence only at every classifyInterval number of frames. if mod(numFrames, classifyInterval) == 0 && numFrames >= sequenceLength [label,score] = classifySequence(sf); text = string(label) + "; " + num2str(score, "%0.2f"); end frame = insertText(frame,[30,30],text,'FontSize',24); step(player,frame); end
