Считывание видеокадров и аудиоотсчетов из сжатого мультимедийного файла
Источники
visionsources
Блок From Multimedia File считывает выборки звука, видеокадры или оба из мультимедийного файла. Блок импортирует данные из файла в модель Simulink ® .
Примечание
Этот блок поддерживает создание кода для хост-компьютера, на котором доступен файловый ввод-вывод. Этот блок нельзя использовать с программным обеспечением Simulink Desktop Real-Time™, так как этот продукт не поддерживает файловый ввод-вывод.
Созданный для этого блока код основан на предварительно созданных файлах библиотеки. Этот код можно запустить вне среды MATLAB ® или повторно развернуть, но при этом следует учитывать эти дополнительные файлы библиотеки. packNGo создает один zip-файл, содержащий все части, необходимые для выполнения или перестроения этого кода. Посмотрите packNGo (Simulink Coder) для получения дополнительной информации.
Чтобы запустить исполняемый файл, созданный из модели, содержащей этот блок, может потребоваться добавить предварительно скомпилированные файлы общей библиотеки к системному пути. Дополнительные сведения см. в разделах Кодер Simulink, Зависимости общей библиотеки Simulink и Ускорение моделей Simulink.
Этот блок позволяет считывать потоки WMA/WMV на диск или через сетевое подключение. Аналогично, блок To Multimedia File позволяет записывать потоки WMA/WMV на диск или через сетевое соединение. Если вы хотите воспроизвести файл MP3/MP4 в Simulink, но у вас нет кодеков, вы можете перекодировать файл как WMA/WMV, которые поддерживаются Toolbox™ Computer Vision.
| Платформа | Поддерживаемые расширения имен файлов |
|---|---|
| Все платформы | AVI (.avi) |
| Windows ® | Изображение:.jpg,.bmp |
| Видео: MPEG ( .mpeg)MPEG-2 ( .mp2)MPEG-1 .mpgMPEG-4, включая H.264 закодированное видео ( .mp4, .m4v)Движение JPEG 2000 ( .mj2)Видео Windows Media ( .wmv,.asf, .asx. asx)и любой формат, поддерживаемый Microsoft DirectShow ® 9.0 или более поздней версии. | |
| Аудио: ВОЛНА ( .wav)Аудиофайл Windows Media ( .wma)Формат файла аудиообмена ( .aif, .aiff) Сжатый формат файла аудиообмена ( .aifc), MP3 ( .mp3)Sun Audio (Sun Аудио) ( .au)Apple .snd) | |
| Макинтош | Видео: .aviДвижение JPEG 2000 ( .mj2)MPEG-4, включая H.264 закодированное видео ( .mp4, .m4v)Фильм Apple QuickTime (.mov) и любой формат, поддерживаемый QuickTime, как указано в http://support.apple.com/kb/HT3775. |
| Аудио: Несжатый .avi | |
| Linux ® | Движение JPEG 2000 (.mj2)Любой формат, поддерживаемый установленными подключаемыми модулями для GStreamer 0.1 или выше, как указано на http://gstreamer.freedesktop.org/documentation/plugins.html, включая Ogg Theora (.ogg). |
Выходные порты блока Из мультимедийного файла изменяются в соответствии с содержимым мультимедийного файла. Если файл содержит только видеокадры, на блоке появляются порты Image, intensity I или R, G, B. Если файл содержит только образцы звука, на блоке появляется порт Audio. Если файл содержит как аудио, так и видео, можно выбрать данные для передачи. В следующей таблице описаны доступные порты.
| Порт | Описание | |||
|---|---|---|---|---|
| Изображение | Цветовой видеосигнал M-by-N-by-P, где P - количество цветовых плоскостей. | |||
| Я | Матрица M-на-N значений интенсивности. | |||
| R, G, B | Матрица, представляющая одну плоскость видеопотока RGB. Выходы портов R, G или B должны иметь одинаковые размеры. | |||
Аудио | Вектор аудиоданных. | |||
Y, Cb, Cr | Матрица, представляющая один кадр видеопотока YCbCr. Порты Y, Cb, Cr обеспечивают следующие выходные сигналы:
|
Частота дискретизации, используемая блоком, зависит от частоты дискретизации аудио и видео. В то время как блок FMMF работает с одной скоростью в Simulink, лежащие в его основе аудио- и видеопотоки могут создавать разные скорости. В некоторых случаях, когда блок выводит как аудио, так и видео, делает небольшую регулировку скорости видео.
| Время выборки = AudioSampleRate . Когда время выборки звука AudioSampleRateFPS не интегрировано, уравнение не может быть уменьшено до . В этом случае для предотвращения проблем синхронизации блок сбрасывает соответствующий видеокадр, когда аудиопоток ведет видеопоток более чем на . Таким образом, блок выводит один видеокадр на каждом временном шаге Simulink. Для вычисления количества отсчетов звука, выводимых на каждом временном шаге, блок делит частоту отсчетов звука на частоту кадров видео (fps). Если частота дискретизации звука не делится равномерно на количество видеокадров в секунду, блок округляет количество дискретизированных звуковых сигналов до ближайшего целого числа. При необходимости блок периодически сбрасывает видеокадр для поддержания синхронизации для больших файлов. |
Укажите имя мультимедийного файла для чтения. Блок определяет тип файла (аудио и видео, только аудио или только видео) и предоставляет соответствующие параметры.
Если расположение файла не указано в пути MATLAB, используйте кнопку «Обзор» для указания полного пути. В противном случае, если местоположение этого файла указано в пути MATLAB, введите только имя файла. На платформах Windows этот параметр поддерживает URL-адреса, указывающие на потоки MMS (Microsoft Media Server).
Установите флажок Наследовать время выборки из файла (Inherit sample time from file), если требуется, чтобы время выборки блока совпадало с временем для мультимедийного файла. Если этот флажок снят, введите время блочной выборки в поле Требуемый параметр времени выборки. Файл, на который ссылается блок «Из мультимедийного файла», определяет время выборки блока по умолчанию. Можно также вручную задать время выборки для этого блока. Если вы не знаете предполагаемую частоту дискретизации видео, пусть блок наследует частоту дискретизации из мультимедийного файла.
Укажите время выборки блока. Этот параметр становится доступным, если снять флажок Наследовать время образца из файла (Inherit sample time from file).
Введите положительное целое число или inf для представления количества воспроизведений файла.
Этот флажок используется для определения того, является ли вывод последним видеокадром или образцом звука в мультимедийном файле. Если этот флажок установлен, на блоке появляется логический выходной порт с меткой EOF. Выходной сигнал порта EOF по умолчанию равен 1, когда последний видеокадр или звуковой образец выводится из блока. В противном случае выходные данные порта EOF по умолчанию равны 0.
Определить Video and audio, Video only, или Audio only тип выходного файла. Этот параметр становится доступным только тогда, когда видеосигнал имеет как аудио, так и видео.
Укажите количество выборок на аудиоканал. Этот параметр становится доступным для файлов, содержащих звук.
Укажите, следует ли выводить блок RGB, Intensity, или YCbCr 4:2:2 видеокадры. Этот параметр становится доступным только для сигнала, содержащего видео. При выборе RGBиспользуйте параметр Сигнал изображения (Image signal), чтобы указать способ вывода цветового сигнала.
Укажите способ вывода цветного видеосигнала. При выборе One multidimensional signalблок выводит цветной видеосигнал M-by-N-by-P, где P - количество цветовых плоскостей, на одном порту. При выборе Separate color signalsв блоке появляются дополнительные порты. Каждый порт выводит одну плоскость M-на-N видеопотока RGB. Этот параметр становится доступным, только если для параметра Цветовое пространство изображения задано значение RGB и сигнал содержит видео.
Выберите Вывод на основе образца (Sample based) или Вывод на основе кадра (Frame based output). Этот параметр появляется при указании файла, содержащего звук, для параметра Имя файла.
Установите тип данных аудиоотсчетов, выводимых в аудиопорте. Этот параметр становится доступным только в том случае, если мультимедийный файл содержит звук. Вы можете выбрать double, single, int16, или uint8 типы.
Установите тип данных видеокадров, выводимых в портах R, G, B или Image. Этот параметр становится доступным только в том случае, если мультимедийный файл содержит видео. Вы можете выбрать double, single, int8, uint8, int16, uint16, int32, uint32, или Inherit from file типы.
Для правильного отображения видеоданных исходными блоками значения пикселей с плавающей запятой с двойной и одинарной точностью должны быть между 0 и 1. Для других типов данных значения пикселов должны быть между минимальным и максимальным значениями, поддерживаемыми их типом данных.
| Порт | Поддерживаемые типы данных | Поддерживает комплексные значения? |
|---|---|---|
Изображение |
| Нет |
R, G, B | Совпадает с портом образа | Нет |
Аудио |
| Нет |
Y, Cb, Cr | Совпадает с портом образа | Нет |
| В мультимедийный файл | Инструментарий компьютерного зрения |
| Укажите время образца (Simulink) | Simulink |