Чтение видеокадров и аудио выборок из сжатого мультимедийного файла
Источники
visionsources
Блок From Multimedia File считывает аудио выборки, видеокадры или оба из мультимедийного файла. Блок импортирует данные из файла в Simulink® модель.
Примечание
Этот блок поддерживает генерацию кода для хоста-компьютера, которая имеет доступные вводы-выводы файла. Вы не можете использовать этот блок с программным обеспечением Simulink Desktop Real-Time™, потому что этот продукт не поддерживает ввод-вывод файлов.
Сгенерированный код для этого блока полагается на предварительно построенные файлы библиотеки. Вы можете запустить этот код вне MATLAB® окружение, или перенаправить ее, но обязательно учитывайте эти дополнительные файлы библиотеки при этом. packNGo функция создает одну zip- файла, содержащую все части, необходимые для выполнения или перестройки этого кода. Посмотрите packNGo (Simulink Coder) для получения дополнительной информации.
Чтобы запустить исполняемый файл, который был сгенерирован из модели, содержащей этот блок, вам, возможно, потребуется добавить предварительно скомпилированные файлы общей библиотеки к системному пути. Для получения дополнительной информации смотрите Simulink Coder, Simulink Shared Библиотечные Зависимости и Accelerating Simulink Models.
Этот блок позволяет вам считывать потоки WMA/WMV на диск или через сетевое соединение. Аналогично, блок To Multimedia File позволяет вам записывать потоки WMA/WMV на диск или через сетевое соединение. Если вы хотите воспроизвести файл MP3/MP4 в Simulink, но у вас нет кодеков, можно повторно закодировать файл как WMA/WMV, которые поддерживаются Computer Vision Toolbox™.
| Платформа | Поддерживаемые расширения имен файлов |
|---|---|
| Все платформы | AVI (.avi) |
| Windows® | Изображение:.jpg, .bmp |
| Видео: MPEG ( .mpeg)MPEG-2 ( .mp2)MPEG-1 .mpgMPEG-4, включая H.264 закодированное видео ( .mp4, .m4v)Motion JPEG 2000 ( .mj2)Windows Media Video ( .wmv, .asf, .asx. asx)и любой формат, поддерживаемый Microsoft DirectShow ® 9.0 или выше. | |
| Аудио: ВОЛНА ( .wav)Аудио- Файл Windows Media ( .wma)Формат файла обмена аудио ( .aif, .aiff) Сжатый формат файла обмена аудио (.aifc), MP3 ( .mp3)Аудио Солнца ( .au)Apple ( .snd) | |
| Макинтош | Видео: .aviMotion JPEG 2000 ( .mj2)MPEG-4, включая H.264 закодированное видео ( .mp4, .m4v)Apple QuickTime Movie (.mov) и любой формат, поддерживаемый QuickTime, как указано в http://support.apple.com/kb/HT3775. |
| Аудио: Несжатые .avi | |
| Linux® | Motion JPEG 2000 (.mj2)Любой формат, поддерживаемый установленными плагинами для GStreamer 0.1 или выше, как указано на http://gstreamer.freedesktop.org/documentation/plugins.html, включая Ogg Theora (.ogg). |
Порты выхода блока From Multimedia File изменяются в соответствии с содержанием мультимедийного файла. Если файл содержит только видеокадры, на блоке появляются Image, I интенсивности или R, G B порты. Если файл содержит только звуковые выборки, на блоке появляется Audio порт. Если файл содержит как аудио, так и видео, можно выбрать данные для излучения. В следующей таблице описаны доступные порты.
| Порт | Описание | |||
|---|---|---|---|---|
| Image | Цветовой видеосигнал M-на-N-на-P, где P - количество цветовых плоскостей. | |||
| I | M-на-N матрица значений интенсивности. | |||
| R, G, B | Матрица, которая представляет одну плоскость видеопотока RGB. Выходы портов R, G или B должны иметь одинаковые размерности. | |||
Audio | Вектор аудио данных. | |||
Y, Cb, Cr | Матрица, которая представляет одну систему координат видеопотока YCbCr. Порты Y, Cb, Cr производят следующие выходы:
|
Частота дискретизации, которую использует блок, зависит от частоты дискретизации аудио и видео. В то время как блок FMMF работает с одной скоростью в Simulink, базовые аудио- и видеопотоки могут создавать различные скорости. В некоторых случаях, когда блок выводит и аудио, и видео, делает небольшую настройку скорости видео.
| Шаг расчета = . Когда аудио шага расчета, является нецелым числом, уравнение не может уменьшаться до . В этом случае, чтобы предотвратить проблемы синхронизации, блок отбрасывает соответствующий видеокадр, когда аудиопоток ведет видеопоток больше, чем . Сводные данные, блок выводит один видеокадр на каждом временном шаге Simulink. Чтобы вычислить количество выборок аудио для вывода на каждом временном шаге, блок делит скорость дискретизации аудио на частоту видеокадров (fps). Если частота дискретизации аудио не делится равномерно на количество видеокадров в секунду, блок округляет количество выборок аудио до ближайшего целого числа. При необходимости блок периодически отбрасывает видеокадр для поддержания синхронизации больших файлов. |
Укажите имя мультимедийного файла, из которого нужно считать. Блок определяет тип файла (только аудио и видео, аудио или видео) и предоставляет соответствующие параметры.
Если местоположение файла не отображается в пути MATLAB, используйте кнопку Browse, чтобы задать полный путь. В противном случае, если местоположение этого файла отображается в пути MATLAB, введите только имя файла. На платформах Windows этот параметр поддерживает URL-адреса, указывающие на потоки MMS (Microsoft Media Server).
Установите флажок Inherit sample time from file, если необходимо, чтобы шаг расчета блоков совпадал с мультимедийным файлом. Если этот флажок снят, введите блок шага расчета в поле параметра Desired sample time. Файл, на который ссылается From Multimedia File блок, определяет шаг расчета блока по умолчанию. Можно также задать шаг расчета для этого блока вручную. Если вы не знаете предполагаемую частоту дискретизации видео, пусть блок наследует частоту дискретизации из мультимедийного файла.
Задайте шаг расчета блока. Этот параметр становится доступным, если снять флажок Inherit sample time from file.
Введите положительное целое или inf для представления количества раз воспроизведения файла.
Используйте этот флажок, чтобы определить, является ли выход последним видеокадром или аудио выборки в мультимедийном файле. При установке этого флажка на блоке появляется логический выходной порт с меткой EOF. Значение выхода от порта EOF по умолчанию равняется 1, когда из блока выводится последний видеокадр или аудио выборки. В противном случае выход порта EOF по умолчанию равен 0.
Задайте Video and audio, Video only, или Audio only выход файла. Этот параметр становится доступным только, когда видеосигнал имеет и аудио, и видео.
Задайте количество выборок на аудиоканал. Этот параметр становится доступным для файлов, содержащих аудио.
Укажите, нужно ли выводить блок RGB, Intensity, или YCbCr 4:2:2 видеокадры. Этот параметр становится доступным только для сигнала, который содержит видео. Если вы выбираете RGB, используйте параметр Image signal, чтобы задать, как вывести сигнал цвета.
Задайте, как вывести цветной видеосигнал. Если вы выбираете One multidimensional signalблок выводит цветовой видеосигнал M-на-N-на-P, где P - количество цветовых плоскостей, на один порт. Если вы выбираете Separate color signalsна блоке появляются дополнительные порты. Каждый порт выводит одну плоскость M-на-N видеопотока RGB. Этот параметр становится доступным, только если установить параметр Image color space равным RGB и сигнал содержит видео.
Выберите Sample based или Frame based выход. Этот параметр появляется, когда вы задаете файл, содержащий аудио для параметра File name.
Установите тип данных выборок, выводимых в Audio port. Этот параметр становится доступным, только если мультимедийный файл содержит аудио. Вы можете выбрать double, single, int16, или uint8 типы.
Установите тип данных видеокадров, выводимых в портах R, G, B или Image. Этот параметр становится доступным, только если мультимедийный файл содержит видео. Вы можете выбрать double, single, int8, uint8, int16, uint16, int32, uint32, или Inherit from file типы.
Чтобы исходные блоки правильно отображали данные видео, пиксельные значения двойной и одинарной точности с плавающей точкой должны быть между 0 и 1. Для других типов данных значения пикселей должны быть между минимальным и максимальным значениями, поддерживаемыми их типом данных.
| Порт | Поддерживаемые типы данных | Поддерживает комплексные числа? |
|---|---|---|
Изображение |
| Нет |
R, G, B | То же, что и порт Image | Нет |
Аудио |
| Нет |
Y, Cb, Cr | То же, что и порт Image | Нет |
| To Multimedia File | Computer Vision Toolbox |
| Задайте шаг расчета (Simulink) | Simulink |
