From Multimedia File
Считайте видеокадры и аудиосэмплы из мультимедийного файла
- Библиотека:
Computer Vision Toolbox / источники
Описание
Блок From Multimedia File читает видеокадры, аудиосэмплы или обоих из мультимедийного файла. Блок импортирует данные из файла, поддерживаемого формата файла, в Simulink® модель. Для получения дополнительной информации о поддерживаемых форматах файлов, смотрите Поддерживаемые платформы и Форматы файлов.
Этот блок позволяет вам считать WMA или потоки WMV от вашей системы или по сетевому подключению. Точно так же блок To Multimedia File позволяет вам записать WMA или потоки WMV к вашей системе или по сетевому подключению. Если ваша система не имеет кодека необходимым, чтобы поддержать формат файла, необходимо повторно закодировать файлы того формата в формат файла, поддержанный Computer Vision Toolbox™.
Если у вас есть лицензия Simulink Coder™, можно сгенерировать код из модели, содержащей этот блок. Чтобы запустить сгенерированный исполняемый файл, вы, возможно, должны добавить предварительно скомпилированные совместно использованные файлы библиотеки в свой системный путь. Для получения дополнительной информации смотрите Simulink Разделяемые Библиотечные зависимости и Ускоряющиеся Модели Simulink.
Примечание
Этот блок поддерживает генерацию кода для хоста - компьютера, который имеет файловый ввод-вывод в наличии. Вы не можете использовать этот блок с программным обеспечением Simulink Desktop Real-Time™, потому что тот продукт не делает ввода-вывода файла поддержки.
Порты
Вывод
Image — Цветное изображение или видеокадр
массив
Цветное изображение или видеокадр, возвращенный как M-by-N-by-P массив. M и N являются количеством строк и столбцов в каждом изображении. P является количеством цветовых каналов в каждом изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
RGBи параметр Image signal кOne multidimensional signal.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32 | Simulink.ImageType
I — Полутоновое изображение или видеокадр
матрица
Полутоновое изображение или видеокадр, возвращенный как M-by-N матрица. M и N являются количеством строк и столбцов в полутоновом изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
Intensity.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32
R — Красный компонент цвета фрейма изображения или видеокадра
матрица
Красный компонент цвета фрейма изображения или видеокадра, возвращенного как M-by-N матрица. M и N являются количеством строк и столбцов в изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
RGBи параметр Image signal кSeparate color signals.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32
G — Зеленый компонент цвета фрейма изображения или видеокадра
матрица
Зеленый компонент цвета фрейма изображения или видеокадра, возвращенного как M-by-N матрица. M и N являются количеством строк и столбцов в изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
RGBи параметр Image signal кSeparate color signals.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32
B — Синий компонент цвета фрейма изображения или видеокадра
матрица
Синий компонент цвета фрейма изображения или видеокадра, возвращенного как M-by-N матрица. M и N являются количеством строк и столбцов в изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
RGBи параметр Image signal кSeparate color signals.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32
Y — Компонент Luma фрейма изображения или видеокадра
матрица
Компонент Luma фрейма изображения или видеокадра, возвращенного как M-by-N матрица. M и N являются количеством строк и столбцов в изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
YCbCr 4:2:2.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32
Cb — Компонент цветности синего различия фрейма изображения или видеокадра
матрица
Компонент цветности синего различия фрейма изображения или видеокадра, возвращенного как M-by-N/2 матрица. M и N являются количеством строк и столбцов во входном изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
YCbCr 4:2:2.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32
Cr — Компонент цветности Красного различия фрейма изображения или видеокадра
матрица
Компонент цветности Красного различия фрейма изображения или видеокадра, возвращенного как M-by-N/2 матрица. M и N являются количеством строк и столбцов в каждом входном изображении.
Зависимости
Включить этот порт:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные или данные изображения. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
YCbCr 4:2:2.
Типы данных: single | double | int8 | int16 | int32 | uint8 | uint16 | uint32
Audio Звуковой сигнал
вектор | матрица
Звуковой сигнал, возвращенный как M - вектор элемента или M-by-N матрица. M является количеством отсчетов в каждом канале, и N является количеством каналов.
Зависимости
Чтобы включить этот порт, установите параметр File name на имя мультимедийного файла, который содержит аудиоданные. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на Audio only или Video and audio.
Типы данных: single | double | int16 | uint8
EOF — Индикатор конца файла
скаляр
Индикатор конца файла, возвращенный как логический скаляр для каждого видеокадра или аудиосэмпла. Индикатором конца файла является 1 когда блок выводит итоговый видеокадр или аудиосэмпл из файла, и является 0 в противном случае.
Зависимости
Чтобы включить этот порт, выберите параметр Output end-of-file indicator.
Типы данных: Boolean
Параметры
Main
File name — Имя мультимедийного файла
vipmen.avi (значение по умолчанию) | вектор символов
Задайте имя мультимедийного файла для блока, чтобы читать. Если файл не расположен на вашем MATLAB® путь, выберите Browse и перейдите к файлу или задайте полный путь к файлу.
На Microsoft® Windows® платформы, этот параметр поддерживает URL, которые указывают на потоки Microsoft Media Server (MMS).
Inherit sample time from file — Наследуйте шаг расчета от файла
on (значение по умолчанию) | off
Задайте, наследовал ли блок шаг расчета от мультимедийного файла или использует заданный шаг расчета. Когда вы выбираете этот параметр, блок наследовал шаг расчета от входного файла мультимедиа.
Совет
Выберите этот параметр, когда вы не будете знать намеченную частоту дискретизации мультимедийного файла.
Desired sample time — Блокируйте шаг расчета
1/30
Задайте шаг расчета для блока.
Зависимости
Чтобы включить этот параметр, очистите параметр Inherit sample time from file.
Number of times to play file — Число раз, чтобы проигрывать мультимедийный файл
inf (значение по умолчанию) | действительное положительное целое число
Задайте число раз, чтобы проигрывать входной файл мультимедиа. Значение по умолчанию inf указывает что повторения блока, проигрывая мультимедийный файл до времени остановки симуляции.
Output end-of-file indicator — Индикатор конца файла
off (значение по умолчанию) | on
Выберите этот параметр, чтобы включить порт EOF, который указывает, являются ли выходная система координат или выборка итоговым видеокадром или аудиосэмплом в мультимедийном файле.
Multimedia outputs — Тип медиа-контента
Video only (значение по умолчанию) | Audio only | Video and audio
Задайте тип медиа-контента, чтобы читать из файла, содержащего и видеоданные и аудиоданные.
Зависимости
Чтобы включить этот параметр, установите параметр File name на имя мультимедийного файла, который содержит и аудиоданные и видеоданные.
Output color format — Цветной формат видео
RGB (значение по умолчанию) | Intensity | YCbCr 4:2:2
Задайте формат цвета вывода входных видеоданных. Блок поддерживает RGB, Intensity, и YCbCr 4:2:2 цветные форматы.
Зависимости
Чтобы включить этот параметр, установите параметр File name на имя мультимедийного файла, который содержит видеоданные. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на Video only или Video and audio.
Image signal — Настройка выходного порта для видео RGB
One multidimensional signal (значение по умолчанию) | Separate color signals | Simulink image signal
Задайте, как блок выводит видео цвета RGB. Если вы выбираете One multidimensional signal, блок выводит видеоданные с помощью только порт Image. Если вы выбираете Separate color signals, блок выводит видеоданные с помощью трех отдельных цветовых каналов, разделенных через R, G и порты B. Если вы выбираете Simulink image signal, блок выводит видео в Simulink.ImageType тип данных.
Зависимости
Включить этот параметр:
Установите параметр File name на имя мультимедийного файла, который содержит видеоданные. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на
Video onlyилиVideo and audio.Установите параметр Output color format на
RGB.
Read range — Область значений аудиосэмплов
[1 Inf] (значение по умолчанию) | двухэлементный вектор-строка
Укажите диапазон аудиосэмплов, чтобы читать из входного файла как двухэлементный вектор-строка из формы [StartSample EndSample]. StartSample первая выборка чтения блока от звукового файла и EndSample финал, производят чтения блока от звукового файла. StartSample должен быть больше или быть равен 1. EndSample должен быть больше StartSample.
Зависимости
Чтобы включить этот параметр, установите параметр File name на имя мультимедийного файла, который содержит аудиоданные. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на Audio only.
Samples per audio channel — Выборки на звуковой канал
1024
Задайте количество отсчетов на звуковой канал.
Зависимости
Чтобы включить этот параметр, установите параметр File name на имя мультимедийного файла, который содержит аудиоданные. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на Audio only.
Data Types
Video output data type — Тип данных видеовыхода
single (значение по умолчанию) | double | int8 | uint8 | int16 | uint16 | int32 | uint32 | Inherit from file
Задайте тип данных для выходных видеокадров.
Зависимости
Чтобы включить этот параметр, установите параметр File name на имя мультимедийного файла, который содержит видеоданные. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на Video only или Video and audio.
Audio output data type — Тип данных аудиовыхода
int16 (значение по умолчанию) | double | single | uint8
Задайте тип данных для выходных аудиосэмплов.
Зависимости
Чтобы включить этот параметр, установите параметр File name на имя мультимедийного файла, который содержит аудиоданные. Если заданный файл содержит и аудиоданные и видеоданные, установите параметр Multimedia outputs на Audio only или Video and audio.
Характеристики блока
Больше о
Поддерживаемые платформы и форматы файлов
То, какие поддерживаемые форматы файлов доступны для вас, зависит от кодеков, установленных в вашей системе.
| Платформа | Поддерживаемые форматы файлов |
|---|---|
| Все платформы | AVI (.avi)Motion JPEG 2000 ( .mj2) |
|
Microsoft Windows | Изображение: JPEG ( .jpg)Битовый массив ( .bmp) |
| Видео: MPEG ( .mpeg)MPEG-2 ( .mp2)MPEG-1 ( .mpg)MPEG-4, включая H.264 закодировал видео ( .mp4, .m4v)Windows Media Video ( .wmv, .asf, .asx)Любой формат поддержан Microsoft DirectShow® 9.0 или выше. | |
| Аудио: WAVE ( .wav)Файл Windows Media Audio ( .wma)Аудио формат файла обмена ( .aif, .aiff) Сжатый аудио формат файла обмена ( .aifc) MP3 ( .mp3)Аудио Sun ( .au)Apple ( .snd) | |
| macOS | Видео: MPEG-4, включая H.264 закодировал видео ( .mp4, .m4v)Фильм в формате QuickTime Apple ( .mov) Любой формат поддержан QuickTime. |
| Аудио: Несжатый AVI ( .avi) | |
| Linux® | Любой формат, поддержанный вашими установленными плагинами для GStreamer 0.1 или выше, включая Ogg Theora (.ogg). |
Вычисления шага расчета, используемые для видеофайлов и звуковых файлов
Частота дискретизации, что использование блока зависит от аудио и видео частоты дискретизации. В то время как блок действует на одном уровне в Simulink, базовые аудио-и видеопотоки могут произвести различные уровни. В некоторых случаях блок вносит маленькую корректировку в видеочастоту когда блок выходные параметры и аудио и видео.
Шаг расчета = . AudioSampleRate является частотой дискретизации для аудиоданных, и FPS является частотой видеокадров.
Когда время аудиосэмпла, , не целое число, уравнение не может уменьшать до .
Предотвратить проблемы синхронизации, когда аудиопоток приводит видеопоток больше, чем , блок пропускает соответствующий видеокадр.
Таким образом, блок выводит один видеокадр на каждом временном шаге Simulink. Чтобы вычислить количество аудиосэмплов, чтобы вывести на каждом временном шаге, блок делит частоту дискретизации звука на частоту видеокадров. Если частота дискретизации звука не делится равномерно на количество видеокадров в секунду (кадр/с), блок округляет количество аудиосэмплов до самого близкого целого числа. При необходимости блок периодически пропускает видеокадр, чтобы обеспечить синхронизацию для больших файлов.
Расширенные возможности
Генерация кода C/C++
Генерация кода C и C++ с помощью Simulink® Coder™.
Указания и ограничения по применению:
Хост - компьютер только. Исключает генерацию кода Simulink Desktop Real-Time.
Исполняемый файл, сгенерированный от этого блока, использует предварительно созданные динамические файлы библиотеки (
.dllфайлы) включенный с MATLAB. ИспользуйтеpackNGo(Simulink Coder) функция, чтобы группировать код, сгенерированный от этого блока и всех соответствующих файлов в сжатом zip-файле. Используя этот zip-файл, можно переместить, распаковать и восстановить проект в другой среде разработки, где MATLAB не установлен.