Предварительная обработка данных

Очистка данных, сглаживание, группировка

Данные могут потребовать, чтобы методы предварительной обработки гарантировали точный, эффективный, или значимый анализ. Очистка данных обращается к методам для поиска, удаления и замены плохих или отсутствующих данных. Обнаружение локальных экстремальных значений и резких изменений может помочь идентифицировать значительные тренды данных. Сглаживание и удаление тренда являются процессами для удаления шумовых и полиномиальных трендов из данных при масштабировании изменений границы данных. Методы группировки и биннинга идентифицируют характеристики данных группами.

Задачи Live Editor

Clean Missing DataНайдите, заполните или удалите недостающие данные в Live Editor
Clean Outlier DataНайдите, заполните или удалите выбросы в Live Editor
Find Change PointsНайдите резкие изменения в данных в Live Editor
Find Local ExtremaНайдите локальные максимумы и минимумы в Live Editor
Smooth DataСглаженные зашумленные данные в Live Editor
Remove TrendsУдалите полиномиальный тренд из данных в Live Editor

Функции

развернуть все

ismissingНайдите отсутствующие значения
rmmissingУдалите недостающие записи
fillmissingЗаполните отсутствующие значения
missingСоздайте отсутствующие значения
standardizeMissingВставьте стандартные отсутствующие значения
isoutlierНайдите выбросы в данных
filloutliersОбнаружьте и замените выбросы в данных
rmoutliersОбнаружьте и удалите выбросы в данных
movmadСкользящее медианное абсолютное отклонение
ischangeНайдите резкие изменения в данных
islocalminНайдите локальные минимумы
islocalmaxНайдите локальные максимумы
smoothdataСглаживайте зашумленные данные
movmeanСкользящее среднее значение
movmedianДвижущаяся медиана
detrendУдалите полиномиальный тренд
normalizeНормируйте данные
rescaleДиапазон шкалы элементов массива
discretizeСгруппировать данные в интервалы или категории
groupcountsКоличество элементов группы
groupfilterФильтр по группе
groupsummaryРасчеты сводных данных группы
grouptransformПреобразуйте группой
histcountsКоличество интервалов гистограммы
histcounts2Количество интервалов двумерной гистограммы
findgroupsНайдите группы и возвратите числа группы
splitapplyРазделите данные в группы и примените функцию
rowfunПримените функцию к строкам таблицы или расписания
varfunПримените функцию к переменным таблицы или расписания
accumarrayНакопите векторные элементы

Темы

Очистка грязных и пропущенных данных в таблицах

В этом примере показано, как найти, уберите и удалите строки таблицы с недостающими данными.

Вычитание тренда из данных

Удаление линейного тренда из данных.

Группировка переменных для разделения данных

Можно использовать сгруппированные переменные, чтобы категоризировать переменные данных.

Разделение данных на группы и вычисление статистики

В этом примере показано, как сгруппировать данные и применяться, статистика функционирует каждой группе.

Разделение данных табличных переменных и применение функций

В этом примере показано, как сгруппировать переменные данных и применить функции к каждой группе.

Рекомендуемые примеры