Предварительная обработка данных

Очистка данных, сглаживание, группировка

Данные могут потребовать предварительной обработки методов для обеспечения точного, эффективный, или содержательного анализа. Очистка данных относится к методам поиска , удаление и замена плохих или отсутствующих данных. Обнаружение локальных экстремумов и резких изменений может помочь идентифицировать значительные тренды данных. Сглаживание и удаление тренда являются процессами для удаления шума и полиномиальных трендов из данных, в то время как масштабирование изменяет границы данных. Методы группировок и раскладывания идентифицируют характеристики данных по группам.

Задачи Live Editor

Clean Missing DataПоиск, заполнение или удаление отсутствующих данных в Live Editor
Clean Outlier DataПоиск, заполнение или удаление выбросов в Live Editor
Find Change PointsНайдите внезапные изменения данных в Live Editor
Find Local ExtremaНайти локальные максимумы и минимумы в Live Editor
Smooth DataСглаживайте зашумленные данные в Live Editor
Remove TrendsУдалите полиномиальный тренд из данных в Live Editor

Функции

расширить все

ismissingНайти отсутствующие значения
rmmissingУдалить отсутствующие записи
fillmissingЗаполните отсутствующие значения
missingСоздайте отсутствующие значения
standardizeMissingВставка стандартных отсутствующих значений
isoutlierНайти выбросы в данных
filloutliersОбнаружение и замена выбросов в данных
rmoutliersОбнаружение и удаление выбросов в данных
movmadСкользящее медианное абсолютное отклонение
ischangeОбнаружение резких изменений в данных
islocalminНайти локальные минимумы
islocalmaxНайти локальные максимумы
smoothdataСглаживайте зашумленные данные
movmeanСкользящее среднее значение
movmedianДвижущаяся медиана
detrendУдалите полиномиальный тренд
normalizeНормализуйте данные
rescaleМасштабная область значений элементов массива
discretizeСгруппировать данные в интервалы или категории
groupcountsКоличество элементов группы
groupfilterФильтрация по группам
groupsummaryГруппирование сводных данных расчетов
grouptransformПреобразование по группам
histcountsКоличества интервалов гистограммы
histcounts2Двухмерные количества интервалов гистограммы
findgroupsПоиск групп и возврат номеров групп
splitapplyРазделите данные на группы и примените функцию
rowfunПрименить функцию к строкам таблицы или расписания
varfunПрименить функцию к переменным таблицы или расписания
accumarrayНакопление векторных элементов

Темы

Очистка грязных и пропущенных данных в таблицах

В этом примере показано, как найти, очистить и удалить строки таблицы с отсутствующими данными.

Вычитание тренда из данных

Удалите линейные тренды из данных.

Группировка переменных для разделения данных

Можно использовать сгруппированные переменные для классификации переменных данных.

Разделение данных на группы и вычисление статистики

В этом примере показано, как сгруппировать данные и применить функции статистики к каждой группе.

Разделение данных табличных переменных и применение функций

В этом примере показано, как сгруппировать переменные данных и применить функции к каждой группе.

Рекомендуемые примеры