Квантили набора данных
Y = quantile(X,p)X для кумулятивной вероятности или вероятностей p в интервале [0,1].
Если X является вектором, то Y является скаляром или вектором, имеющим ту же длину, что и p.
Если X является матрицей, то Y является вектором строки или матрицей, где число строк Y равна длине p.
Для многомерных массивов: quantile работает по первому несинглтонному размеру X.
Y = quantile(X,N)N равномерно разнесенные кумулятивные вероятности (1/(N + 1), 2/(N + 1), ..., N/(N + 1)) для целого числа N>1.
Если X является вектором, то Y скаляр или вектор с длиной N.
Если X является матрицей, то Y является матрицей, где число строк Y равно N.
Для многомерных массивов: quantile работает по первому несинглтонному размеру X.
Y = quantile(___,vecdim)vecdim для любого из первых двух синтаксисов. Например, если X является матрицей, то quantile(X,0.5,[1 2]) возвращает квантиль 0,5 всех элементов X поскольку каждый элемент матрицы содержится в срезе массива, определяемом размерами 1 и 2.
T-дайджест [2] - вероятностная структура данных, являющаяся разреженным представлением эмпирической кумулятивной функции распределения (CDF) набора данных. T-дайджест полезен для вычисления аппроксимаций основанной на рангах статистики (таких как процентили и квантили) из онлайновых или распределенных данных таким образом, чтобы обеспечить управляемую точность, особенно вблизи хвостов распределения данных.
Для данных, которые распределены в различных разделах, t-дайджест вычисляет оценки квантилей (и оценки процентилей) для каждого раздела данных отдельно, а затем объединяет оценки с сохранением постоянной границы памяти и постоянной относительной точности вычисления ( q) для qth квантиля). По этим причинам t-дайджест практичен для работы с массивами таллов.
Чтобы оценить квантили массива, который распределен в различных разделах, сначала создайте t-дайджест в каждом разделе данных. T-дайджест группирует данные в разделе и суммирует каждый кластер по значению центроида и накопленному весу, который представляет количество выборок, вносящих вклад в кластер. T-дайджест использует большие кластеры (широко разнесенные центроиды) для представления областей CDF, которые находятся вблизи q = 0.5 и использует небольшие кластеры (плотно разнесенные центроиды) для представления областей CDF, которые находятся вблизи q = 0 или q = 1.
T-дайджест управляет размером кластера, используя функцию масштабирования, которая отображает квантиль q в индекс k с параметром сжатия . То есть
1) δ + 12),
где отображение k монотонно с минимальным значением k (0, δ) = 0 и максимальным значением k (1, δ) = δ. На следующем рисунке показана функция масштабирования для δ = 10.
Функция масштабирования преобразует квантиль q в коэффициент масштабирования k, чтобы дать шаги переменного размера в q. В результате размеры кластера неравны (больше вокруг центральных квантилей и меньше вблизи q = 0 или q = 1). Меньшие кластеры обеспечивают лучшую точность вблизи краев данных.
Чтобы обновить t-дайджест с новым наблюдением, которое имеет вес и местоположение, найдите кластер, ближайший к новому наблюдению. Затем добавьте вес и обновите центроид кластера на основе средневзвешенного значения при условии, что обновленный вес кластера не превышает ограничения по размеру.
Можно объединить независимые t-дайджесты из каждого раздела данных, взяв объединение t-дайджестов и объединив их центроиды. Чтобы объединить t-дайджесты, сначала отсортируйте кластеры из всех независимых t-дайджестов в порядке убывания масс кластеров. Затем объедините соседние кластеры, когда они удовлетворяют ограничению размера, чтобы сформировать новый t-дайджест.
После формирования t-дайджеста, представляющего полный набор данных, можно оценить конечные точки (или границы) каждого кластера в t-дайджесте, а затем использовать интерполяцию между конечными точками каждого кластера, чтобы найти точные оценки квантилей.
Для вектора n-элемента X, quantile вычисляет квантили, используя алгоритм, основанный на сортировке, следующим образом:
Отсортированные элементы в X принимают за квантили (0,5/n), (1,5/n),..., ([n-0,5 ]/n). Например:
Для вектора данных из пяти элементов, таких как {6, 3, 2, 10, 1}, отсортированные элементы {1, 2, 3, 6, 10} соответственно соответствуют квантилям 0,1, 0,3, 0,5, 0,7, 0,9.
Для вектора данных из шести элементов, таких как {6, 3, 2, 10, 8, 1}, отсортированные элементы {1, 2, 3, 6, 8, 10} соответственно соответствуют квантилям (0,5/6), (1,5/6), (2,5/6), (3,5/6), (4,5/6), (5,5/6).
quantile использует линейную интерполяцию для вычисления квантилей вероятностей между (0,5/n) и ([n-0,5 ]/n).
Для квантилей, соответствующих вероятностям за пределами этого диапазона, quantile назначает минимальные или максимальные значения элементов в X.
quantile удовольствия NaNs как отсутствующие значения и удаляет их.
[1] Лэнгфорд, Э. «Квартили в начальной статистике», Журнал статистики образования. т. 14, № 3, 2006.