Datastore, для объединения данных, считанных из нескольких базовых хранилищ данных
Используйте CombinedDatastore
возразите, чтобы объединить данные, считанные из нескольких других хранилищ данных.
CombinedDatastore
обеспечивает четность между базовыми хранилищами данных, так, чтобы данные были считаны из соответствующих частей базовых хранилищ данных. Сброс CombinedDatastore
сброс все базовые хранилища данных.
Можно создать CombinedDatastore
объект с помощью combine
функция. Например, dsnew = combine(ds1,ds2)
создает datastore, который комбинирует данные о чтении из хранилищ данных ds1
и ds2
.
combine | Объедините данные от нескольких datastores |
hasdata | Определите, доступны ли данные для чтения |
preview | Подмножество данных в datastore |
read | Считайте данные в datastore |
readall | Считывайте все данные в datastore |
writeall | Запишите datastore в файлы |
reset | Сброс Datastore к начальному состоянию |
transform | Преобразуйте datastore |
numpartitions | Количество разделов datastore |
partition | Разделите datastore |
shuffle | Переставьте файлы в datastore |
isPartitionable | Определите, partitionable ли datastore |
isShuffleable | Определите, shuffleable ли datastore |