Datastore, для объединения данных, считанных из нескольких базовых хранилищ данных
Используйте CombinedDatastore возразите, чтобы объединить данные, считанные из нескольких других хранилищ данных.
CombinedDatastore обеспечивает четность между базовыми хранилищами данных, так, чтобы данные были считаны из соответствующих частей базовых хранилищ данных. Сброс CombinedDatastore сброс все базовые хранилища данных.
Можно создать CombinedDatastore объект с помощью combine функция. Например, dsnew = combine(ds1,ds2) создает datastore, который комбинирует данные о чтении из хранилищ данных ds1 и ds2.
combine | Объедините данные от нескольких datastores |
hasdata | Определите, доступны ли данные для чтения |
preview | Подмножество данных в datastore |
read | Считайте данные в datastore |
readall | Считывайте все данные в datastore |
writeall | Запишите datastore в файлы |
reset | Сброс Datastore к начальному состоянию |
transform | Преобразуйте datastore |
numpartitions | Количество разделов datastore |
partition | Разделите datastore |
shuffle | Переставьте файлы в datastore |
isPartitionable | Определите, partitionable ли datastore |
isShuffleable | Определите, shuffleable ли datastore |