The datastore функция создает datastore, который является репозиторием для наборов данных, которые являются слишком большими, чтобы помещаться в памяти. datastore позволяет вам читать и обрабатывать данные, хранящиеся в нескольких файлах на диске, в удаленном местоположении или в базе данных, как одна сущность. Если данные слишком большие, чтобы помещаться в памяти, можно управлять инкрементальным импортом данных, создать tall массив для работы с данными или используйте datastore в качестве входов для mapreduce для дальнейшей обработки. Дополнительные сведения см. в разделе Начало работы с Datastore.
datastore является объектом для чтения одного файла или набора файлов или данных.
Выберите Datastore для формата файла или приложения
Выберите правильный datastore на основе формата файла ваших данных или приложения.
Чтение и анализ большого табличного текстового файла
В этом примере показано, как создать datastore для большого текстового файла, содержащего табличные данные, а затем считать и обрабатывать данные по одному блоку за раз или по одному файлу за раз.
Чтение и анализ файлов изображений
В этом примере показано, как создать datastore для набора изображений, прочитать файлы изображений и найти изображения с максимальным средним оттенком, насыщением и яркостью (HSV).
Чтение и анализ MAT-файла с помощью Данного в виде пара "ключ-значение"
В этом примере показано, как создать datastore для данных пары "ключ-значение" в MAT-файле, который является выходом mapreduce.
Чтение и анализ файла последовательности Hadoop
В этом примере показано, как создать datastore для файла Sequence, содержащего данные в виде пары "ключ-значение".
Работа с удаленными данными в Amazon S3™, Azure® Хранилище больших двоичных объектов или HDFS™.
Настройте Datastore для обработки на разных машинах или кластерах
Установите datastore на вашем компьютере, который можно загрузить и обработать на другом компьютере или кластере.
Разрабатывайте пользовательский Datastore
Создайте полностью настроенный datastore для пользовательских или собственных данных.
Разрабатывайте пользовательский Datastore для данных DICOM
В этом примере показано, как разработать пользовательский datastore, который поддерживает операции записи.
Руководства по тестированию для пользовательских хранилищ данных
После реализации пользовательского datastore, выполните эту процедуру тестирования, чтобы проверить свой пользовательский datastore.