datastore создает хранилище данных, которое является хранилищем для коллекций данных, слишком больших для размещения в памяти. Хранилище данных позволяет считывать и обрабатывать данные, хранящиеся в нескольких файлах на диске, в удаленном расположении или в базе данных, как единый объект. Если данные слишком велики для размещения в памяти, можно управлять инкрементным импортом данных, создать tall массив для работы с данными или использовать хранилище данных в качестве входных данных для mapreduce для дальнейшей обработки. Дополнительные сведения см. в разделе Начало работы с хранилищем данных.
Начало работы с хранилищем данных
Хранилище данных - это объект для чтения одного файла или коллекции файлов или данных.
Выберите хранилище данных для формата файла или приложения
Выберите правильное хранилище данных в соответствии с форматом файла данных или приложения.
Чтение и анализ большого табличного текстового файла
В этом примере показано, как создать хранилище данных для большого текстового файла, содержащего табличные данные, а затем считывать и обрабатывать данные по одному блоку или по одному файлу за один раз.
Чтение и анализ файлов изображений
В этом примере показано, как создать хранилище данных для коллекции изображений, прочитать файлы изображений и найти изображения с максимальным средним оттенком, насыщенностью и яркостью (HSV).
Чтение и анализ MAT-файла с данными ключевых значений
В этом примере показано, как создать хранилище данных для данных пары ключ-значение в MAT-файле, который является выходом mapreduce.
Чтение и анализ файла последовательности Hadoop
В этом примере показано, как создать хранилище данных для файла Sequence, содержащего данные ключевых значений.
Работа с удаленными данными в Amazon S3™, Azure ® Blob Storage или HDFS™.
Настройка хранилища данных для обработки на различных машинах или кластерах
Установите на компьютере хранилище данных, которое можно загрузить и обработать на другом компьютере или кластере.
Разработка пользовательского хранилища данных
Создайте полностью настроенное хранилище данных для пользовательских или собственных данных.
Разработка пользовательского хранилища данных для данных DICOM
В этом примере показано, как создать пользовательское хранилище данных, поддерживающее операции записи.
Рекомендации по тестированию пользовательских хранилищ данных
После внедрения настраиваемого хранилища данных выполните эту процедуру тестирования, чтобы получить квалификацию настраиваемого хранилища данных.