Функция datastore создает datastore, который является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. Datastore позволяет вам читать и обрабатывать данные, сохраненные в нескольких файлах на диске, удаленном местоположении или базе данных как единственная сущность. Если данные являются слишком большими, чтобы уместиться в памяти, можно управлять инкрементным импортом данных, создать массив tall, чтобы работать с данными или использовать datastore в качестве входного параметра к mapreduce для последующей обработки. Для получения дополнительной информации смотрите Начало работы с Datastore.
Datastore является объектом для чтения единственного файла или набора файлов или данных.
Выберите Datastore for File Format или Application
Выберите правильный datastore на основе формата файла ваших данных или приложения.
Чтение и Анализ большого табличного текстового файла
Этот пример показывает, как создать datastore для файла крупного текста, содержащего табличные данные, и затем считать и обработать данные один фрагмент за один раз или один файл за один раз.
Чтение и Анализ файлов изображений
Этот пример показывает, как создать datastore для набора изображений, считайте файлы изображений и найдите изображения с максимальным средним оттенком, насыщенностью и яркостью (HSV).
Чтение и анализ MAT-файла на основе пар "ключ-значение"
Этот пример показывает, как создать datastore для данных пары "ключ-значение" в MAT-файле, который является выводом mapreduce.
Чтение и анализ файла последовательности Hadoop
Этот пример показывает, как создать datastore для файла Последовательности, содержащего данные в виде пар "ключ-значение".
Работа с удаленными данными в Amazon S3™, Microsoft® Azure® Storage Blob или HDFS™.
Настройте Datastore для обработки на различных машинах или кластерах
Setup datastore на вашей машине, которая может загрузиться и обработанный на другой машине или кластере.
Разработка пользовательского Datastore
Создайте полностью индивидуально настраиваемый datastore для своих пользовательских или собственных данных.
Руководство по тестированию для пользовательских хранилищ данных
После реализации вашего пользовательского datastore следуйте за этой процедурой тестирования, чтобы квалифицировать ваш пользовательский datastore.
