Exponenta Banner
exponenta event banner

mecabOptions

Параметры токенизации MeCab

развернуть все на странице

Описание

A mecabOptions объект задает дополнительные параметры для маркирования японского и корейского текста.

Для токенизации с использованием указанных параметров токенизации MeCab используйте 'TokenizeMethod' вариант tokenizedDocument.

Создание

Синтаксис

options = mecabOptions
options = mecabOptions (имя, значение)

Описание

пример

options = mecabOptions создает набор параметров токенизации MeCab со значениями по умолчанию для токенизации японского языка.

пример

options = mecabOptions(Name,Value) дополнительно задает дополнительные свойства, используя один или несколько аргументов пары имя-значение.

Свойства

развернуть все

Путь к обучаемой модели (словарь MeCab), указанный как строковый скаляр или символьный вектор.

Значением по умолчанию является путь к внутреннему словарю для японской токенизации.

Пример: "C:\myDict"

Типы данных: char | string

Файл, содержащий расширение модели (пользовательский словарь MeCab .dic файл), указанный как строковый скаляр или символьный вектор.

Пример: "C:\myFile.dic"

Типы данных: char | string

Функция извлечения леммы из ответа MeCab, указанная как дескриптор функции.

Функция должна иметь форму lemmata = fun(words,info), где words является строковым вектором токенов и info является структурой со следующими полями:

  • Feature - Строковый вектор токенов того же размера, что и words содержит выходные строки MeCab в формате ChaSen без самих разделенных маркеров.

  • PartOfSpeech - Числовой код, используемый внутри словаря для классификации части речи.

Продукция lemmata является строковым массивом того же размера, что и words содержащий извлеченные лемматы.

Экстрактор леммы по умолчанию - textanalytics.ja.mecabToLemma функция.

Типы данных: function_handle

Функция извлечения части речевой информации из ответа MeCab, указанного как дескриптор функции.

Функция должна иметь форму posTags = fun(words,info), где words является строковым вектором токенов и info является структурой со следующими полями:

  • Feature - Строковый вектор токенов того же размера, что и words содержит выходные строки MeCab в формате ChaSen без самих разделенных маркеров.

  • PartOfSpeech - Числовой код, используемый внутри словаря для классификации части речи.

Продукция posTags - категориальный массив того же размера, что и words содержащий извлеченные теги части речи из следующих категорий:

  • adjective

  • adposition

  • adverb

  • auxiliary-verb

  • coord-conjunction

  • determiner

  • interjection

  • noun

  • numeral

  • pronoun

  • proper-noun

  • punctuation

  • symbol

  • verb

  • other

Экстрактором части речевой информации по умолчанию является textanalytics.ja.mecabToPOS функция.

Типы данных: function_handle

Функция, извлекающая информацию именованного объекта из ответа MeCab, указанного как дескриптор функции.

Функция должна иметь форму entities = fun(words,info), где words является строковым вектором токенов и info является структурой со следующими полями:

  • Feature - Строковый вектор токенов того же размера, что и words содержит выходные строки MeCab в формате ChaSen без самих разделенных маркеров.

  • PartOfSpeech - Числовой код, используемый внутри словаря для классификации части речи.

Продукция entities - категориальный массив того же размера, что и words содержит извлеченные сущности из следующих категорий:

  • non-entity

  • person

  • organization

  • location

  • other

Экстрактором части речевой информации по умолчанию является textanalytics.ja.mecabToNER функция.

Типы данных: function_handle

Примеры

свернуть все

Создать mecabOptions содержит параметры по умолчанию для японской токенизации.

options = mecabOptions
options = 

  MecabOptions with properties:

             Model: "C:\Program Files\MATLAB\R2019b\sys\share\dict-ipadic"
         UserModel: ""
    LemmaExtractor: @textanalytics.ja.mecabToLemma
      POSExtractor: @textanalytics.ja.mecabToPOS
      NERExtractor: @textanalytics.ja.mecabToNER

Закрепление текста на японском языке с помощью пользовательских параметров MeCab.

Создайте строковый массив японского текста.

str = [
    "恋に悩み、苦しむ。"
    "恋の悩みで苦しむ。"
    "空に星が輝き、瞬いている。"
    "空の星が輝きを増している。"];

Создать mecabOptions и укажите пользовательскую модель как .dic с использованием 'UserModel' вариант.

options = mecabOptions('UserModel','myFile.dic')
options = 

  MecabOptions with properties:

             Model: "C:\Program Files\MATLAB\R2019b\sys\share\dict-ipadic"
         UserModel: "myFile.dic"
    LemmaExtractor: @textanalytics.ja.mecabToLemma
      POSExtractor: @textanalytics.ja.mecabToPOS
      NERExtractor: @textanalytics.ja.mecabToNER

Пометить текст с помощью указанных параметров с помощью 'TokenizeMethod' вариант.

documents = tokenizedDocument(str,'TokenizeMethod',options)
documents = 

  4×1 tokenizedDocument:

     6 tokens: 恋 に 悩み 、 苦しむ 。
     6 tokens: 恋 の 悩み で 苦しむ 。
    10 tokens: 空 に 星 が 輝き 、 瞬い て いる 。
    10 tokens: 空 の 星 が 輝き を 増し て いる 。

См. также

| | | | | | |

Темы

Представлен в R2019b

Документация по инструментам для анализа текста

Поддержка