Добавьте теги части речи в документы
Используйте addPartOfSpeechDetails
, чтобы добавить теги части речи в документы.
Функция поддерживает английский, японский язык и немецкий текст.
updatedDocuments = addPartOfSpeechDetails(documents)
updatedDocuments = addPartOfSpeechDetails(documents,'RetokenizeMethod',method)
обнаруживает части речи в updatedDocuments
= addPartOfSpeechDetails(documents
)documents
и обновляет маркерные детали. Функция, по умолчанию, повторно маркирует текст для маркировки части речи. Например, функция разделяет слово, "вы -" в лексемы "вы" и "'ре". Чтобы получить детали части речи от updatedDocuments
, используйте tokenDetails
.
также задает метод, чтобы использовать для перемаркирования документов.updatedDocuments
= addPartOfSpeechDetails(documents
,'RetokenizeMethod',method
)
Используйте addPartOfSpeechDetails
перед использованием lower
, upper
, erasePunctuation
, normalizeWords
, removeWords
, и функции removeStopWords
как addPartOfSpeechDetails
используют информацию, которая удалена этими функциями.
Если входные документы не содержат детали предложения, то функция сначала запускает addSentenceDetails
.
addEntityDetails
| addLanguageDetails
| addLemmaDetails
| addPartOfSpeechDetails
| addSentenceDetails
| addTypeDetails
| normalizeWords
| tokenDetails
| tokenizedDocument