Происходите или lemmatize слова
Используйте normalizeWords
, чтобы уменьшать слова до исходной формы. К lemmatize английским словам (уменьшают их до их словарных форм), установите опцию 'Style'
на 'lemma'
.
Функция поддерживает английский, японский язык и немецкий текст.
updatedDocuments = normalizeWords(documents)
updatedWords = normalizeWords(words)
updatedWords = normalizeWords(words,'Language',language)
___ = normalizeWords(___,'Style',style)
уменьшает слова в updatedDocuments
= normalizeWords(documents
)documents
к исходной форме. Для английского и немецкого текста функция, по умолчанию, останавливает слова с помощью Носильщика stemmer для английского и немецкого текста соответственно. Для японского текста, функции, по умолчанию, lemmatizes слова с помощью токенизатора MeCab.
уменьшает каждое слово в массиве строк updatedWords
= normalizeWords(words
)words
к исходной форме.
уменьшает слова и также задает язык слова.updatedWords
= normalizeWords(words
,'Language',language
)
addLemmaDetails
| addPartOfSpeechDetails
| bagOfNgrams
| bagOfWords
| removeLongWords
| removeShortWords
| removeStopWords
| removeWords
| stopWords
| tokenDetails
| tokenizedDocument