Добавьте, что тип маркера назначает в документы
обнаруживает типы маркера в updatedDocuments = addTypeDetails(documents)documents и обновляет маркерные детали. Функция добавляет, что тип назначает в лексемы с неизвестным типом только. Получить типы маркера от updatedDocumentsИспользование tokenDetails.
задает дополнительные опции с помощью одной или нескольких пар "имя-значение".updatedDocuments = addTypeDetails(documents,Name,Value)
Совет
Использование addTypeDetails перед использованием lower, upper, и erasePunctuation функции как addTypeDetails информация об использовании, которая удалена этими функциями.
tokenizedDocument | tokenDetails | addSentenceDetails | addPartOfSpeechDetails | splitSentences | abbreviations | topLevelDomains | corpusLanguage | addLanguageDetails | addLemmaDetails | addEntityDetails