Разделите текст на предложения
Если смайлики или символы эмодзи появляются после оконечного символа пунктуации, то функция разделяет предложение после смайликов и эмодзи.
addSentenceDetails
| corpusLanguage
| decodeHTMLEntities
| erasePunctuation
| eraseTags
| eraseURLs
| lower
| tokenizedDocument
| upper