Разделите текст в предложения
Если эмотиконы или символы эмодзи появляются после завершающего работу символа пунктуации, то функция разделяет предложение после эмотиконов и эмодзи.
addSentenceDetails
| corpusLanguage
| decodeHTMLEntities
| erasePunctuation
| eraseTags
| eraseURLs
| lower
| tokenizedDocument
| upper