Разделите текст в предложения
Если эмотиконы или символы эмодзи появляются после завершающего работу символа пунктуации, то функция разделяет предложение после эмотиконов и эмодзи.
decodeHTMLEntities
| eraseTags
| eraseURLs
| erasePunctuation
| lower
| upper
| addSentenceDetails
| tokenizedDocument
| corpusLanguage