Преобразование документов в строчные
преобразует каждый верхний регистр в вход документах в соответствующий нижний регистр и оставляет все остальные символы без изменений.newDocuments
= lower(documents
)
decodeHTMLEntities
| erasePunctuation
| eraseTags
| eraseURLs
| tokenizedDocument
| upper