Преобразуйте документы нижнему регистру
преобразует каждый символ верхнего регистра во входных документах соответствующему символу нижнего регистра и оставляет все другие символы без изменений.newDocuments
= lower(documents
)
decodeHTMLEntities
| eraseTags
| eraseURLs
| erasePunctuation
| upper
| tokenizedDocument