Замените N-граммы в документах
обновляет заданные документы, заменяя N-граммы newDocuments
= replaceNgrams(documents
,oldNgrams
,newNgrams
)oldNgrams
с соответствующими N-граммами в newNgrams
. Функция, по умолчанию, является чувствительной к регистру.
заменяет N-граммы newDocuments
= replaceNgrams(documents
,oldNgrams
,newNgrams
,'IgnoreCase',true)oldNgrams
'IgnoringCase' .
decodeHTMLEntities
| normalizeWords
| removeWords
| replaceWords
| tokenizedDocument