Exponenta Banner
exponenta event banner

regexprep

Заменить текст словами документов с использованием регулярного выражения

свернуть все на странице

Синтаксис

newDocuments = regexprep (документы, выражение, замена)

Описание

Text Analytics Toolbox™ предоставляет функции для общих шагов предварительной обработки текста. Например, чтобы удалить знаки препинания и символы, используйте erasePunctuation или для удаления стволовых слов с помощью stemmer Porter, normalizeWords. Дополнительные сведения см. в разделе Подготовка текстовых данных.

пример

newDocuments = regexprep(documents,expression,replace) заменяет все вхождения регулярного выражения expression словами documents с текстом в replace.

Функция соответствует каждому слову независимо. Матч не обязательно должен охватывать все слово.

Примеры

свернуть все

Открыть сценарий в реальном времени

Заменить слова, начинающиеся с "s", конец "e", и иметь хотя бы один символ между ними. Для подбора целых слов используйте "^" для соответствия началу слова и "$" для соответствия концу слова.

documents = tokenizedDocument([ ...
    "an example of a short sentence" 
    "a second short sentence"])
documents = 
  2x1 tokenizedDocument:

    6 tokens: an example of a short sentence
    4 tokens: a second short sentence


expression = "^s(\w+)e$";
replace = "thing";
newDocuments = regexprep(documents,expression,replace)
newDocuments = 
  2x1 tokenizedDocument:

    6 tokens: an example of a short thing
    4 tokens: a second short thing

Если вы не используете "^" и "$", то можно сопоставить подстроки слов. Заменить все гласные на «_.»

expression = "[aeiou]";
replace = "\_";
newDocuments = regexprep(documents,expression,replace)
newDocuments = 
  2x1 tokenizedDocument:

    6 tokens: _n _x_mpl_ _f _ sh_rt s_nt_nc_
    4 tokens: _ s_c_nd sh_rt s_nt_nc_
Открыть сценарий в реальном времени

Заменить варианты слова "walk" путем захвата следующих букв "walk".

documents = tokenizedDocument([
    "I walk"
    "they walked"
    "we are walking"])
documents = 
  3x1 tokenizedDocument:

    2 tokens: I walk
    2 tokens: they walked
    3 tokens: we are walking


expression = "walk(\w*)";
replace = "ascend$1";
newDocuments = regexprep(documents,expression,replace)
newDocuments = 
  3x1 tokenizedDocument:

    2 tokens: I ascend
    2 tokens: they ascended
    3 tokens: we are ascending

Входные аргументы

свернуть все

Исходные документы, указанные как tokenizedDocument массив.

Регулярное выражение, указанное как символьный вектор, массив ячеек из символьных векторов или строковый массив. Каждое выражение может содержать символы, метасимволы, операторы, маркеры и флаги, определяющие шаблоны для сопоставления в str.

В следующих таблицах описаны элементы регулярных выражений.

Метазнаки

Метасимволы представляют собой буквы, диапазоны букв, цифры и символы пробела. Используйте их для построения обобщенного образца символов.

Метахарактер

Описание

Пример

.

Любой отдельный символ, включая пробел

'..ain' соответствует последовательностям из пяти последовательных символов, которые заканчиваются на 'ain'.

[c1c2c3]

Любой символ, заключенный в квадратные скобки. Следующие символы обрабатываются буквально: $ | . * + ? и - если не используется для указания диапазона.

'[rp.]ain' матчи 'rain' или 'pain' или '.ain'.

[^c1c2c3]

Любой символ, не заключенный в квадратные скобки. Следующие символы обрабатываются буквально: $ | . * + ? и - если не используется для указания диапазона.

'[^*rp]ain' соответствует всем четырехбуквенным последовательностям, которые заканчиваются на 'ain', за исключением 'rain' и 'pain' и '*ain'. Например, он соответствует 'gain', 'lain', или 'vain'.

[c1-c2]

Любой символ в диапазоне cот 1 до c2

'[A-G]' соответствует одному символу в диапазоне A через G.

\w

Любой алфавитный, цифровой или символ подчеркивания. Для английских наборов символов, \w эквивалентно [a-zA-Z_0-9]

'\w*' определяет слово, состоящее из любой группы букв, цифр или символов подчеркивания.

\W

Любой символ, не являющийся алфавитным, цифровым или подчеркиванием. Для английских наборов символов, \W эквивалентно [^a-zA-Z_0-9]

'\W*' определяет термин, который не является словом, состоящим из какой-либо группы букв, цифр или символов подчеркивания.

\s

Любой символ пробела; эквивалентно [ \f\n\r\t\v]

'\w*n\s' совпадает со словами, которые заканчиваются буквой n, за которым следует символ пробела.

\S

Любой символ, отличный от пробела; эквивалентно [^ \f\n\r\t\v]

'\d\S' соответствует цифровой цифре, за которой следует любой символ, отличный от пробела.

\d

Любая цифровая цифра; эквивалентно [0-9]

'\d*' соответствует любому количеству последовательных цифр.

\D

Любой неигрирующий персонаж; эквивалентно [^0-9]

'\w*\D\>' соответствует словам, которые не заканчиваются цифровой цифрой.

\oN или \o{N}

Символ восьмеричного значения N

'\o{40}' соответствует символу пробела, определяемому восьмеричным 40.

\xN или \x{N}

Символ шестнадцатеричного значения N

'\x2C' соответствует запятой, определяемой шестнадцатеричным символом 2C.

Символьное представление

Оператор

Описание

\a

Аварийный сигнал (звуковой сигнал)

\b

Клавиша Backspace

\f

Веб-канал формы

\n

Новая линия

\r

Возврат каретки

\t

Горизонтальная вкладка

\v

Вертикальная вкладка

\char

Любой символ со специальным значением в регулярных выражениях, которые должны совпадать буквально (например, используйте \\ для сопоставления с одной обратной косой чертой)

Кванторы

Квантификаторы указывают, сколько раз шаблон должен присутствовать в соответствующем тексте.

Квантор

Число выполнений выражения

Пример

expr*

0 или более раз последовательно.

'\w*' соответствует слову любой длины.

expr?

0 раз или 1 раз.

'\w*(\.m)?' соответствует словам, которые при необходимости заканчиваются расширением .m.

expr+

1 или более раз последовательно.

'<img src="\w+\.gif">' соответствует <img> HTML-тег, если имя файла содержит один или несколько символов.

expr{m,n}

По крайней мере m времена, но не более n раз за разом.

{0,1} эквивалентно ?.

'\S{4,8}' соответствует от четырех до восьми символов, не являющихся пробелами.

expr{m,}

По крайней мере m раз за разом.

{0,} и {1,} эквивалентны * и +соответственно.

'<a href="\w{1,}\.html">' соответствует <a> HTML-тег, если имя файла содержит один или несколько символов.

expr{n}

Точно n раз за разом.

Эквивалентно {n,n}.

'\d{4}' соответствует четырем последовательным цифрам.

Квантователи могут появляться в трех режимах, описанных в следующей таблице. q представляет любой из количественных показателей в предыдущей таблице.

Способ

Описание

Пример

exprq

Жадное выражение: соответствует как можно большему количеству символов.

Учитывая текст '<tr><td><p>text</p></td>', выражение '</?t.*>' соответствует всем символам между <tr и /td>:

'<tr><td><p>text</p></td>'

exprq?

Ленивое выражение: соответствует необходимому количеству символов.

Учитывая текст'<tr><td><p>text</p></td>', выражение '</?t.*?>' заканчивает каждое совпадение при первом появлении закрывающей угловой скобки (>):

'<tr>'   '<td>'   '</td>'

exprq +

Притяжательное выражение: максимально совпадать, но не повторять какие-либо части текста.

Учитывая текст'<tr><td><p>text</p></td>', выражение '</?t.*+>' не возвращает совпадения, поскольку закрывающая угловая скобка захватывается с помощью .*, и не повторяется.

Группирование операторов

Операторы группировки позволяют захватывать маркеры, применять один оператор к нескольким элементам или отключать обратное отслеживание в определенной группе.

Оператор группировки

Описание

Пример

(expr)

Группировка элементов выражения и маркеров захвата.

'Joh?n\s(\w*)' захватывает маркер, содержащий фамилию любого лица с именем John или Jon.

(?:expr)

Группировать, но не захватывать токены.

'(?:[aeiou][^aeiou]){2}' соответствует двум последовательным шаблонам гласного, за которым следует негласный, например 'anon'.

Без группировки, '[aeiou][^aeiou]{2}'соответствует гласному, за которым следуют два негласных.

(?>expr)

Группировать атомарно. Не выполняйте обратную трассировку внутри группы для завершения сопоставления и не захватывайте токены.

'A(?>.*)Z' не соответствует 'AtoZ', хотя 'A(?:.*)Z' делает. Используя атомную группу, Z захватывается с помощью .* и не повторяется.

(expr1|expr2)

Выражение соответствия expr1 или выражение expr2.

При совпадении с expr1, то expr2 игнорируется.

Можно включить ?: или ?> после открывающей круглой скобки подавлять токены или атомарно группировать.

'(let|tel)\w+' соответствует словам, которые начинаются с let или tel.

Якоря

Якоря в выражении соответствуют началу или концу входного текста или слова.

Якорь

Соответствует...

Пример

^expr

Начало входного текста.

'^M\w*' соответствует слову, начинающемуся с M в начале текста.

expr$

Конец входного текста.

'\w*m$' соответствует словам, заканчивающимся на m в конце текста.

\<expr

Начало слова.

'\<n\w*' соответствует любым словам, начинающимся с n.

expr\>

Конец слова.

'\w*e\>' соответствует любым словам, заканчивающимся на e.

Утверждения Lookaround

Утверждения lookaround ищут шаблоны, которые непосредственно предшествуют предполагаемому соответствию или следуют за ним, но не являются его частью.

Указатель остается в текущем местоположении, а символы соответствуют test выражения не захватываются и не отбрасываются. Поэтому утверждения lookahead могут совпадать с перекрывающимися группами символов.

Lookaround утверждение

Описание

Пример

expr(?=test)

Загляните вперед, чтобы найти совпадающие символы test.

'\w*(?=ing)' соответствует срокам, за которыми следуют ing, такие как 'Fly' и 'fall' во входном тексте 'Flying, not falling.'

expr(?!test)

Загляните вперед для символов, которые не совпадают test.

'i(?!ng)' соответствует экземплярам буквы i за которыми не следует ng.

(?<=test)expr

Искать совпадающие символы test.

'(?<=re)\w*' соответствует следующим условиям 're', такие как 'new', 'use', и 'cycle' во входном тексте 'renew, reuse, recycle'

(?<!test)expr

Искать символы, которые не совпадают test.

'(?<!\d)(\d)(?!\d)' соответствует однозначным числам (цифрам, которые не предшествуют или не следуют за другими цифрами).

Если перед выражением указать утверждение lookahead, операция эквивалентна логической AND.

Операция

Описание

Пример

(?=test)expr

Сопоставить оба test и expr.

'(?=[a-z])[^aeiou]' соответствует согласным.

(?!test)expr

Матч expr и не совпадают test.

'(?![aeiou])[a-z]' соответствует согласным.

Логические и условные операторы

Логические и условные операторы позволяют проверить состояние данного условия, а затем использовать результат, чтобы определить, какой шаблон, если он есть, будет соответствовать следующему. Эти операторы поддерживают логические OR, и if или if/else условия.

Условия могут быть маркерами, операторами поиска или динамическими выражениями формы (?@cmd). Динамические выражения должны возвращать логическое или числовое значение.

Условный оператор

Описание

Пример

expr1|expr2

Выражение соответствия expr1 или выражение expr2.

При совпадении с expr1, то expr2 игнорируется.

'(let|tel)\w+' соответствует словам, которые начинаются с let или tel.

(?(cond)expr)

Если условие cond является trueЗатем сопоставьте expr.

'(?(?@ispc)[A-Z]:\\)' соответствует имени диска, например C:\, при запуске в системе Windows ®.

(?(cond)expr1|expr2)

Если условие cond является trueЗатем сопоставьте expr1. В противном случае совпадение expr2.

'Mr(s?)\..*?(?(1)her|his) \w*' соответствует тексту, включающему her когда текст начинается с Mrs, или которая включает his когда текст начинается с Mr.

Операторы маркеров

Маркеры - это части совпадающего текста, определяемые путем включения части регулярного выражения в круглые скобки. Можно ссылаться на маркер по его последовательности в тексте (порядковый маркер) или назначать имена маркерам для упрощения обслуживания кода и удобочитаемого вывода.

Оператор маркера порядкового номера

Описание

Пример

(expr)

Зафиксируйте в маркере символы, соответствующие заключенному выражению.

'Joh?n\s(\w*)' захватывает маркер, содержащий фамилию любого лица с именем John или Jon.

\N

Сопоставить NТый токен.

'<(\w+).*>.*</\1>' захватывает маркеры для HTML-тегов, например, 'title' из текста '<title>Some text</title>'.

(?(N)expr1|expr2)

Если Nth токен найден, затем соответствует expr1. В противном случае совпадение expr2.

'Mr(s?)\..*?(?(1)her|his) \w*' соответствует тексту, включающему her когда текст начинается с Mrs, или которая включает his когда текст начинается с Mr.

Оператор именованного маркера

Описание

Пример

(?<name>expr)

Зафиксируйте в именованном маркере символы, соответствующие заключенному выражению.

'(?<month>\d+)-(?<day>\d+)-(?<yr>\d+)' создает именованные маркеры для месяца, дня и года в дате ввода формы mm-dd-yy.

\k<name>

Сопоставить маркер, на который ссылается name.

'<(?<tag>\w+).*>.*</\k<tag>>' захватывает маркеры для HTML-тегов, например, 'title' из текста '<title>Some text</title>'.

(?(name)expr1|expr2)

Если именованный токен найден, тогда сопоставьте expr1. В противном случае совпадение expr2.

'Mr(?<sex>s?)\..*?(?(sex)her|his) \w*' соответствует тексту, включающему her когда текст начинается с Mrs, или которая включает his когда текст начинается с Mr.

Примечание

Если выражение имеет вложенные круглые скобки, MATLAB ® захватывает маркеры, соответствующие самому внешнему набору круглых скобок. Например, учитывая шаблон поиска'(and(y|rew))', MATLAB создает маркер для 'andrew' но не для 'y' или 'rew'.

Динамические регулярные выражения

Динамические выражения позволяют выполнять команду MATLAB или регулярное выражение для определения совпадающего текста.

Круглые скобки, содержащие динамические выражения, не создают группу захвата.

Оператор

Описание

Пример

(??expr)

Разбор expr и включить результирующий термин в выражение соответствия.

При анализе expr должно соответствовать полному допустимому регулярному выражению. Динамические выражения, использующие символ обратной косой черты (\) требуется два обратных косых черты: один для начального анализа exprи один за полный матч.

'^(\d+)((??\\w{$1}))' определяет, сколько символов должно совпадать, считывая цифру в начале совпадения. Динамическое выражение заключено во второй набор скобок, так что результирующее совпадение фиксируется в маркере. Например, совпадение '5XXXXX' захватывает маркеры для '5' и 'XXXXX'.

(??@cmd)

Выполните команду MATLAB, представленную cmdи включить выходные данные, возвращенные командой, в выражение соответствия.

'(.{2,}).?(??@fliplr($1))' находит палиндромы длиной не менее четырех символов, такие как 'abba'.

(?@cmd)

Выполните команду MATLAB, представленную cmd, но отменить любые выходные данные, возвращаемые командой. (Полезно для диагностики регулярных выражений.)

'\w*?(\w)(?@disp($1))\1\w*' совпадает со словами, включающими двойные буквы (например, pp) и отображает промежуточные результаты.

В динамических выражениях используйте следующие операторы для определения текста замены.

Оператор замены

Описание

$& или $0

Часть входного текста, которая в настоящее время соответствует

$`

Часть входного текста, предшествующая текущему совпадению

$'

Часть входного текста, которая следует за текущим совпадением (используйте $'' представлять $')

$N

Nтый токен

$<name>

Именованный токен

${cmd}

Выходные данные, возвращаемые при выполнении команды MATLAB, cmd

Комментарии

Персонажи

Описание

Пример

(?#comment)

Вставка комментария в регулярное выражение. Текст комментария игнорируется при совпадении ввода.

'(?# Initial digit)\<\d\w+' включает комментарий и совпадает со словами, начинающимися с числа.

Флаги поиска

Флаги поиска изменяют поведение соответствующих выражений. Альтернативой использованию флага поиска в выражении является передача option входной аргумент.

Флаг

Описание

(?-i)

Совпадение буквенного регистра (по умолчанию для regexp и regexprep).

(?i)

Не соответствовать буквенному регистру (по умолчанию для regexpi).

(?s)

Точка совпадения (.) в шаблоне с любым символом (по умолчанию).

(?-s)

Сопоставьте точку в шаблоне с любым символом, который не является символом новой строки.

(?-m)

Сопоставить ^ и $ метасимволы в начале и конце текста (по умолчанию).

(?m)

Сопоставить ^ и $ метасимволы в начале и конце строки.

(?-x)

Включать символы пробела и комментарии при совпадении (по умолчанию).

(?x)

Игнорировать символы пробела и комментарии при сопоставлении. Использовать '\ ' и '\#' для соответствия пространству и # персонажи.

Выражение, которое изменяет флаг, может появиться после скобок, например

(?i)\w*

или внутри скобок и отделены от флага двоеточием (:), например,

(?i:\w*)

Последний синтаксис позволяет изменить поведение части большего выражения.

Типы данных: char | cell | string

Замещающий текст, указанный как символьный вектор, массив ячеек из символьных векторов или строковый массив, следующим образом:

  • Если replace является односимвольным вектором и expression является массивом ячеек символьных векторов, то regexprep использует один и тот же замещающий текст для каждого выражения.

  • Если replace является массивом ячеек N векторы символов и expression является односимвольным вектором, то regexprep попытки N матчи и замены.

  • Если оба replace и expression являются массивами ячеек символьных векторов, то они должны содержать одинаковое количество элементов. regexprep пары каждая replace с соответствующим элементом в expression.

Замещающий текст может включать обычные символы, специальные символы (например, вкладки или новые строки) или операторы замены, как показано в следующих таблицах.

Оператор замены

Описание

$& или $0

Часть входного текста, которая в настоящее время соответствует

$`

Часть входного текста, предшествующая текущему совпадению

$'

Часть входного текста, которая следует за текущим совпадением (используйте $'' представлять $')

$N

Nтый токен

$<name>

Именованный токен

${cmd}

Выходные данные, возвращаемые при выполнении команды MATLAB, cmd

Оператор

Описание

\a

Аварийный сигнал (звуковой сигнал)

\b

Клавиша Backspace

\f

Веб-канал формы

\n

Новая линия

\r

Возврат каретки

\t

Горизонтальная вкладка

\v

Вертикальная вкладка

\char

Любой символ со специальным значением в регулярных выражениях, которые должны совпадать буквально (например, используйте \\ для сопоставления с одной обратной косой чертой)

Типы данных: char | cell | string

Выходные аргументы

свернуть все

Выходные документы, возвращенные как tokenizedDocument массив.

Совет

  • Панель инструментов Text Analytics предоставляет функции для общих шагов предварительной обработки текста. Например, чтобы удалить знаки препинания и символы, используйте erasePunctuation или для удаления стволовых слов с помощью stemmer Porter, normalizeWords. Дополнительные сведения см. в разделе Подготовка текстовых данных.

См. также

| | | | | | | | |

Темы

Представлен в R2017b

Документация по инструментам для анализа текста

Поддержка