Регулярные выражения

inequ regex

Sun, 08 Jan 2012 19:55:22 +0400

Приветствую всех!

Бродил я тут по инету и наткнулся на интересную вещь. Все тут присутствующие (многие, по крайней мере) знают про квайны (quines) - программы, которые выводят свой исходный код. В какой то мере это можно считать зачатками искусственной жизни - оно (примитивно конечно, но) может самовоиспроизводиться. Оказывается можно пойди дальше по этому пути - жизнь не только размножается, но и обладает органами чувств. То есть, оказывается есть еще малоизвестный класс программ - inequ, которые умеют распознавать свой собственный код. То есть если этой программе подать на вход свой собственный исходник, она подтвердит - "да, это так", если нет - скажет что "нет" (через exit code например).

Но это все вступление. А вопрос будет такой - можно ли написать регулярное выражение которое совпадает с собой и только с собой (ну или как вариант - с минимальным количеством строк, кроме себя). Скажем, первый пришедший в голову вариант - a, естественно совпадает сам с собой, но также совпадает с "aa", "aaa", "apple" и т.д. - с бесконечным количеством строк в общем. В сети же нашел вариант с минимумом совпадений равным 549 миллиардам с хвостиком - что мягко говоря дофига...

Есть желающие поломать голову ?

(чур не гуглить :) )

Премодерация

Tue, 03 Jan 2012 20:46:12 +0400

علي (Али) опубликовал новость

Поскольку спамеры на уговоры веником по попе не реагируют, клуб переключен в режим премодерации.

Администрация клуба обещает оперативно коммитить сообщения по теме клуба, но задержки всегда возможны — отнеситесь с пониманием, это небольшая плата за возможность развидеть проповедников и торговцев.

Удачи всем в новом году!

Задача на четность вхождений + вопрос про два плюса

Thu, 21 Jul 2011 11:40:38 +0400

Есть строка, содержащая символы a, b, /.
Надо проверить чтобы перед символом b стояли либо a (любое количество), либо 0 или четное количество слэшей. То есть, нечетное количество слэшей может быть только перед a, либо в конце строки.

Есть решения, но два из них, говорят, неверные. А одно верное, но странное.


(?:b|a|^)(?:\/\/)*\/b


(?<!/)(?:/{2})*(b)


^(?:[^/]++|(?:/)++[^b]|(?://)*+(?:b) )*$

Вопрос: почему два первых решения неверны (это не факт. По слухам.) и что за конструкции "++" и "*+" в третьем? Не нашел упоминаний таких конструкций в интернете.

Я исправил третье выражение так:


{^ (?: [ab]+ | (?:/)+a | (?://)*b)* $}x

Оно работает, но почему-то спотыкается на "///b". А вот если добавить еще один плюс:


{^ (?: [ab]+ | (?:/)++a | (?://)*b)* $}x

работает. Почему?

Если что - родное обсуждение тут.

Всё или ничего

Sat, 09 Jul 2011 18:59:02 +0400

Бывают такие ситуации, что синтаксис требует регулярки, а она, строго говоря, не нужна.

Пример на поверхности: rewrite в директивах апача или нжиникса, который должен обрабатывать все запросы. Тогда регулярное выражение должно матчить все (любые) строки. Решение в лоб:

Или так:

Или, если вспомнить про якоря, то вот, самое лаконичное:

Начало строки есть у любой строки, даже пустой. Это просто. Но тут я вдруг задумался, а какие выражения не матчат ничего. Предположим, нет возможности написать отрицание приведенных выше регулярок, и надо создать такую, которая гарантированно не совпадет с любой заданной строкой.

Тут я сразу пошел по сложному пути, почему-то мне показалось, что без look-around или магии с \K не обойтись, и навертел несколько монстроидальных выражений. Перекурив, опять вспомнил про якоря и сделал так:

Очень даже работает. Первый символ замените по вкусу на что угодно. Хохмы ради написал еще

но тут облом, оно совпадает на концах строк в режиме multi-line (а предыдущее, кстати, не совпадает, даже при наличии настоящего «x» в конце строки).

Что-то мне подсказывает, что обойтись только классическими выражениями из теории формальных языков нельзя. То есть одних только последовательности, дизъюнкции и звезды Клини (ну, для облегчения жизни можно добавить еще символьные классы и точку) недостаточно, чтобы построить выражение, не совпадающее ни с одной строкой над заданным алфавитом.

Чую, но обосновать не могу. То есть доказать или опровергнуть. Может, кто возьмется?

Готовые решения по зачистке HTML кода.

Thu, 07 Apr 2011 19:46:32 +0400

Это вопрос)) - есть ли таковые? Которые чистили бы строки от всех тегов и их атрибутов (желательно включая "мусор" из Word-a), кроме нужных (НП: <img align... src...>, <p>, </p>, <br>... и другие заданные). Полезная же тема - должно быть что-то =\

Исправление расположения файлов

Fri, 11 Mar 2011 18:11:10 +0400

Наверняка многим пригодится:

Есть "Текст, текст, текст, <img src="http://host.ru/imgs/subfolder1/4/0.png" align="right"/>, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, <img src="http://host.ru/imgs/subfolder1/4/1.bmp" align="left"/> текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст <img src="http://host.ru/imgs/subfolder2/1/0.gif"/>, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, тек<img src="http://host.ru/imgs/subfolder83/14/10.jgg" align="right"/>ст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст, текст"

Необходимо заменить в нём (тексте) содержимое src="" для изображений так чтобы осталось лишь название файлов.

Я лишь начинаю въезжать в регулярные выражения и пока не могу решить эту задачу, но представляю это так:

1. Ищем в строке ($Строка) подтрокИ начинающиеся с src=" и оканчивающиеся двойной кавычкой.

2. Удаляем всё начиная с последней косой черты (/) к началу не задевая src=".

Ход мысли правильный?))

1. ereg('^src="|"$'); - чушь?

2. Даже не представляю что изобразить, ПОМОГИТЕ

Дублирование возврата каретки...

Sun, 16 Jan 2011 19:36:31 +0400

как победить?

грубо гря имеем:

123CR
CRLF
123CRLF
123CR
CRLF

Каким образом убрать это дурацкое дублирование CR?

CR = возврат каретки;

LF = подача строки;

собсно напрягает видеть в notepad++ пустые строки из-за его интерпретации этого дубля возврата каретки

binmode решил проблему)

Эй-би-си, блин

Fri, 15 Oct 2010 18:21:52 +0400

Задача, значит, такая: требуется проверить, что строка состоит только из символов a, b и c — символы могут встретиться в произвольном порядке, произвольное количество раз, но не менее одного раза каждый.

Требование это можно выразить так:

$x =~ /a/ && $x =~ /b/ && $x =~ /c/ && $x !~ /[^abc]/

да вот только нужно свести его к одному выражению. Пока единственное, что я придумал, это перебрать все перестановки:

Для трех символов уже достаточно монструозно, а для десяти писать 10! = 3628800 подвыражений совсем не хочется.

Подозреваю, что я тупой и проглядел что-то очевидное.

Голосом Ивана Данко:
— Какьие будут вашьи предложьенийа?

UPD: сильно надо, чтобы регулярка была в синтаксисе POSIX, без перловых расширений.

ВсЕм чМаВкИ!

Thu, 08 Apr 2010 12:51:32 +0400

Я сильно сомневаюсь, что тут есть блондинки, но вдруг кому-то пригодится... :))) Презентуемая регулярка преобразует "Всем чмавки!" во "ВсЕм чМаВкИ!".

Регулярка:

s/(.)(.?)/\u$1\l$2/g

На Perl это выглядит так:

use strict;
use warnings;
use utf8;

my $text = 'Всем чмавки!';

utf8::decode( $text );
$text =~ s/(.)(.?)/\u$1\l$2/g;
utf8::encode( $text );

print( $text );

Вот такие сиськи пироги... :)

ЗЫ: А вот так можно сделать, чтобы каждое слово начиналось с большой буквы:

s/(\w)(.?)/\u$1\l$2/gi

ВсЕм ЧмАвКи!!! В ЭтОм ЧаТиКе! =D

re2

Fri, 19 Mar 2010 02:10:06 +0400

علي (Али) поделился ссылкой

Вышла реализация DFA-регэкспов для C++ от Гугла.

Скорость поиска /.*$/ в случайном тексте.

Очень, очень полезно. Большинство регэкспов не требуют всех возможностей NFA, а выигрыш в скорости налицо.

The Russians are coming

Sat, 13 Feb 2010 12:57:38 +0400

Яну Гойвертсу прислали авторский экземпляр книги «Регулярные выражения. Сборник рецептов». Ян, натурально, по-русски не читает, и смог заметить только, что

Судя по нумерации оглавления, книга переведена полностью.

Это я к чему — если кто ещё не знает о блоге Яна Гойвертса, автора RegexBuddy, PowerGREP и соавтора упомянутой книги, то самое время узнать: www.regexguru.com.

Цвета HTML

Fri, 12 Feb 2010 17:39:23 +0400

Такие штуки, как цвета из безопасной палитры, уже лет десять как утратили значение. Тем не менее, приведу регэксп для их нахождения, потому что это один из немногих на моей памяти случаев, когда пригодились backreferences:

/#(([0369cf])\2){3}/i

Ну и чтобы привнести какую-то пользу, добавлю очевидное выражение для произвольного цвета в нотации HTML — шесть шестнадцатеричных цифр:

/#[0-9a-fA-F]{6}/

и в нотации CSS — три или шесть цифр:

/#(?:[0-9a-fA-F]{3}){1,2}/

Время

Wed, 03 Feb 2010 03:28:24 +0400

Регулярное выражение для поиска значений времени — в 24-часовом формате или в буржуйском формате с записью «am/pm». Удобно для разбора логов.

Ищется значение вида «часы:минуты» или «часы:минуты:секунды», разделитель полей — двоеточие. Перед «am/pm» не более одного пробела или вообще ничего.

/(?:0?[1-9]|1[012])(?::[0-5]\d){1,2} ?[AP]M|(?:[01]\d|2[0-3])(?::[0-5]\d){1,2}/i

Пример:

09:15
09
9:15 AM
12:40:36pm
25:02
12:78
20.09
20:09:75
10:51:06
vestibulum ante ipsum primis 11:24:35 in faucibus
orci luctus et10:27 amultrices posuere cubilia
127.0.0.1 - - [02 Feb 2010 17:40:15 +0200] "GET /index.htm HTTP/1.1" 404 214

Про закрома of Rodina

Wed, 03 Feb 2010 03:24:03 +0400

Принято решение некоторые полезные регэкспы собрать в удобную кучку. Кучка будет потагана словом «закрома».

Их будет не так много: регулярных выражений, которые, с одной стороны, нетривиальны, с другой — встречаются в жизни чаще одного раза, вряд ли найдется больше десятка.

Требования просты: выражения должны матчить то, что надо, и не матчить то, что не надо :)

Синтаксис по умолчанию — перловый (ну или PCRE, что почти одно и то же). Запись в синтаксисе POSIX — только если есть большая потребность.

Обновлять регэксп в закромах будем, если в нём обнаружена ошибка или найден более эффективный (по времени выполнения). Вариант, менее эффективный, но более наглядный можно указать рядом. Прежде всего это касается скобок: в готовом регэкспе не должно быть лишних сохраняющих скобок. Модификаторы /i, /s, /m, /e и т.п. указываем, только если они нужны.

Чтобы не допускать разброда в оформлении постов в закрома, присылайте их мне в почту: alienator@ya.ru, или пишите сюда — но не обижайтесь, если пост будет потёрт и заменен на иначе сверстанный.

Под катом можно приводить набор тестовых строк, на которых выполняется и не выполняется регэксп.

Регулярные выражения. Сборник рецептов

Fri, 18 Dec 2009 07:06:38 +0400

علي (Али) поделился ссылкой

Русский перевод «Regular Expressions Cookbook» поступил в продажу.

решил перепостить

Mon, 14 Dec 2009 17:41:36 +0400

Полностью тут.

ЧПУ

Wed, 11 Nov 2009 13:48:27 +0400

علي (Али) опубликовал новость

Sehr gut! мы получили красивый урл:

http://clubs.ya.ru/regexp

Заявка в Обзоре клубов.

Дылема: матчинг урлов в тексте

Tue, 10 Nov 2009 18:51:30 +0400

Вопрос возник несложный, и многократно уже потоптанный, поэтому хочется просто советов от тех, кто сам на практике сталкивался.

Как лучше всего матчить урлы в обычном тексте?

Я о чём: известно, что запятые и прочие знаки препинания вполне могут быть составной частью URI, тем не менее, при разборе текстового сообщения (письма, например) они с большей вероятностью относятся к самому тексту, чем к урлу. В общем случае нет решения, алгоритмы разные.

Вот такой, к примеру, текст:

Я знаю сайт http://alpha.com/?a, и вот ещё один: http://www.zzz.com/page: это офигени сайты.

Правильный по RFC 2396 регэксп (например, из Regexp::Common::URI) сделает так:

Я знаю сайт http://alpha.com/?a, и вот ещё один: http://www.zzz.com/page: это офигени сайты.

«Неправильный», но хороший с точки зрения здравого смысла регэксп, выдранный мною не помню откуда, из TinyMCE, что ли, сделает так:

Я знаю сайт http://alpha.com/?a, и вот ещё один: http://www.zzz.com/page: это офигени сайты.

И даже так:

Я знаю сайт http://alpha.com/?a, и вот ещё один: www.zzz.com/page: это офигени сайты.

Так вот, регэксп я и сам составлю, только хочу услышать общие соображения: что матчить, а что не надо. И (внимание!) хочется определять такие урлы:

Вот, нашел прикольное: http://google.com/search?q=хуябрики, зацени!

Неплохое определение урлов здесь, в редакторе на ярушке — он, кажется, как раз допиленный TinyMCE — но не справляется с распознаванием урлов с www без протокола.

Все назад! Я знаю регулярные выражения!

Sun, 25 Oct 2009 16:41:03 +0400

Баян, конечно, но запощу для оживляжа. Может, не все видели ;)

То же самое по-русски.

Курсы по регэкспам

Fri, 02 Oct 2009 09:03:46 +0400

علي (Али) спросил:

проголосовать и посмотреть результаты

Камрады, ответьте, пожалуйста: если бы вам предложили посетить курсы (тренинг) по регуляркам, на 3-6 часов (2-3 дня), вы бы пошли? И за сколька денег?