叶明的javablog

java学习天堂,个人关于其他blog：blog.javaworker.cn,欢迎大家访问
posts - 64, comments - 50, trackbacks - 0, articles - 3

破译天书！正则表达式学习心得体会

Posted on 2006-02-22 10:30 天空苍茫 阅读(243) 评论(0)  编辑  收藏
　前言
　　Regular Expressions(正则表达式，以下用RE称呼)对小弟来说一直都是神密的地带，看到一些网络上的大大，简单用RE就决解了某些文字的问题，小弟便兴起了学一学RE的想法，但小弟天生就比较懒一些，总希望看有没有些快速学习的方式，于是小弟又请出Google大神，藉由祂的神力，小弟在网络上找到了Jim Hollenhorst先生的文章，经过了阅读，小弟觉得真是不错，所以就做个小心得报告，跟Move-to.Net的朋友分享，希望能为各位大大带来一丁点在学习RE时的帮助。Jim Hollenhorst大大文章之网址如下，有需要的大大可直接连结。

　　The 30 Minute Regex Tutorial By Jim Hollenhorst

　　http://www.codeproject.com/useritems/RegexTutorial.asp

　　什么是RE?
　　想必各位大大在做文件查找的时侯都有使用过万用字符”*”，比如说想查找在Windows目录下所有的Word文件时，你可能就会用”*.doc”这样的方式来做查找，因为”*”所代表的是任意的字符。RE所做的就是类似这样的功能，但其功能更为强大。

　　写程序时，常需要比对字符串是否符合特定样式，RE最主要的功能就是来描述这特定的样式，因此可以将RE视为特定样式的描述式，举个例子来说，”\w+”所代表的就是任何字母与数字所组成的非空字符串(non-null string)。在.NET framework中提供了非常强大的类别库，藉此可以很轻易的使用RE来做文字的查找与取代、对复杂标头的译码及验证文字等工作。

　　学习RE最好的方式就是藉由例子亲自来做做看。Jim Hollenhorst大大也提供了一个工具程序Expresso(来杯咖啡吧)，来帮助我们学习RE，下载的网址是http://www.codeproject.com/useritems/RegexTutorial/ExpressoSetup2_1C.zip。

　　接下来，就让我们来体验一些例子吧。

　　一些简单的例子
　　假设要查找文章中Elvis后接有alive的文字符串的话，使用RE可能会经过下列的过程，括号是所下RE的意思：

　　1. elvis (查找elvis)

　　上述代表所要查找的字符顺序为elvis。在.NET中可以设定乎略字符的大小写，所以”Elvis”、”ELVIS”或者是”eLvIs”都是符合1所下的RE。但因为这只管字符出现的顺序为elvis，所以pelvis也是符合1所下的RE。可以用2的RE来改进。

　　2. \belvis\b (将elvis视为一整体的字查找，如elvis、Elvis乎略字符大小写时)
“\b”在RE中有特别的意思，在上述的例子中所指的就是字的边界，所以\belvis\b用\b把elvis的前后边界界定出来，也就是要elvis这个字。

　　假设要将同一行里elvis后接有alive的文字符串找出来，此时就会用到另外二个特别意义的字符”.”及”*”。”.”所代表就是除了换行字符的任意字符，而”*”所代表的是重复*之前项目直到找到符合RE的字符串。所以”.*”所指的就是除了换行字符外的任意数目的字符数。所以查找同一行里elvis后接有alive的文字符串找出来，则可下如3之RE。

　　3. \belvis\b.*\balive\b (查找elvis后面接有alive的文字符串，如elvis is alive)

　　用简单之特别字符就可以组成功能强大的RE，但也发现当使用越来越多的特别字符时，RE就会越来越难看得懂了。


再看看另外的例子
　　组成有效的电话号码

　　假使要从网页上收集顾客格式为xxx-xxxx的7位数字的电话号码，其中x是数字，RE可能会这样写。

　　4. \b\d\d\d-\d\d\d\d (查找七位数字之电话号码，如123-1234)
　　每一个\d代表一个数字。”-”则是一般的连字符号，为避免太多重复的\d，RE可以改写成如5的方式。

　　5. \b\d{3}-\d{4} (查找七位数字电话号码较好的方法，如123-1234)
　　在\d后的{3}，代表重复前一个项目三次，也就是相等于\d\d\d。

　　RE的学习及测试工具 Expresso

　　因为RE不易阅读及使用者容易会下错RE的特性，Jim大大开发了一个工具软件Expresso，用来帮助使用者学习及测试RE，除了上面所述的网址之外，也可以上Ultrapico网站(http://www.Ultrapico.com)。安装完Expresso后，在Expression Library中，Jim大大把文章的例子都建立在其中，可以边看文章边测试，也可以试着修改范例所下的RE，马上可以看到结果，小弟觉得非常好用。各位大大可以试试。

　　.NET中RE的基础概念
　　特殊字符

　　有些字符有特别的意义，比如之前所看到的”\b”、”.”、”*”、”\d”等。”\s”所代表的是任意空格符，比如说spaces、tabs、newlines等.。”\w”代表是任意字母或数字字符。

　　再看一些例子吧
　　6. \ba\w*\b (查找a开头的字，如able)
　　这RE描述要查找一个字的开始边界(\b)，再来是字母”a”，再加任意数目的字母数字(\w*)，再接结束这个字的结束边界(\b)。

　　7. \d+ (查找数字字符串)
　　“+”和”*”非常相似，除了+至少要重复前面的项目一次。也就是说至少有一个数字。

　　8. \b\w{6}\b (查找六个字母数字的字，如ab123c)

　　下表为RE常用的特殊字符

　　. 除了换行字符的任意字符
　　\w 任意字母数字字符
　　\s 任意空格符
　　\d 任意数字字符
　　\b 界定字的边界
　　^ 文章的开头，如”^The'' 用以表示出现于文章开头的字符串为”The”
　　$ 文章的结尾，如”End$”用以表示出现在文章的结尾为”End”
　　特殊字符”^”及”$”是用来查找某些字必需是文章的开头或结尾，这在验证输入是否符合某一样式时特别用有，比如说要验证七位数字的电话号码，可能会输入如下9的RE。

　　9. ^\d{3}-\d{4}$ (验证七位数字之电话号码)

　　这和第5个RE相同，但其前后都无其它的字符，也就是整串字符串只有这七个数字的电话号码。在.NET中如果设定Multiline这个选项，则”^”和”$”会每行进行比较，只要某行的开头结尾符合RE即可，而不是整个文章字符串做一次比较。

　　转意字符(Escaped characters)

　　有时可能会需要”^”、”$”单纯的字面意义(literal meaning)而不要将它们当成特殊字符，此时”\”字符就是用来移除特殊字符特别意义的字符，因此”\^”、”\.”、”\\”所代表的就是”^”、”.”、”\”的字面意义。

　　重复前述项目

　　在前面看过”{3}”及”*”可以用来重复前述字符，之后我们会看到如何用同样的语法重复整个次描述(subexpressions)。下表是使用重复前述项目的一些方式。

　　* 重复任意次数
　　+ 重复至少一次
　　? 重复零次或一次
　　{n} 重复n次
　　{n,m} 重复至少n次，但不超过m次
　　{n,} 重复至少n次

　　再来试一些例子吧

　　10. \b\w{5,6}\b (查找五个或六个字母数字字符的字，如as25d、d58sdf等)
　　11. \b\d{3}\s\d{3}-\d{4} (查找十个数字的电话号码，如800 123-1234)
　　12. \d{3}-\d{2}-\d{4} (查找社会保险号码，如 123-45-6789)
　　13. ^\w* (每行或整篇文章的第一个字)
　　在Espresso可试试有Multiline和没Multiline的不同。

　　匹配某范围的字符

　　有时需要查找某些特定的字符时怎么辨?这时中括号”[]”就派上了用场。因此[aeiou]所要查找的是”a”、”e”、”i”、”o”、”u”这些元音，[.?!]所要查找的是”.”、”?”、”!”这些符号，在中括号中的特殊字符的特别意义都会被移除，也就是解译成单纯的字面意义。也可以指定某些范围的字符，如”[a-z0-9]”，所指的就是任意小写字母或任意数字。

　　接下来再看一个比较初复杂查找电话号码的RE例子

　　14. \(?\d{3}[( ] \s?\d{3}[- ]\d{4} (查找十位数字之电话号码，如(080) 333-1234 )

　　这样的RE可查找出较多种格式的电话号码，如(080) 123-4567、511 254 6654等。”\(?”代表一个或零个左小括号”(“，而”[( ]”代表查找一个右小括号”)”或空格符，”\s?”指一个或零个空格符组。但这样的RE会将类似”800) 45-3321”这样的电话找出来，也就是括号没有对称平衡的问题，之后会学到择一(alternatives)来决解这样的问题。

　　不包含在某特定字符组里(Negation)

　　有时需要查找在包含在某特定字符组里的字符，下表说明如何做类似这样的描述。

　　\W 不是字母数字的任意字符
　　\S 不是空格符的任意字符
　　\D 不是数字字符的任意字符
　　\B 不在字边界的位置
　　[^x] 不是x的任意字符
　　[^aeiou] 不是a、e、i、o、u的任意字符

　　15. \S+ (不包含空格符的字符串)

　　择一(Alternatives)

　　有时会需要查找几个特定的选择，此时”|”这个特殊字符就派上用场了，举例来说，要查找五个数字及九个数字(有”-”号)的邮政编码。

　　16. \b\d{5}-\d{4}\b|\b\d{5}\b (查找五个数字及九个数字(有”-”号)的邮政编码)

　　在使用Alternatives时需要注意的是前后的次序，因为RE在Alternatives中会优先选择符合最左边的项目，16中，如果把查找五个数字的项目放在前面，则这RE只会找到五个数字的邮政编码。了解了择一，可将14做更好的修正。

　　17. (\(\d{3}\)|\d{3})\s?\d{3}[- ]\d{4} (十个数字的电话号码)

　　群组(Grouping)

　　括号可以用来介定一个次描述，经由次描述的介定，可以针对次描述做重复或及他的处理。

　　18. (\d{1,3}\.){3}\d{1,3} (寻找网络地址的简单RE)

　　此RE的意思第一个部分(\d{1,3}\.){3}，所指的是，数字最小一位最多三位，并且后面接有”.”符号，此类型的共有三个，之后再接一到三位的数字，也就是如192.72.28.1这样的数字。

　　但这样会有个缺点，因为网络地址数字最多只到255，但上述的RE只要是一到三位的数字都是符合的，所以这需要让比较的数字小于256才行，但只单独使用RE并无法做这样的比较。在19中使用择一来将地址的限制在所需要的范围内，也就是0到255。

　　19. ((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?) (寻找网络地址)

　　有没有发觉RE越来越像外星人说的话了?就以简单的寻找网络地址，直接看RE都满难理解的哩。

　　Expresso Analyzer View

　　Expresso提供了一个功能，它可以将所下的RE变成树状的说明，一组组的分开说明，提供了一个好的除错环境。其它的功能，如部分符合(Partial Match只查找反白RE的部分)及除外符合(Exclude Match只不查找反白RE的部分)就留给各位大大试试啰。

　　当次描述用括号群组起来时，符合次描述的文字可用在之后的程序处理或RE本身。在预设的情型下，所符合的群组是由数字命名，由1开始，由顺序是由左至右，这自动群组命名，可在Expresso中的skeleton view或result view中看到。

　　Backreference是用来查找群组中抓取的符合文字所相同的文字。举例来说”\1”所指符合群组1所抓取的文字。

　　20. \b(\w+)\b\s*\1\b (寻找重复字，此处说的重复是指同样的字，中间有空白隔开如dog dog这样的字)
(\w+)会抓取至少一个字符的字母或数字的字，并将它命名为群组1，之后是查找任意空格符，再接和群组1相同的文字。

　　如果不喜欢群组自动命名的1，也可以自行命名，以上述例子为例，(\w+)改写为(?<Word>\w+)，这就是将所抓取的群组命名为Word，Backreference就要改写成为\k<Word>
21. \b(?<Word>\w+)\b\s*\k<Word>\b (使用自行命名群组抓取重复字)

　　使用括号还有许多特别的语法元素，比较通用的列表如下：

　　抓取(Captures) 
　　(exp) 符合exp并抓取它进自动命名的群组
　　(?<name>exp) 符合exp并抓取它进命名的群组name
　　(?:exp) 符合exp，不抓取它
　　Lookarounds 
　　(?=exp) 符合字尾为exp的文字
　　(?<=exp) 符合前缀为exp的文字
　　(?!exp) 符合后面没接exp字尾的文字
　　(?<!exp) 符合前面没接exp前缀的文字
　　批注Comment 
　　(?#comment) 批注

　　Positive Lookaround

　　接下来要谈的是lookahead及lookbehind assertions。它们所查找的是目前符合之前或之后的文字，并不包含目前符合本身。这些就如同”^”及”\b”特殊字符，本身并不会对应任何文字(用来界定位置)，也因此称做是zero-width assertions，看些例子也许会清楚些。

　　(?=exp)是一个”zero-width positive lookahead assertion”。它指的就是符合字尾为exp的文字，但不包含exp本身。

　　22. \b\w+(?=ing\b) (字尾为ing的字，比如说filling所符合的就是fill)
(?<=exp)是一个”zero-width positive lookbehind assertion”。它指的就是符合前缀为exp的文字，但不包含exp本身。

　　23. (?<=\bre)\w+\b (前缀为re的字，比如说repeated所符合的就是peated)
　　24. (?<=\d)\d{3}\b (在字尾的三位数字，且之前接一位数字)
　　25. (?<=\s)\w+(?=\s) (由空格符分隔开的字母数字字符串)

　　Negative Lookaround

　　之前有提到，如何查找一个非特定或非在特定群组的字符。但如果只是要验证某字符不存在而不要对应这些字符进来呢?举个例子来说，假设要查找一个字，它的字母里有q但接下来的字母不是u，可以用下列的RE来做。

　　26. \b\w*q[^u]\w*\b (一个字，其字母里有q但接下来的字母不是u)

　　这样的RE会有一个问题，因为[^u]要对应一个字符，所以若q是字的最后一个字母，[^u]这样的下法就会将空格符对应下去，结果就有可能会符合二个字，比如说”Iraq haha”这样的文字。使用Negative Lookaround就能解决这样的问题。

　　27. \b\w*q(?!u)\w*\b (一个字，其字母里有q但接下来的字母不是u)
　　这是”zero-width negative lookahead assertion”。

　　28. \d{3}(?!\d) (三个位的数字，其后不接一个位数字)

　　同样的，可以使用(?<!exp)，”zero-width negative lookbehind assertion”，来符合前面没接exp前缀的文字符串。

　　29. (?<![a-z ])\w{7} (七个字母数字的字符串，其前面没接字母或空格)

　　30. (?<=<(\w+)>).*(?=<\/\1>) (HTML卷标间的文字)
　　这使用lookahead及lookbehind assertion来取出HTML间的文字，不包括HTML卷标。

　　请批注(Comments Please)
　　括号还有个特殊的用途就是用来包住批注，语法为”(?#comment)”，若设定”Ignore Pattern Whitespace”选项，则RE中的空格符当RE使用时会乎略。此选项设定时，”#”之后的文字会乎略。

　　31. HTML卷标间的文字，加上批注

　　(?<=  　#查找前缀，但不包含它
　　<(\w+)> #HTML标签
　　)       #结束查找前缀
　　.*      #符合任何文字
　　(?=     #查找字尾，但不包含它
　　<\/\1>  #符合所抓取群组1之字符串，也就是前面小括号的HTML标签
　　)       #结束查找字尾

　　寻找最多字符的字及最少字符的字(Greedy and Lazy)
　　当RE下要查找一个范围的重复时(如”.*”)，它通常会寻找最多字符的符合字，也就是Greedy matching。举例来说。

　　32. a.*b  (开始为a结束为b的最多字符的符合字)

　　若有一字符串是”aabab”，使用上述RE所得到的符合字符串就是”aabab”，因为这是寻找最多字符的字。有时希望是符合最少字符的字也就是lazy matching。只要将重复前述项目的表加上问号(?)就可以把它们全部变成lazy matching。因此”*?”代表的就是重复任意次数，但是使用最少重复的次数来符合。举个例子来说：

　　33. a.*?b (开始为a结束为b的最少字符的符合字)

　　若有一字符串是”aabab”，使用上述RE第一个所得到的符合字符串就是”aab”再来是”ab”，因为这是寻找最少字符的字。

　　*? 重复任意次数，最少重复次数为原则
　　+? 重复至少一次，最少重复次数为原则
　　?? 重复零次或一次，最少重复次数为原则
　　{n,m}? 重复至少n次，但不超过m次，最少重复次数为原则
　　{n,}? 重复至少n次，最少重复次数为原则

还有什么没提到呢?

　　到目前为止，已经提到了许多建立RE的元素，当然还有许多元素没有提到，下表整理了一些没提到的元素，在最左边的字段的数字是说明在Expresso中的例子。

　　# 语法 说明

　　\a Bell 字符
　　\b 通常是指字的边界，在字符组里所代表的就是backspace
　　\t Tab

　　34 \r Carriage return

　　\v Vertical Tab
　　\f From feed

　　35 \n New line
 　　\e Escape

　　36 \nnn ASCII八位码为nnn的字符

　　37 \xnn 十六位码为nn的字符

　　38 \unnnn Unicode为nnnn的字符

　　39 \cN Control N字符，举例来说Ctrl-M是\cM

　　40 \A 字符串的开始(和^相似，但不需籍由multiline选项)

　　41 \Z 字符串的结尾
　　\z 字符串的结尾

　　42 \G 目前查找的开始

　　43 \p{name} Unicode 字符组名称为name的字符，比如说\p{Lowercase_Letter} 所指的就是小写字
　　(?>exp) Greedy次描述，又称之为non-backtracking次描述。这只符合一次且不采backtracking。

　　44 (?<x>-<y>exp)

　　or (?-<y>exp) 平衡群组。虽复杂但好用。它让已命名的抓取群组可以在堆栈中操作使用。(小弟对这个也是不太懂哩)

　　45 (?im-nsx:exp) 为次描述exp更改RE选项，比如(?-i:Elvis)就是把Elvis大乎略大小写的选项关掉

　　46 (?im-nsx) 为之后的群组更改RE选项。
　　(?(exp)yes|no) 次描述exp视为zero-width positive lookahead。若此时有符合，则yes次描述为下一个符合标的，若否，则no 次描述为下一个符合标的。
　　(?(exp)yes) 和上述相同但无no次描述
　　(?(name)yes|no) 若name群组为有效群组名称，则yes次描述为下一个符合标的，若否，则no 次描述为下一个符合标的。

　　47 (?(name)yes) 和上述相同但无no次描述

　　结论
　　经过了一连串的例子，及Expresso的帮忙，相信各位大大对RE有个基本的了解，网络上当然有许多有关于RE的文章，如果各位大大有兴趣http://www.codeproject.com 还有许多关于RE的相关文章。若大大对书有兴趣的话，Jeffrey Friedl的Mastering Regular Expressions很多大大都有推(小弟还没拜读)。希望籍由这样的心得报告，能让对RE有兴趣的大大能缩短学习曲线，当然这是小弟第一次接触RE，若文章中有什么错误或说明的不好的地方，可要请各位大大体谅，并请各位大大将需要修正的地方mail给小弟，小弟会非常感谢各位大大。

只有注册用户登录后才能发表评论。
网站导航: