Python处理正则表达式超时的办法 title: Python处理正则表达式超时的办法tags: [python3, 正则表达式超时, re模块]date: 2018-04-27 21:40:21categories: Pythonkeywords: python3, 正则表达式, re模块, linux信号最近在项目中遇到一个问题，就是需要采用正则匹配一些疑似暗链和挂马的HTML代码，而公司的老大给的正则表达式有的地方写的不够严谨，导致在匹配的时候发生卡死的现象，而后面的逻辑自然无法执行了。虽然用正则表达式来判断暗链和挂马可能不那么准确或者行业内很少有人那么做，但是本文不讨论如何使用正确的姿势判断暗链挂马，只关注与正则超时的处理。在使用正则表达式的时候，如果正则写的太糟糕，所消耗的时间是惊人的，并且有可能会一直回溯，而产生卡死的现象，所以一般的大型公司都会有专门的人来对正则进行优化，从而提高程序效率。一般来说如果可能的话不要让用户来输入正则进行匹配。但是现在既没有专门的人进行正则的优化，本人也对正则了解的不够，所以只能从另外的角度来考虑处理超时的问题。首先我想到的方法是另外开启一个线程来进行匹配，而在主线程中进行等待，如果发现子线程在规定的时间内没有返回就kill掉子线程。这也是一个方案，但是我现在要介绍另外一种方案，该方案来自我在网上看到的一篇博客.博客地址该博客给出了另外一种办法，就是采用信号的方式，在正则匹配之前定义一个信号，并规定触犯时间和处理的函数，如果在规定时间内程序没有结束那么触发一个TimeoutError的异常，而主线程收到这个异常时就会中断执行，并处理这个异常，这样就从正则匹配中解脱出来，达到了我们要的结果。这个方法有两个不足之处：信号这个东西是Linux独有的，在Windows下不适用信号只能在主线程中使用，而如果在子线程中进行正则匹配，那么这个方法就不适用我的项目正在运行在Linux系统上，所以针对第一个不足来说可以接受，但是我的正则匹配都是在子线程中，所以乍看之下这个方案也不太靠谱，但是好在我在后面的评论中发现博主给出了针对第二种不足的解决方案——开辟一个子进程，将正则匹配放到子线程中，这样一来可以充分利用多核（毕竟Python中的多线程是个伪多线程），二来可以分方便的使用该方案解决问题，下面是实际的代码import re import multiprocessing import signal def time_out(b, c): raise TimeoutError def search_with_timeout(pipe, word, value): signal.signal(signal.SIGALRM, time_out) signal.alarm(1) r = re.compile(word) try: ret = r.search(value, re.I) b_ret = True if ret != None else False pipe.send(b_ret) except TimeoutError: pipe.send(False)在上面的代码中先的定义了一个信号，给定1s中以后触发，触发的函数为time_out然后执行正则表达式，如果在这1s中内无法完成，那么处理函数会被调用，会跑出一个异常，此时主线程终止当前任务的执行，进入到异常处理流程，这样就可以终止正则匹配，从而正常的返回。由于这个部分是一个新进程自然就涉及到不同进程之间的通信，在这个例子中我使用了管道进行通信。由于Python在创建子进程的时候可以进行参数的传入所以我只需要一个管道将数据从子进程中写入，再从朱金城中读取就好了。下面是调用该子进程的代码:pipe = multiprocessing.Pipe() p = multiprocessing.Process(target = search_with_timeout, args = (pipe[0], word, left_value)) p.start() p.join() #等待进程的结束 ret = pipe[1].recv() #获取管道中的数据