如下所示：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
|
#!/usr/bin/python2.6 # -*- coding: utf-8 -*- import time class Node(object): def __init__(self): self.children = None # The encode of word is UTF-8 def add_word(root,word): node = root for i in range(len(word)): if node.children == None: node.children = {} node.children[word[i]] = Node() elif word[i] not in node.children: node.children[word[i]] = Node() node = node.children[word[i]] def init(path): root = Node() fp = open(path,'r') for line in fp: line = line[0:-1] #print len(line) #print line #print type(line) add_word(root,line) fp.close() return root # The encode of word is UTF-8 # The encode of message is UTF-8 def is_contain(message, root): for i in range(len(message)): p = root j = i while (j<len(message) and p.children!=None and message[j] in p.children): p = p.children[message[j]] j = j + 1 if p.children==None: #print '---word---',message[i:j] return True return False def dfa(): print '----------------dfa-----------' root = init('/tmp/word.txt') message = '四处乱咬乱吠，吓得家中11岁的女儿躲在屋里不敢出来，直到辖区派出所民警赶到后，才将孩子从屋中救出。最后在征得主人同意后，民警和村民合力将这只发疯的狗打死' #message = '不顾' print '***message***',len(message) start_time = time.time() for i in range(1000): res = is_contain(message,root) #print res end_time = time.time() print (end_time - start_time) def is_contain2(message,word_list): for item in word_list: if message.find(item)!=-1: return True return False def normal(): print '------------normal--------------' path = '/tmp/word.txt' fp = open(path,'r') word_list = [] message = '四处乱咬乱吠，吓得家中11岁的女儿躲在屋里不敢出来，直到辖区派出所民警赶到后，才将孩子从屋中救出。最后在征得主人同意后，民警和村民合力将这只发疯的狗打死' print '***message***',len(message) for line in fp: line = line[0:-1] word_list.append(line) fp.close() print 'The count of word:',len(word_list) start_time = time.time() for i in range(1000): res = is_contain2(message,word_list) #print res end_time = time.time() print (end_time - start_time) if __name__ == '__main__': dfa() normal() |
测试结果:
1) 敏感词 100个
|
1
2
3
4
5
6
7
|
----------------dfa-----------***message*** 2240.325479984283------------normal--------------***message*** 224The count of word: 1000.107350111008 |
2) 敏感词 1000 个
|
1
2
3
4
5
6
7
|
----------------dfa-----------***message*** 2240.324251890182------------normal--------------***message*** 224The count of word: 10001.05939006805 |
从上面的实验我们可以看出，在DFA 算法只有在敏感词较多的情况下，才有意义。在百来个敏感词的情况下，甚至不如普通算法
下面从理论上推导时间复杂度，为了方便分析，首先假定消息文本是等长的,长度为lenA；每个敏感词的长度相同，长度为lenB，敏感词的个数是m。
1) DFA算法的核心是构建一棵多叉树，由于我们已经假设，敏感词的长度相同，所以树的最大深度为lenB，那么我们可以说从消息文本的某个位置（字节)开始的某个子串是否在敏感词树中，最多只用经过lenB次匹配.也就是说判断一个消息文本中是否有敏感词的时间复杂度是lenA * lenB
2) 再来看看普通做法，是使用for循环，对每一个敏感词，依次在消息文本中进行查找，假定字符串是使用KMP算法,KMP算法的时间复杂度是O(lenA + lenB)
那么对m个敏感词查找的时间复杂度是 (lenA + lenB ) * m
综上所述，DFA 算法的时间复杂度基本上是与敏感词的个数无关的。
以上这篇python 实现敏感词过滤的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/isoleo/article/details/72379829
