字典树
字典树又叫前缀树、单词查找树,树形结构,是哈希树的变种。能够统计、排序和保存大量的字符串,经常被搜索引擎系统用于文本词频统计。优点是利用字符串的公共前缀来减少查询时间,最大程度减少无谓字符串的比较,查询效率高于哈希树。
字典树的原理是这样的,假设我现在有一些字符串["a","ab","abc","abcd"],它们的特点是具有公共前缀,适合使用树形数据结构保存,从根节点到叶子结点的一条路径就能保存所有具有公共前缀的单词。
使用Python实现非常简单,考虑到删除操作涉及较少,暂不实现,简洁版代码如下:
class TreeNode(object):def __init__(self):self.nodes = {} # 记录当前结点的子结点self.is_leaf = False # 当前结点是否表示一个单词self.count = 0 # 单词树中单词的总量def insert(self,word):curr = selffor c in word:if not curr.nodes.get(c,None):new_node = TreeNode()curr.nodes[c] = new_nodecurr = curr.nodes[c]curr.is_leaf = Trueself.count += 1returndef insert_many(self,words):for word in words:self.insert(word)returndef search(self,word):curr = selftry:for c in word:curr = curr.nodes[c]except:return Falsereturn curr.is_leaf
问题实战
分词问题
给定一个字符串s,和一个词典Dict。对字符串s基于词典dict进行分词,存在包含情况的按最长的分词。
输入s=cde ab abc cde gf
dict=["abc" ,"abd","cde","abc cde","abc abd"]
输出s=#cde# ab #abc cde# gf
解决本题要点如下:
- 将词典构建字典树
- 遍历字符串,将每个单词插入字典树,并记录满足题目要求的最长单词
- 在遍历的过程中,如果已经出现前缀缺失,及时剪枝
词典中最长单词
解决本题要点如下:
- 对字符串数组排序,构建字典树
- 遍历数组,将每个单词插入字典树,并记录满足题目要求的最长单词
- 在遍历的过程中,如果已经出现前缀缺失,及时剪枝
单词替换
本题要点如下:
- 使用字典树保存词根
- 将 sentence 切割为单词,保存在数组中
- 遍历数组中的单词,如果访问至叶子结点(is_leaf == True),证明单词具有该词根,将其替换