怎样使用python实现停用词过滤？
发布时间：2022-03-15 13:53:22 所属栏目：语言 来源：互联网
导读：这篇文章给大家分享的是有关使用python实现停用词过滤的内容。小编觉得挺实用的，因此分享给大家做个参考，下文有具体事例，感兴趣的朋友可以参考，接下来一起跟随小编看看吧。 一、什么是停用词 在汉语中，有一类没有多少意义的词语，比如组词的，连词以及
|
这篇文章给大家分享的是有关使用python实现停用词过滤的内容。小编觉得挺实用的，因此分享给大家做个参考，下文有具体事例，感兴趣的朋友可以参考，接下来一起跟随小编看看吧。 一、什么是停用词 在汉语中，有一类没有多少意义的词语，比如组词“的”，连词“以及”、副词“甚至”，语气词“吧”，被称为停用词。一个句子去掉这些停用词，并不影响理解。所以，进行自然语言处理时，我们一般将停用词过滤掉。 而HanLP库提供了一个小巧的停用词字典，它位于Libsite-packagespyhanlpstaticdatadictionary目录中，名字为：stopwords.txt。该文本收录了常见的中英文无意义的词汇，每行一个词语。示例如下： 我们在进行自然语言处理时，可以用BinTrie、DoubleArrayTrie和AhoCorasickDoubleArrayTrie中的任意一个来存储词典。考虑到该词典中都是短语且比较多，用双数组字典树更划算，处理时间更快。 二、加载停用词字典 通过前文的介绍，我们知道了使用双数组字典树加载停用词字典更划算。下面，我们来加载其停用词，并返回键值对结构。代码如下： def load_dictionary(path): map=JClass('java.util.TreeMap')() with open(path,encoding='utf-8') as src: for word in src: word=word.strip() map[word]=word return JClass('com.hankcs.hanlp.collection.trie.DoubleArrayTrie')(map) 三、删除停用词 通过上面的停用词加载，我们获取了DoubleArrayTrie树结构的词汇。如果要删除停用词，可以直接使用分词后的结果剔除停用词即可。剔除的方法如下： def remove_stopwords(termlist,trie): return [term.word for term in termlist if not trie.containsKey(term.word)] 四、分词以及删除停用词 在前面的博文中，我们已经学会了如何分词，现在我们又学会了如何剔除停用词。这里，我们将两者结合起来，实现分词效果。代码如下： if __name__ == "__main__": HanLP.Config.ShowTermNature=False trie=load_dictionary(HanLP.Config.CoreStopWordDictionaryPath) text="今天就这样吧！明天我们在说可以吗？" segment=DoubleArrayTrieSegment() termlist=segment.seg(text) print("分词结果",termlist) print("去掉停用词",remove_stopwords(termlist,trie)) 运行之后，得到如下结果： 五、直接删除停用词（不分词） 对应上面的结果，我们先分词在删除停用词。但是，有时候我们也喜欢先删除停用词在进行分词。下面，我们来实现直接删除停用词。 代码如下： #直接过滤方法 def direct_remove_stopwords(text,replacement,trie): JString=JClass('java.lang.String') searcher=trie.getLongestSearcher(JString(text),0) offset=0 result='' while searcher.next(): begin=searcher.begin end=begin+searcher.length if begin>offset: result+=text[offset:begin] result+=replacement offset=end if offset<len(text): result+=text[offset:] return result if __name__ == "__main__": HanLP.Config.ShowTermNature = False trie = load_dictionary(HanLP.Config.CoreStopWordDictionaryPath) text = "今天就这样吧！明天我们在说可以吗？" segment = DoubleArrayTrieSegment() termlist = segment.seg(text) print("分词结果", termlist) print("去掉停用词", remove_stopwords(termlist, trie)) print("不分词去掉停用词", direct_remove_stopwords(text, "**", trie)) （编辑：唐山站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
