怎么找出文章里不重复的单词？去重规则与用法

一篇文章到底用了哪些词？把重复的去掉，剩下的就是这份词表。去重后的清单适合做词汇表初稿、检查用词范围，或者给一批标签做整理。

什么时候需要一份去重词表

给一篇文章做词汇表、准备语言课的单词清单、把一堆标签整理成不重复的集合，这些场景都不关心词出现了几次，只关心出现过没有。手工在几十行文本里挑重复词，眼睛很快就会花，还容易漏掉隔了几行的同一个词。

另一种用法是对比两版文稿的用词范围：两个版本分别去重、再各自排序，就能看出新版本多了哪些词、删了哪些词，改动的方向一目了然。想确认某个词有没有出现过，也可以直接在这份清单里搜。

工具按空白把文本切成词，比较时忽略大小写：Word、word、WORD 视为同一个词，保留第一次出现的写法。所以同一段里先出现的 Word 会被留下，后面的 word 不再重复输出，词表里不会出现两行只差大小写的条目。

标点不参与剥离，word 和 word, 是两个不同的词。想让它们合并，得先去掉标点再处理；中文、日文句子没有空格，整句会被当成一个词，结果通常不是想要的，需要分词工具。

去重之后就看不出每个词出现了几次。想找重复用词、统计关键词密度，应该用词频统计，那里会按次数从高到低列出每个词。这里的输出只回答「有没有出现过」，不回答「出现了多少次」，两者别混用。

它也不做词形还原：run、runs、running 会被当成三个词，这在你只想看词根时会造成干扰。需要字典序时，把结果再交给单词排序；需要按行处理时，用按行去重的工具更合适，那个会保留原来的分行结构。

大小写不同的词算重复吗？

算。比较时忽略大小写，Word 和 word 视为同一个词，只保留第一次出现的写法。如果你希望保留两种写法，需要先手动统一成一种大小写，或者分别处理两段文本。

结果能按字母排序吗？

不能直接排。输出按词首次出现的顺序，方便对照原文。需要字典序时，把结果复制到单词排序工具再处理一次；如果希望忽略大小写排序，请先把整段转成小写再排。

中文和日文能用吗？

效果不好。工具按空格和换行切词，中文、日文句子中间没有空格，整句会被当成一个词，去重后基本等于原句。中文需要分词工具先把句子切成词，再拿结果去重。