悦省

删除重复单词(保留首次顺序)

按空格切词,删掉后面重复出现的同一个词,只保留它第一次出现的位置,所以输出顺序与原句一致、不会被打乱。比较时忽略大小写,输出为每行一个词,适合清理关键词和英文草稿。

怎么用
  • 粘贴一段用空格分词的文本,中英文混排也可以,但中文不会被切分。
  • 结果每行一个词,保留每个词第一次出现时的写法与位置。
  • 把输出和原文对照,就能看出自己被重复用得多的是哪些词。

常见问题

和普通的去重有什么区别?

关键在于保留首次出现的顺序:输出按每个词在原句中第一次出现的先后排列,不排序、不按字母重排,所以能看出原文的用词顺序。

中文为什么没被拆开?

分词只按空白字符切,不识别中文词边界,整段中文会当成一个词,因此更适合英文或其他用空格分词的文本。

大小写不同的算同一个词吗?

算。The 和 the 视为重复,只保留先出现的那一个写法;如果需要区分大小写,请先统一大小写再处理。