删除重复单词怎么用：保留首次顺序的关键词去重

把一段英文粘进来，重复出现的词只留第一次，结果一行一个词，顺序就是它们在原文里首次出现的先后。做关键词清单、检查自己反复用了哪些词，都比肉眼扫一遍快。

什么时候需要按词去重

写英文稿时反复用同一个形容词，自己不容易察觉；把一段文案里的关键词抽出来做标签、做词表，也需要先去掉重复。这时候按词去重比按行去重更合适——按行去重只处理整行完全相同的情况。

另一个用途是审稿：去重后一行一个词列出来，能直观看到自己的用词集中在哪些词上，哪些词只出现了一次。对非母语写作者来说，这是检查词汇重复最快也最不打扰思路的办法。

切词只按空白字符（空格、制表符、换行）进行，标点会跟着单词走：word, 和 word 会被当成两个不同的词。想要干净的结果，先把逗号、句号、引号替换成空格，再粘进来，否则同一个词会以不同的标点形态残留两次。

比较时忽略大小写，The 和 the 视为同一个词，保留先出现的那个写法。所以输出里的拼写取决于它第一次出现时的样子；需要统一小写，去重后再整体转一次大小写。输出是一行一个词，不再保留原句的标点和换行结构。

它不做词形还原，run、runs、running 算三个不同的词；也不做停用词过滤，the、a、of 会照样留在结果里。想要词频统计或词形归并，需要专门的分词与词频工具，或者写几行脚本处理。

中文、日文这类不用空格分词的语言，整段会被当成一个词，去重后基本没有效果。处理中文请用分词工具或按标点切分；处理多语言混排时，也要先想清楚哪些部分需要保留原样。

和普通的文本去重有什么区别？

普通去重按行处理，只有整行完全相同才会删掉；这里按词处理，同一行里重复出现的词也会被去掉，而且保留每个词第一次出现的顺序，输出顺序和原文一致、不排序。

为什么中文粘进去没有被拆成词？

因为切分只认空格、制表符和换行，不识别中文的词边界。一整段没有空格的中文会被当成一个「词」，去重后原样输出，所以这个工具主要适用于英文等用空格分词的语言。

The 和 the 算重复吗？保留哪一个？

算重复。比较时忽略大小写，只保留先出现的那个写法：原文先出现 The，输出就是 The；先出现 the，输出就是 the。需要统一大小写，去重后再转一次。