重複単語の削除：初出順を保ったまま語を整理する

英文を貼り付けると、2回目以降に出てきた同じ語が削除され、最初に出てきた1つだけが残ります。結果は1行1語で、原文で最初に現れた順に並ぶため、自分の口癖を目で拾うより速く確認できます。

語単位の重複削除が必要な場面

英語の原稿では同じ形容詞を無意識に繰り返していることがあります。また、文章からキーワードを抜き出してタグや検索語の一覧を作るときも、まず重複を消す必要があります。行単位の重複削除は行全体が同じ場合しか消せないため、語単位のほうが適しています。

校正の点検にも使えます。重複を除くと1行1語で並ぶので、どの語に頼りすぎているか、どの語が1回しか出てこないかが一目で分かります。母語でない言語で書くとき、語彙の偏りを見つける近道になります。

分割は空白文字（スペース、タブ、改行）だけで行います。記号は語にくっついたままなので、「word,」と「word」は別の語として扱われます。すっきりした一覧にしたい場合は、カンマやピリオド、引用符を先にスペースへ置換してから貼り付けてください。

比較では大文字小文字を区別しないため、The と the は同じ語とみなされ、先に出たほうの表記が残ります。すべて小文字に揃えたい場合は、重複削除のあとでまとめて変換してください。出力は1行1語で、元の記号や改行は残りません。

語形の変化はまとめません。run、runs、running は3つの別の語として扱われます。ストップワードの除去もないため、the や a、of もそのまま残ります。頻度の集計や見出し語への変換が必要なら、専用の形態素解析ツールか簡単なスクリプトを使ってください。

単語を空白で区切らない言語、とくに中国語と日本語では、文章全体が1つの語として扱われるため、重複削除はほぼ効果がありません。これらの言語では分かち書きツールか記号による分割を使ってください。多言語が混在する場合は、どこをそのまま残すかを先に決めておくと安全です。

普通のテキスト重複削除と何が違いますか？

普通の重複削除は行単位で、行全体が同じときだけ削除します。こちらは語単位なので、同じ行の中の繰り返しも削除され、出力は並べ替えではなく初出順になります。語順がそのまま残る点が特徴です。

中国語が単語に分割されないのはなぜですか？

分割はスペース、タブ、改行だけを手がかりにし、中国語の単語境界を判定しないためです。空白のない中国語は1つの語として扱われ、そのまま出力されます。英語など空白区切りのテキストに向いています。

The と the は重複ですか？どちらの表記が残りますか？

重複です。大文字小文字を区別せず、先に現れたほうの表記が残ります。The が先なら The、the が先なら the が出力されます。表記を統一したい場合は、重複削除のあとで大文字小文字を変換してください。