重複単語の削除(初出順を保持)
空白で単語に分け、2回目以降の重複を削除して最初に出た1つだけを残します。並べ替えないため、出力は元の語順のままです。比較では大文字小文字を区別せず、1行に1語で出力します。
使い方
- 空白で区切られたテキストを貼り付けます。中国語は分割されません。
- 出力は1行1語で、各語が最初に出てきたときの表記と位置を残します。
- 元の文と見比べれば、どの語を繰り返し使っていたかが分かります。
よくある質問
普通の重複削除と何が違いますか?
初出順を保つ点が違います。各語が最初に現れた順に出力し、並べ替えはしないため、元の語順がそのまま残ります。
中国語が分割されないのはなぜですか?
空白だけで分割し、中国語の単語境界は判定しないためです。中国語の文章は1語として扱われるので、英語など空白区切りのテキストに向いています。
The と the は同じ語ですか?
はい。大文字小文字を区別せずに比較し、先に出た表記を残します。区別したい場合は事前に表記を統一してください。