ここで実行 100% ブラウザ内で動作します。アップロードもログインも不要です。
Text Deduper
重複行を削除し、最初か最後の出現を保持。削除された行も一覧で確認できます。
削除された行
使い方
- テキストやリストを左側の入力欄に貼り付けます。1 行に 1 項目です。
- 重複の判定方法を選びます:既定はバイト単位の完全一致。大文字小文字や行末の空白を無視することもできます。
- 最初の出現を保持を有効にすると元の順序が保たれます。オフにすると各行の最後の出現を保持します。
- Dedupe を押します。右側に整理後のリスト、下のボックスに削除された行が表示されます。
- ステータス行の前後行数を確認し、Copy で結果を取り出します。
よくある用途
- 複数リストの統合 —— いくつかのエクスポートを連結してから重複をまとめ、きれいな 1 つの集合に。
- キーワードとタグの整備 —— 末尾の空白や大文字小文字だけが違う重複タグを一掃。
- ログの調査 —— 完全に同じ行を取り除き、実際に起きた異なるイベントを確認。
- TODO リストの統合 —— 数人分のリストを併せても、内容を落とさず重複も残しません。
よくある質問
Q: 重複はどのようなルールで比較されますか? A: 既定はバイト単位です。大文字小文字を無視や行末の空白を無視にすると、比較前に正規化しますが、保持される行は常に元のテキストです。
Q: 「最後の出現を保持」とは具体的にどんな動作ですか? A: 重複グループごとに最後の 1 つをその本来の位置に残し、それより前のコピーは削除欄に列挙されます。
Q: 行の並べ替えもされますか? A: いいえ。貼り付けた順序はそのまま保たれます。ソートが必要なら、先に重複を削除してから行ソートツールに貼り付けてください。
データはこのデバイス内にとどまります
Text Deduper は 100% ローカルで動作します。貼り付けたり、ドロップしたデータはすべてお使いのブラウザ内で処理され、送信されることはありません。当社のサーバーには何も保存されません——タブを閉じればすべて消えます。
入力された内容がサーバーへ送信・記録・解析利用されることはありません。初回読み込み後はネットワークを切断していてもこのページは動作します。