功能介绍
文本去重工具可以帮助你快速检测并删除文本中的重复行，让数据变得干净整洁。当你从多个数据源合并信息、整理关键词列表、清理日志文件或处理用户提交的数据时，重复条目是一个常见问题。本工具支持完全匹配和忽略大小写两种匹配模式，去重后会显示删除了多少重复行、保留了多少唯一行，让你清楚了解去重效果。工具支持粘贴文本、上传文件或输入 URL 获取内容，所有处理在浏览器本地完成，无需上传任何数据。
打开工具
访问 文本去重工具，在浏览器中直接使用。粘贴文本后选择匹配模式，点击去重按钮即可删除所有重复行并保留唯一条目。
操作步骤
1. 打开工具
访问 文本去重工具，页面加载后会显示文本输入区域、匹配模式选项和去重结果区域，支持粘贴文本或上传 txt 文件。
2. 输入待去重的文本
将需要去重的文本粘贴到输入框中，每行一个条目。工具会自动统计原始行数，方便你后续对比去重前后的变化。你也可以通过上传按钮导入 txt 或 csv 文件。
3. 选择匹配模式
选择完全匹配模式时，工具只会删除内容完全相同的行；选择忽略大小写模式时，大小写不同的相同内容也会被视为重复行一并删除。此外，你还可以开启去除空白行选项自动清理空行。
4. 执行去重并导出结果
点击「开始去重」按钮后，工具立即处理并展示唯一行列表。结果区域会显示去重统计：原始行数、唯一行数、删除的重复行数。你可以点击「复制结果」将唯一行复制到剪贴板，或导出为 txt 文件。
实用技巧
常见问题
完全匹配和忽略大小写有什么区别？
完全匹配要求行内容完全一致才判定为重复；忽略大小写模式下，Apple、apple、APPLE 会被视为重复，最终保留最先出现的那一行。
可以处理包含空格的行吗？
可以。工具会将整行文本（包括空格）作为匹配依据。如果想去重时忽略首尾空格，可以先使用空行移除工具清理行首尾空格。
去重后的数据会上传到服务器吗？
不会。所有去重操作在浏览器本地完成，你的数据始终保留在你的设备上，绝不会上传到任何服务器。