按行去重
按行去重,默认区分大小写、保留第一次出现;可开关忽略大小写、去空白后比较、Unicode 归一化与删除空行,并可与其它步骤按顺序组合。
输入与参数
input— 输入文本(每行一条)steps— 步骤顺序(逗号分隔,留空=仅本操作)ignoreCase— 忽略大小写(只留第一次出现)trimForDedup— 比较前去掉行首尾空白dropBlank— 删除空行normalize— Unicode 归一化lineEnding— 输出换行风格includeBom— 下载时包含 UTF-8 BOM(旧版记事本)previewOnly— 仅生成预览(不覆盖输入)
真实示例
苹果
香蕉
苹果
Apple
香蕉 → 默认
→ 苹果
香蕉
Apple (a/A/a 默认保留 a 和 A;勾选「忽略大小写」后只留 a)
限制与失败处理
只按整行比较,不做模糊匹配、不做 AI 重写、不处理字幕时轴。默认不归一化 Unicode,因此 e+◌́ (NFD) 与 é (NFC) 是两行;需要合并请显式选择归一化。上限 2 MiB / 10 万行,超限在处理前拒绝并可取消。组合字符与 ZWJ emoji 默认原样保留。
FAQ
会保留哪一次出现?
永远保留第一次出现的原始行文本,比较用的键(小写、去空白、归一化)不会改写输出。
空行会被删掉吗?
默认不删除,但连续重复空行会折叠为一个;需要全部删除请勾选「删除空行」。