今天爬取舔狗日记的时候,来来回回就那一点数据,发现简单文本去重无法去除相同句子中夹杂着不同标点符号或不同词语的句子,所以有了这篇文本相似度去重脚本。
文本相似度去重，是指对一批文本进行去重，只保留相似度较高的文本。相似度的度量方法有很多种，这里以编辑距离（Edit Distance）作为衡量标准。
编辑距离是指两个字符串之间，由一个转成另一个所需的最少编辑操作次数。常见的编辑距离算法有Levenshtein距离、Damerau-Levenshtein距离、Jaro距离、Jaro-Winkler距离等。
编辑距离算法的实现，可以使用动态规划算法，也可以使用暴力搜索算法。

下面是用NodeJs实现的文本相似度去重脚本

安装依赖

1
pnpm add natural cosine-similarity

脚本代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
const fs = require("fs");
const natural = require("natural");
const cosineSimilarity = require("cosine-similarity");
const tokenizer = new natural.WordTokenizer();

// 计算文本的词袋模型
const getVector = text => {
  const tokens = tokenizer.tokenize(text.toLowerCase());
  const frequency = tokens.reduce((acc, token) => {
    acc[token] = (acc[token] || 0) + 1;
    return acc;
  }, {});
  return frequency;
};

// 计算两个文本的相似度
// threshold 为重复率,范围 0-1,自由设置
const isSimilar = (text1, text2, threshold = 0.2) => {
  const vector1 = getVector(text1);
  const vector2 = getVector(text2);
  const similarity = cosineSimilarity(vector1, vector2);
  return similarity >= threshold;
};

// 去重函数
const deduplicateArray = arr => {
  const result = [];
  for (const item of arr) {
    let isDuplicate = false;
    for (const uniqueItem of result) {
      if (isSimilar(item, uniqueItem)) {
        isDuplicate = true;
        break;
      }
    }
    if (!isDuplicate) {
      result.push(item);
    }
  }
  return result;
};

const txt = ["文本1", "文本2", "文本......", "文本999999"];
const uniqueArray = deduplicateArray(txt);

// 将去重后的数据写入文件
fs.writeFile("./dataRes.txt", uniqueArray.join("\n"), err => {
  if (err) throw err;
  console.log("数据已成功写入 ./data.txt");
});