使用 C++ 过滤文件中的纯英文字符串

在处理多语言文本数据时，经常会遇到需要过滤掉非目标语言字符串的情况。例如，你可能有多个文件，每个文件中存放了不同语言的字符串，但这些文件中都混杂了一些纯英文的字符串。本文将介绍如何使用 C++ 实现只获取每个文件中的纯英文字符串。

1. 问题描述

假设你有多个文件，每个文件中每行存放一个字符串。这些字符串可能是中文、日文、韩文等，但也混杂了一些纯英文的字符串。你需要编写一个 C++ 程序，从每个文件中提取出纯英文字符串，并将其保存到新的文件中。

2. 解决方案

为了实现这一目标，我们可以使用 C++ 的字符串处理功能和正则表达式来判断一个字符串是否为纯英文。具体步骤如下：

读取文件内容：逐行读取文件中的字符串。
判断字符串是否为纯英文：使用语言检测库来判断字符串是否只包含英文字母。
保存纯英文字符串：将符合条件的字符串保存到新的文件中。

3. 使用语言检测库

我们可以使用开源的语言检测库，如 langdetect（Python 库）或 cld2（C++ 库），来判断字符串的语言。由于 C++ 标准库中没有内置的语言检测功能，我们可以使用 cld2 库来实现这一功能。

安装 `cld2` 库

首先，你需要安装 cld2 库。你可以通过以下命令安装：

git clone https://github.com/CLD2Owners/cld2.git
cd cld2/internal
./compile_libs.sh

编译完成后，将生成的库文件（如 libcld2.a）和头文件（如 cld2.h）添加到你的项目中。

4. 代码实现

以下是实现上述功能的 C++ 代码示例：

#include <iostream>
#include <fstream>
#include <string>
#include <vector>
#include <cld2.h>// 判断字符串是否为纯英文
bool isPureEnglish(const std::string& str) {std::string language;int percent;bool isReliable;// 使用 cld2 检测语言int result = cld2::DetectLanguage(str.c_str(), str.size(), true, &language, &percent, &isReliable);// 如果检测结果为英文且可靠性高，则认为是纯英文if (language == "en" && isReliable) {return true;}return false;
}// 处理单个文件
void processFile(const std::string& inputFile, const std::string& outputFile) {std::ifstream inFile(inputFile);std::ofstream outFile(outputFile);if (!inFile.is_open()) {std::cerr << "无法打开输入文件: " << inputFile << std::endl;return;}if (!outFile.is_open()) {std::cerr << "无法打开输出文件: " << outputFile << std::endl;return;}std::string line;while (std::getline(inFile, line)) {if (isPureEnglish(line)) {outFile << line << std::endl;}}inFile.close();outFile.close();
}// 处理多个文件
void processFiles(const std::vector<std::string>& inputFiles, const std::string& outputDir) {for (const auto& inputFile : inputFiles) {std::string outputFile = outputDir + "/" + inputFile;processFile(inputFile, outputFile);}
}int main() {std::vector<std::string> inputFiles = {"file1.txt", "file2.txt", "file3.txt"};std::string outputDir = "output";processFiles(inputFiles, outputDir);std::cout << "处理完成！" << std::endl;return 0;
}

5. 代码解释

5.1. `isPureEnglish` 函数

bool isPureEnglish(const std::string& str) {std::string language;int percent;bool isReliable;// 使用 cld2 检测语言int result = cld2::DetectLanguage(str.c_str(), str.size(), true, &language, &percent, &isReliable);// 如果检测结果为英文且可靠性高，则认为是纯英文if (language == "en" && isReliable) {return true;}return false;
}

该函数使用 cld2::DetectLanguage 函数检测字符串的语言。
language 变量存储检测到的语言代码（如 "en" 表示英文）。
isReliable 变量表示检测结果的可靠性。
如果检测结果为英文且可靠性高，则返回 true，否则返回 false。

5.2. `processFile` 函数

void processFile(const std::string& inputFile, const std::string& outputFile) {std::ifstream inFile(inputFile);std::ofstream outFile(outputFile);if (!inFile.is_open()) {std::cerr << "无法打开输入文件: " << inputFile << std::endl;return;}if (!outFile.is_open()) {std::cerr << "无法打开输出文件: " << outputFile << std::endl;return;}std::string line;while (std::getline(inFile, line)) {if (isPureEnglish(line)) {outFile << line << std::endl;}}inFile.close();outFile.close();
}

该函数读取输入文件的每一行，并使用 isPureEnglish 函数判断该行是否为纯英文字符串。
如果是纯英文字符串，则将其写入输出文件。

5.3. `processFiles` 函数

void processFiles(const std::vector<std::string>& inputFiles, const std::string& outputDir) {for (const auto& inputFile : inputFiles) {std::string outputFile = outputDir + "/" + inputFile;processFile(inputFile, outputFile);}
}

该函数遍历所有输入文件，并为每个文件调用 processFile 函数进行处理。

5.4. `main` 函数

int main() {std::vector<std::string> inputFiles = {"file1.txt", "file2.txt", "file3.txt"};std::string outputDir = "output";processFiles(inputFiles, outputDir);std::cout << "处理完成！" << std::endl;return 0;
}