1.技术细节
》 数据处理、 数据配比、模型优化、评估方案
2.数据集
- wudao-Data
- Skywork-150B：https://hf.co/Skywork
- 非盈利性机构构建的CommonCrawl数据集是一个海量的、非结构化的、多语言的网页数据集。它包含了超过 8 年的网络爬虫数据集，包含原始网页数据（WARC）、元数据（WAT）和文本提取（WET），包含数百亿网页，数据量级在PB级规模，可从 Amazon S3 上免费获取。第二类称之为专有数据（curated high-quality corpora），为某一个领域、语言、行业的特有数据。比如对话、书籍、代码、技术报告、论文考试等数据。
3.代码
- https://github.com/SkyworkAI/Skywork
4.文本提取
- 需要特别注意，网页内容仅仅保留正文！URL、导航栏文本、标题、脚注、广告文本等和正文无关的信息要去除干净。作者使用trafilatura库用于从网页中提取正文。
- 目标语言识别：将你需要的目标语言网页保留，这时候用到的模型是比较快的n-gram模型，比如fastTexts。
- 规则过滤：将有一些包含禁用词的网页，标点符号过多的行去掉。这个要非常注意，如果过滤关键词范围很大的话，模型可能会有bias，举个栗子：如果将情色相关作为关键词进行过滤，那么很多医疗相关网页也会被过滤掉。
- 通过机器学习方法过滤出高质
)
