本文将为您介绍经典、热门的数据集，希望对您在选择适合的数据集时有所帮助。

1

privacy

• 更新时间：2024-11-26

• 访问地址: GitHub

• 描述：

  此存储库包含 TensorFlow Privacy（一种 Python）的源代码 库，其中包含用于训练的 TensorFlow 优化器的实现 具有差分隐私的机器学习模型。该库附带 用于计算提供的隐私保证的教程和分析工具。

• 用途：

  用于训练机器学习模型的库，具有训练数据的隐私

• 数据集网址：

  https://github.com/tensorflow/privacy

2

sagemaker-python-sdk

• 更新时间：2024-11-26

• 访问地址: GitHub

• 描述：

  SageMaker Python 开发工具包是一个开源库，用于在 Amazon SageMaker 上训练和部署机器学习模型。

  借助该开发工具包，您可以使用流行的深度学习框架 Apache MXNet 和 TensorFlow 训练和部署模型。 您还可以使用 Amazon 算法训练和部署模型。 它们是针对 SageMaker 和 GPU 训练优化的核心机器学习算法的可扩展实施。 如果您在与 SageMaker 兼容的 Docker 容器中内置了自己的算法，您也可以使用这些算法来训练和托管模型。

• 用途：

  用用于在 Amazon SageMaker 上训练和部署机器学习模型的库

• 数据集网址：

  https://github.com/aws/sagemaker-python-sdk

3

sagemaker-training-toolkit

• 更新时间：2024-9-10

• 访问地址: GitHub

• 描述：

  Amazon SageMaker 是一项完全托管的服务，适用于数据科学和机器学习 （ML） 工作流。 您可以使用 Amazon SageMaker 来简化构建、训练和部署 ML 模型的过程。

  要训练模型，您可以将训练脚本和依赖项包含在运行训练代码的 Docker 容器中。 容器提供有效隔离的环境，确保一致的运行时和可靠的训练过程。

  SageMaker 训练工具包可以轻松添加到任何 Docker 容器中，使其与 SageMaker 的训练模型兼容。 如果您使用预构建的 SageMaker Docker 映像进行训练，则此库可能已包含在内。

• 用途：

  使用 🧠 Amazon SageMaker 在 🐳 Docker 容器中训练机器学习模型。

• 数据集网址：

  https://github.com/aws/sagemaker-training-toolkit

4

Machine-Learning-Guide

• 更新时间：2024-01-05

• 访问地址: GitHub

• 描述：

  该指南涵盖机器学习，包括应用程序、库和工具，这些应用程序、库和工具将使您更好、更高效地进行机器学习开发。

• 用途：

  机器学习指南。了解有关机器学习工具、库、框架、大型语言模型 （LLM） 和训练模型的所有信息。

• 数据集网址：

  https://github.com/mikeroyal/Machine-Learning-Guide

5

unstructured

• 更新时间：2024-11-26

• 访问地址: GitHub

• 描述：

  该库提供了用于摄取和预处理图像和文本文档（如 PDF、HTML、Word 文档等）的开源组件。其使用案例围绕简化和优化 LLM 的数据处理工作流程展开。 模块化函数和连接器形成一个有凝聚力的系统，可简化数据摄取和预处理，使其能够适应不同的平台，并有效地将非结构化数据转换为结构化输出。

• 用途：

  开源库和 API，用于构建用于标记、训练或生产机器学习管道的自定义预处理管道。

• 数据集网址：

  https://github.com/Unstructured-IO/unstructured

6

arcann_training

• 更新时间：2024-10-31

• 访问地址: GitHub

• 描述：

  ArcaNN 提出了一种自动化的增强采样生成训练集，用于化学反应机器学习原子间电位。 在当前版本中，它旨在简化和自动化用户选择系统的 DeePMD-kit 神经网络潜力的迭代训练过程，但训练过程的核心概念可以扩展到其他网络架构。 此代码的主要优点是其模块化、能够微调训练过程以适应您的系统和工作流程以及出色的可追溯性，因为代码记录了过程中设置的每个参数。 在迭代训练过程中，您将迭代训练神经网络电位，将其用作分子动力学模拟的反作用力场（以探索相空间），根据 query by committee 方法选择和标记一些配置，然后使用改进的训练集再次训练神经网络电位，依此类推。 这个工作流程，有时被称为主动或并发学习，在很大程度上受到了 DP-GEN 的启发，我们使用他们的命名方案来迭代过程的步骤。

• 用途：化学反应机器学习原子间电位训练集的自动增强采样生成

• 数据集网址：

  https://github.com/arcann-chem/arcann_training

7

Minerva

• 更新时间：2024-8-20

• 访问地址: GitHub

• 描述：

  Minerva 具有强大的命令行界面 （CLI），简化了训练和评估模型的过程。此外，它还为实验提供了版本控制和配置系统，确保可重复性并促进社区内结果的比较。

• 用途：

  旨在为从事机器学习项目的研究人员提供一个强大而灵活的框架。它包括用于数据转换、模型创建和分析指标的各种实用程序和模块。

• 数据集网址：

  https://github.com/discovery-unicamp/Minerva

8

lab-workshops

• 更新时间：2024-09-05

• 访问地址: GitHub

• 描述：

  文本挖掘、机器学习和数据可视化研讨会的材料

• 数据集网址：

  https://github.com/YaleDHLab/lab-workshops

9

Determined 

• 更新时间：2024-11-22

• 访问地址: GitHub

• 描述：

  Determined 是一个一体化深度学习平台，与 PyTorch 和 TensorFlow 兼容。

  它负责：

1. 分布式训练可更快获得结果。

2. 用于获得最佳模型的超参数优化。

3. 用于降低云 GPU 成本的资源管理。

4. 用于分析和重现性的实验跟踪。

• 用途：Determined 是一个开源机器学习平台，可简化分布式训练、超参数优化、实验跟踪和资源管理。适用于 PyTorch 和 TensorFlow。

• 数据集网址：

  https://github.com/determined-ai/determined

10

modulus-makani

• 更新时间：2024-10-15

• 访问地址: GitHub

• 描述：

  Makani 由 NVIDIA 和 NERSC 的工程师和研究人员创立，用于训练 FourCastNet，这是一种基于深度学习的天气预报模型。

  Makani 是一种研究代码，用于在 100+ GPU 上大规模并行训练天气和气候预测模型，并支持开发下一代天气和气候模型。其中，Makani 用于在 ERA5 数据集上训练球形傅里叶神经算子 （SFNO） [1] 和自适应傅里叶神经算子 （AFNO） [2]。Makani 是用 PyTorch 编写的，支持各种形式的模型和数据并行、异步加载数据、不可预测的通道、自回归训练等等。

• 用途：旨在支持在 PyTorch 中研究和开发基于机器学习的天气和气候模型。

• 数据集网址：https://github.com/NVIDIA/modulus-makani

END

 温馨  小贴士

如有您想了解的计算机方向数据集

请联系我们

免费为您提供数据集搜索服务