文章目录
- 一、关于 Monolith
- 二、快速开始
- 1、从源代码构建
- 2、示例和教程
一、关于 Monolith
- github : https://github.com/bytedance/monolith
- Discord
Monolith 是一个用于大规模推荐建模的深度学习框架。它引入了两个对高级推荐系统至关重要的特性:
- collisionless embedding tables 保证不同ID特征的唯一表示
- 实时训练捕捉最新的热点,帮助用户快速发现新的兴趣点
Monolith 是基于 TensorFlow 构建的,支持批量/实时训练和部署。
二、快速开始
1、从源代码构建
目前,我们仅支持在 Linux 上进行编译。
首先,下载 bazel 3.1.0
wget https://github.com/bazelbuild/bazel/releases/download/3.1.0/bazel-3.1.0-installer-linux-x86_64.sh && \chmod +x bazel-3.1.0-installer-linux-x86_64.sh && \./bazel-3.1.0-installer-linux-x86_64.sh && \rm bazel-3.1.0-installer-linux-x86_64.sh
然后,准备一个 Python 环境
pip install -U --user pip numpy wheel packaging requests opt_einsum
pip install -U --user keras_preprocessing --no-deps
最后,你可以在单体中构建任何目标。例如,
bazel run //monolith/native_training:demo --output_filter=IGNORE_LOGS
2、示例和教程
在 markdown/demo 中有一个 关于如何运行 分布式异步训练 的教程,以及一些关于如何使用 MonolithModel
API 的指南 这里。
伊织 2024-01-03(五)