企业级 npm 私有仓库部署方案

本文作者系360奇舞团前端开发工程师

淘宝 NPM 镜像站切换新域名时,放了一张知乎博主·天猪·的图片,如下:

6adb1118bfb5e42deaaade2b897c3fe6.jpeg

_图片来源:https://zhuanlan.zhihu.com/p/432578145

看着逐年增长的访问量,不禁让人感慨,npm 的出现,对 JavaScript 生态产生了深远影响。npm 包下载量的变迁,也是 JavaScript 生态体系发展的一个缩影,同时也是国内公司前端领域发展的一个缩影。

npm 的出现,让我们可以轻松使用第三方模块,也让我们可以轻松发布自己的模块。

随着企业的发展,公司内部对私有的 npm 源的需求越来越多,下面就来介绍一下,企业级 npm 私有仓库部署方案。

一、 为什么需要 npm 私有仓库

我们从基本要求和扩展需求两个方面来分析。

  1. 基本要求

  • 安装速度快

  • 内网访问

  • 对接公司内部登录权限系统

  • 支持私有包

  • 避免公网 npm 服务不稳定

扩展需求

  • 安全审计,追踪依赖,及时发现安全问题

  • 使用 AI 相关技术,自动产出项目老旧依赖升级建议

  • 支持内部 npm cli 工具扩展更多功能

  • 前端工程数字化建设,定制化数据统计分析功能

基本要求,是搭建企业级 npm 私有仓库的核心诉求;扩展需求,则是企业数字安全和团队工程化的诉求。当然,不同的团队有不同的需求,本质上就是为了安全和稳定,能依托 npm 服务做定制化服务。

二、开源项目方案

既然要搭建企业级 npm 私有仓库,那么首先就要考虑开源项目。

有 nexus-public、verdaccio(sinopia已停止更新)、cnpmcore(cnpmjs已废弃)等,其中 nexus-public 是 java 项目,其他都是 nodejs 项目。另外有收费的有 JFrog Artifactory,是通用通用存储库管理器,支持许多流行仓库包括 npm。

基本上,能做到私有化部署npm服务 + 对接公司内部权限系统,就能满足基本要求。

  • nexus-public 是 java 项目,能满足基本要求,如果公司有同步管理 maven、docker等需求,可以考虑。

  • verdaccio 界面简洁,功能齐全,社区活跃,拥有 15k 的 star数,是一个不错的选择。verdaccio 非常轻量,安装和配置都非常简单,可以通过插件,定制化包括身份验证、存储和通知等功能。

  • cnpmcore 是淘宝 NPM 镜像站服务 npmmirror.com 背后的核心,是基于 eggjs 开发的。

三、选择 cnpmcore

企业服务,要求数据和服务分离,既要保证数据的安全和可靠性,又要保证服务的持续升级迭代。

既然是内网私有化部署,不用面对公网的流量,更多的关注点在于,除了满足内网 npm 基本服务要求,更多的是企业定制化需求。

综合考虑各方需求后,我认为 cnpmcore 对于企业级 npm 私有仓库部署方案来说,是一个不错的解决方案。

d079999f1e32393d8679ff7a5e8f3ae7.png

图片来源: https://juejin.cn/post/7132723239813382151

相比于前身 cnpmjs,cnpmcore 进行了重大的重构,cnpmcore 对我来说,看中的就是它的二次研发能力。

cnpmcore 部署比较简单,文档介绍的已经很详细了,主要步骤简单描述:

  1. 依赖服务准备,MySQL 数据服务、Redis 缓存服务,包存储默认是本地文件系统,推荐使用对象存储服务

  2. 源码下载,安装依赖,修改配置文件,启动服务

比起直接源码部署,我更推荐创建 tegg 项目,集成 cnpmcore 使用, cnpmcore 官方有提供详细的 tegg 集成示例。当前有个前提,你对于 eggjstegg 有一定的了解。

了解 cnpmcore 项目架构

首先放一下 cnpmcore 文档里的架构分层依赖图

605ad033ddd0d9f87d7220a6c336c70b.png

简单总结一下文档内容:

  • 项目结构:项目按照功能进行了分层,包括 common(通用工具和服务调用)、core(核心业务逻辑)、repository(数据存储和查询)、port(HTTP 控制器)、infra(基于 PaaS 的基础设置实现)等。

  • Controller:主要处理 HTTP 请求,继承自 AbstractController 和 MiddlewareController。AbstractController 封装了一些基础的数据 Entity 访问方法,MiddlewareController 主要负责编排中间件的加载顺序。

  • 请求合法性校验:请求合法性校验包括请求参数校验、用户认证和资源操作权限校验。请求参数校验使用 egg-typebox-validate,用户认证和资源操作权限校验通过 UserRoleManager 进行。

  • Service:依赖 Repository,然后被 Controller 依赖。PackageManagerService 管理所有包以及版本信息。

  • Repository:依赖 Model,然后被 Service 和 Controller 依赖。Repository 类方法命名规则包括 findSomething(查询一个模型数据)、saveSomething(保存一个模型数据)、removeSomething(移除一个模型数据)和 listSomethings(查询一批模型数据)。

由于 tegg 的存在,后续在定制化开发中,我们可以按需导出所需要的模块,然后进行二次开发。

四、定制化开发

如何在 tegg 中集成 cnpmcore 是官方提供的集成示例,完整代码可以参考 这里。

准备工作

依赖的外部服务这里不多做赘述,既然是企业级,可以自行对接公司内部的 MySQL、Redis 服务。另外,准备对象存储服务 s3, 用于存储包文件。

注意: cnpmcore 是渐进式开发,mysql 数据结构会随着版本发生变动,升级 cnpmcore 时,一定要注意这里 https://github.com/cnpm/cnpmcore/tree/master/sql, 提前做好数据库表结构变更准备。

项目初始化

$ mkdir tegg-cnpm
$ cd tegg-cnpm
$ npm init egg --type=ts

初始化后的项目,是一个 tegg 项目,集成了 eggjs 和 tegg,这里先更新一下依赖。

然后,我们需要安装 cnpmcore 依赖,以及需要的一些依赖,如 @eggjs/tegg-orm-plugin、egg-typebox-validate、s3-cnpmcore 等。

配置文件

  1. 修改 config/config.default.ts 配置文件,添加 cnpmcore 配置。

config.cnpmcore = {name: 'mynpm',sourceRegistry: 'https://registry.npmmirror.com',...// sync mode//  - none: don't sync npm package, just redirect it to sourceRegistry//  - all: sync all npm packages//  - exist: only sync exist packages, effected when `enableCheckRecentlyUpdated` or `enableChangesStream` is enabledsyncMode: SyncMode.admin,syncDeleteMode: SyncDeleteMode.delete,...registry: process.env.CNPMCORE_CONFIG_REGISTRY || 'http://localhost:7001', // 填写自己的域名// white scope listallowScopes: ['@myscope', // 这里添加自己的 scope],...// 默认的系统管理员admins: { // name: emailxxx: 'xxx@my.cn',},...};
  1. 添加 nfs 配置,用于存储包文件

import S3Client from 's3-cnpmcore';
...
// 默认是本地文件系统
config.nfs = {client: null,dir: join(config.dataDir, 'nfs'),
};// 这里使用 s3 对象存储, s3-cnpmcore 是 cnpmcore 官方提供的 s3 对象存储实现, 当然可以不用这个,自己实现也可以
config.nfs.client = new S3Client({region: 'xx',endpoint: 'http://xxx.com',credentials: {accessKeyId: '',secretAccessKey: '',},bucket: 'cnpmcore',forcePathStyle: false,disableURL: false,});
  1. 修改 config/plugin.ts 配置文件,开启我们需要的插件,如下:

teggOrm: {enable: true,package: '@eggjs/tegg-orm-plugin',},typeboxValidate: {enable: true,package: 'egg-typebox-validate',},
  1. 添加 module.json

[{"path": "../app/service"},{"path": "../app/infra"},{"package": "cnpmcore/common"},{"package": "cnpmcore/core"},{"package": "cnpmcore/port"},{"package": "cnpmcore/repository"}
]

其中 package 可以导出 cnpmcore 的模块,也可以用 path 导出自己的本地模块,具体参考 tegg 文档。

  1. 写业务代码

44b194b82cf69033c14482523530851c.png
文件结构

如图所示,在 infra 中,我们可以实现自己的 adapter,如 nfs 为例,这里实现了自己的 nfs adapter,用于存储包文件。如果在默认配置里,没有配置 nfs.client,那么就会使用默认的本地文件系统存储包文件。

以 AuthAdapter 为例,这里实现了自己的 AuthAdapter,用于对接公司内部的登录权限系统。

import { AccessLevel, EggContext, SingletonProto } from '@eggjs/tegg';
import { AuthAdapter } from 'cnpmcore/infra/AuthAdapter';
import { randomUUID } from 'crypto';
import { AuthUrlResult, userResult } from 'node_modules/cnpmcore/dist/app/common/typing';const ONE_DAY = 3600 * 24;@SingletonProto({name: 'authAdapter',accessLevel: AccessLevel.PUBLIC,
})
export class MyAuthAdapter extends AuthAdapter {async getAuthUrl(ctx: EggContext): Promise<AuthUrlResult> {const sessionId = randomUUID();await this.redis.setex(sessionId, ONE_DAY, '');const registry = ctx.app.config.cnpmcore.registry;const ssoLoginUrl = ctx.app.config.ssoLoginUrl;const ref = encodeURIComponent(`${registry}/cli/login/sso/${sessionId}`);return {loginUrl: `${ssoLoginUrl}?ref=${ref}`,doneUrl: `${registry}/-/v1/login/done/session/${sessionId}`,};}async ensureCurrentUser(): Promise<userResult | null> {if (this.user) {return this.user;}return null;}
}

添加登录验证Controller

import {HTTPController,HTTPMethod,HTTPMethodEnum,Context,EggContext,HTTPParam,HTTPQuery,HTTPBody,Middleware,Inject,
} from '@eggjs/tegg';
import { EggLogger, EggAppConfig } from 'egg';
import { traceMethod } from '../middleware/trace_method';
import { LoginService } from '../service/LoginService';
import { CacheAdapter } from 'cnpmcore/common/adapter/CacheAdapter';
import { UserService } from 'cnpmcore/core/service/UserService';@HTTPController()
@Middleware(traceMethod)
export class LoginController {@Inject()private readonly loginService: LoginService;@Inject()protected userService: UserService;@Inject()private cacheAdapter: CacheAdapter;@Inject()protected config: EggAppConfig;@Inject()private readonly logger: EggLogger;@HTTPMethod({method: HTTPMethodEnum.GET,path: '/cli/login/sso/:sessionId',})async cliLogin(@Context() ctx: EggContext, @HTTPParam() sessionId: string, @HTTPQuery() sid: string) {if (!sessionId) {return { success: false, data: { message: 'need sessionId' } };}// 验证 sessionId 是否有效const sessionData = await this.cacheAdapter.get(sessionId);if (sessionData !== '') {return { success: false, data: { message: 'invalid sessionId' } };}// 通过自己实现的 loginService 获取用户信息const user = await this.loginService.getUser(ctx, sid);if (!user?.name || !user?.email) {return { success: false, data: { message: 'invalid user info' } };}// 通过 cnpmcore UserService 保存 tokenconst { token } = await this.userService.ensureTokenByUser({ name: user.name, email: user.email, ip: ctx.ip });await this.cacheAdapter.set(sessionId, token!.token!);// return { success: true, data: { message: 'login success' } };// 跳转到登录成功页ctx.redirect(`${this.config.cnpmcore.registry}/-/v1/login/request/success`);return;}
}

前端部分

上面讲了服务端定制化开发,对于前端部分,cnpm 提供了 https://github.com/cnpm/cnpmweb,可以直接下载源码使用,也可以根据自己的需求进行二次开发,这里就不多做赘述了。

五、总结

cnpmcore 对于企业级 npm 私有仓库部署方案来说,是一个不错的选择。通过在 tegg 中集成 cnpmcore,我们可以很方便的进行 npm 服务的二次开发,扩展自己的业务代码,满足企业定制化需求。

参考资料

  1. https://juejin.cn/post/7132723239813382151

  2. https://github.com/cnpm/cnpmcore

  3. https://github.com/cnpm/cnpmcore/blob/master/INTEGRATE.md

  4. https://github.com/verdaccio/verdaccio

- END -

关于奇舞团

奇舞团是 360 集团最大的大前端团队,代表集团参与 W3C 和 ECMA 会员(TC39)工作。奇舞团非常重视人才培养,有工程师、讲师、翻译官、业务接口人、团队 Leader 等多种发展方向供员工选择,并辅以提供相应的技术力、专业力、通用力、领导力等培训课程。奇舞团以开放和求贤的心态欢迎各种优秀人才关注和加入奇舞团。

2a1979be3c2703adf5d467c08afda184.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/605060.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python爬虫实现获取招聘信息

使用的python版本&#xff1a; 3.12.1 selenium版本&#xff1a;4.8.0 urllib版本&#xff1a;1.26.18 from selenium import webdriver from selenium.webdriver import ActionChains import timeimport re import xlwt import urllib.parsedef get_html(url):chrome_drive…

系列十三、查询数据库中某个库、表、索引等所占空间的大小

一、information_schema数据库 1.1、概述 information_schema数据库是MySQL出厂默认带的一个数据库&#xff0c;不管我们是在Linux中安装MySQL还是在Windows中安装MySQL&#xff0c;安装好后都会有一个数据库information_schema&#xff0c;这个库中存放了其他库的所有信息。 …

【数据结构】队列

简单不先于复杂&#xff0c;而是在复杂之后。 文章目录 1. 队列1.1 队列的概念及结构1.2 队列的实现 2.栈和队列面试题3.概念选择题 1. 队列 1.1 队列的概念及结构 队列&#xff1a;只允许在一端进行插入数据操作&#xff0c;在另一端进行删除数据操作的特殊线性表&#xff0c…

imgaug库指南(九):从入门到精通的【图像增强】之旅

引言 在深度学习和计算机视觉的世界里&#xff0c;数据是模型训练的基石&#xff0c;其质量与数量直接影响着模型的性能。然而&#xff0c;获取大量高质量的标注数据往往需要耗费大量的时间和资源。正因如此&#xff0c;数据增强技术应运而生&#xff0c;成为了解决这一问题的…

K8S Prometheus-rocketmq-exporter配置

下载rocketmq-exporter 通过Docker仓库下载 docker pull sawyerlan/rocketmq-exporter:latest 然后打标签&#xff0c;推送到自己的仓库 也可通过代码自己build镜像 git clone GitHub - apache/rocketmq-exporter: Apache RocketMQ Prometheus Exporter 然后打标签&#x…

爬虫实战 - 微博评论数据可视化

简介&#xff1a; 我们都知道在数据比较少的情况下&#xff0c;我们是可以很轻易的获取到数据中的信息。但是当数据比较庞大的时候呢&#xff0c;我们就很难看出来了。尤其是面对现如今数以万计的数据&#xff0c;就更了。 不过好在我们可以通过计算机来帮我们进行分析&#…

2.4 DEVICE GLOBAL MEMORY AND DATA TRANSFER

在当前的CUDA系统中&#xff0c;设备通常是带有自己的动态随机存取存储器&#xff08;DRAM&#xff09;的硬件卡。例如&#xff0c;NVIDIA GTX1080具有高达8 GB的DRAM&#xff0c;称为全局内存。我们将互换使用全局内存和设备内存这两个术语。为了在设备上执行内核&#xff0c;…

西电期末1032.模式匹配

一.题目 二.分析与思路 遍历判断 三.代码实现 #include<bits/stdc.h>//万能头 int main() {int n;scanf("%d",&n);int num[n];for(int i0;i<n;i){scanf("%d",&num[i]);}int ans0;//个数for(int i0;i<n-2;i){if(num[i]3&&nu…

【Docker】数据卷容器

多个容器进行数据交换 这里引入一个数据卷容器的概念 以下介绍容器A与容器B进行数据交换的原理 假如容器A要与容器 B 进行数据交换&#xff0c; 首先创建一个容器C&#xff0c;将他挂载到数据卷&#xff0c;然后再将容器A与容器B挂载到容器C&#xff0c;这样做相当于容器A与…

【EAI 006】ChatGPT for Robotics:将 ChatGPT 应用于机器人任务的提示词工程研究

论文标题&#xff1a;ChatGPT for Robotics: Design Principles and Model Abilities 论文作者&#xff1a;Sai Vemprala, Rogerio Bonatti, Arthur Bucker, Ashish Kapoor 作者单位&#xff1a;Scaled Foundations, Microsoft Autonomous Systems and Robotics Research 论文原…

YOLOv5改进 | 注意力篇 | ACmix注意力与卷积混合的模型(轻量化注意力机制)

一、本文介绍 本文给大家带来的改进机制是ACmix自注意力机制的改进版本,它的核心思想是,传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影,生成一组中间特征,然后根据不同的范式,即自注意力和卷积方式,分别…

使用 MONAI 加载和保存各种格式的医学图像

本教程属于实战&#xff0c;手把手教你加载各种医学图像数据&#xff08;nii.gz, .dcm, .png等&#xff09;。并学会查看医学图像数据的元数据&#xff08;shape, affine, orientation&#xff09;。学会使用monai全方位了解你的数据&#xff0c;并把它用于之后的深度学习训练。…

Leetcod面试经典150题刷题记录 —— 链表篇

Leetcod面试经典150题刷题记录-系列Leetcod面试经典150题刷题记录——数组 / 字符串篇Leetcod面试经典150题刷题记录 —— 双指针篇Leetcod面试经典150题刷题记录 —— 矩阵篇Leetcod面试经典150题刷题记录 —— 滑动窗口篇Leetcod面试经典150题刷题记录 —— 哈希表篇Leetcod面…

pytorch安装

pytoch安装 1. 准备工作1.1 需要提前安装的软件 2. 安装pyTorch我遇到的问题 3. 显卡测试4. CPU与GPU切换方法4.1 创建张量4.2 第一种切换方法4.3 第二种切换方法 1. 准备工作 1.1 需要提前安装的软件 Anaconda 史上最全最详细的Anaconda安装教程CUDA CUDA安装教程&#xff0…

让充电器秒供多个快充口,乐得瑞推出1拖2功率分配快充线方案

随着PD3.1协议的市场应用越来越多&#xff0c;一些充电器的Type-C接口的输出功率达到百瓦及以上&#xff0c;如何充分利用好这类充电器设备&#xff0c;乐得瑞电子推出1拖2快充线缆解决方案&#xff0c;支持智能功率分配策略支持私有快充协议。 如上图是乐得瑞1拖2功率分配快充…

WWDG---窗口看门狗

一.简介 窗口看门狗跟独立看门狗一样&#xff0c;也是一个递减计数器不断的往下递减计数&#xff0c;必须在一个窗口的上限值&#xff08;用户定义&#xff09;和下限值&#xff08;0X40&#xff0c;固定不能变&#xff09;之间喂狗不会复位&#xff0c;在上限值之前和下限值之…

Flink自定义Source模拟数据流

maven依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.…

OpenCV | 光流估计

光流估计 光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”&#xff0c;根据各个像素点的速度的速度矢量特征&#xff0c;可以对图像进行动态分析&#xff0c;例如目标跟踪 高度恒定&#xff1a;同一点随着时间的变化&#xff0c;其亮度不会发生改变。小运动&…

ProtoBuf一些踩坑记录

一、Protobuf学习基础 学习的资料很多也很全&#xff0c;这里添加几个链接进行Protobuf的基础学习的链接&#xff0c;链接中的案例使用C编辑&#xff1a; 链接&#xff1a;Protobuf介绍及简单使用(上&#xff09;_google_protobuf_version-CSDN博客 Protobuf介绍及简单使用(下&…

MFC综合实验二学习记录

文章目录 如何确定消息映射宏中命令对应的菜单项资源虚函数和纯虚函数的区别&#xff1f;MFC中什么是UPDATE_COMMAND_UI 消息如何查看控件对应的成员变量模态对话框的理解HGDIOBJ" 类型的值不能用于初始化 "CBrush *" 类型的实体错误MFC编程中CDC类型和HDC类型有…