本文系原创,转载请附带作者信息:yhlben
项目地址:https://github.com/yhlben/cdfang-spider
前言
在实际的开发过程中,从零开始初始化一个项目往往很麻烦,所以各种各样的脚手架工具应运而生。crea-react-app,vue-cli,@angular/cli 等脚手架工具,只需要执行一个命令,项目结构以及开发环境就搭建好了。
脚手架工具确实方便了我们使用,开发者可以专注于业务,而不需要考虑太多的环境搭建。但作者认为,学习脚手架工具背后的搭建过程也是很重要的,以防脚手架挂了之后,我们还能正常搭建项目。基于这个目的,作者从零搭建了cdfang-spider项目。
现在让我们就以这个项目为例,从零开始搭建项目吧。
项目选型
- 三大框架里选哪个?
- react 个人爱好。
- react-router 定义路由。
- react context 状态管理。
- react hooks 组件化。
- 引入强类型语言?
- typescript。为 js 提供类型支持,编辑器友好,增加代码可维护性,使用起来心里踏实。
- 在使用第三方库时,可以写出更加符合规范的代码,避免 api 乱用等。
- 项目中依赖了大量 @types/xxx 包,无形中增加了项目体积。
- 编辑器对 ts 文件进行类型检查,需要遍历 node_modules 目录下所有的 @types 文件,会造成编辑器卡顿现象。
- 目前仍然存在很多库没有 @types 支持,使用起来并不方便。
- css 选型?
- 预编译器 less。项目中使用了变量定义,选择器嵌套,选择器复用等,less 够用了。
- 解决命名冲突可以使用 css modules,暂未考虑 css in js。
- 使用 bem 命名规范。
- 使用 postcss 插件 autoprefixer,增加 css 兼容性。
- 构建工具选哪个?
- webpack。内置 tree shaking,scope hosting 等,打包效率高,社区活跃。
- webpack-merge 合并不同环境配置文件。
- 配置 externals。引入 cdn 代替 node_modules 中体积较大的包。
- gulp。用来打包 node 端代码。
- 代码规范检查?
- eslint。辅助编码规范执行,有效控制代码质量。同时也支持校验 typescript 语法。
- 配置 eslint-config-airbnb 规则。
- 配置 eslint-config-prettier 关闭和 prettier 冲突的规则。
- 测试框架选型?
- jest。大而全,包含:测试框架,断言库,mock 数据,覆盖率等。
- enzyme。测试 react 组件。
- 后端框架选型?
- koa。精简好用,中间件机制强大。
- apollo-server。帮助搭建 graphQL 后端环境。
- 数据库选型?
- mongodb。类 json 的存错格式,方便存储,前端友好。
- 配置 mongoose,方便给 mongodb 数据库建模。
- 接口方式选型?
- graphql。可以根据需要格式获取对应数据,减少接口冗余数据。
- graphql schema 定义了后端接口的参数,操作和返回类型,从此不需要提供接口文档。
- 前端可以在 schema 定义后开始开发,数据格式自己掌握。
- schema 可拼接。可以组合和连接多个 graphql api,进行级联查询等。
- 社区友好,有很多优秀的库可以直接使用: apollo,relay 等。
基本框架选型完毕,接下来就开始搭建项目环境。
搭建 TypeScript 环境
TypeScript 是 JavaScript 的超集,意味着可以完全兼容 JavaScript 文件,但 TypeScript 文件却并不能直接在浏览器中运行,需要经过编译生成 JavaScript 文件后才能运行。
1、 新建 tsconfig.json 文件。
- tsc -init 生成初始化 tsconfig.json 文件。
- vscode 会根据 tsconfig.json 文件,进行动态类型检查,语法错误提示等。
- tsc 命令会根据 tsconfig.json 文件配置的规则,将 ts 代码转换为 js 代码。
- tslint 会读取 tsconfig.json 文件中的规则,辅助编码规范校验。
- tslint 官宣会被废弃,后将被 eslint 代替。
- eslint 同样会用到 tsconfig.json 文件中的内容。
2、 配置 eslint。
根据 typescript-eslint 引导,配置 eslint 对 typescript 的支持。
- @typescript-eslint/parser 解析 ts 语法。
- @typescript-eslint/eslint-plugin 为 ts 文件应用 eslint 和 tslint 规则。
3、 选择一个 typescript 编译器,tsc 还是 babel?
使用 babel。好处如下:
- babel 社区有许多非常好的插件,babel-preset-env 可以支持到具体兼容浏览器的版本号,而 tsc 编译器没这个功能。
- babel 可以同时支持编译 js 和 ts,所以没必要在引入 tsc 编译 ts 文件,只管理一个编译器,可维护性更高。
- babel 编译速度更快。tsc 编译器需要遍历所有类型定义文件(*.d.ts),包括 node_modules 里的,以确保代码中正确地使用,type 太多会造成卡顿。
babel 流程分析
babel 是一个 js 语法编译器,在编译时分为 3 个阶段:解析、转换、输出。
- 解析阶段:将 js 代码解析为抽象语法树(ast)。
- 转换阶段:对 ast 进行修改,产生一个转换后的 ast。
- 输出阶段:将转换后的 ast 输出成 js 文件。
plugin 和 preset
- plugin: 解析,转换,并输出转换后的 js 文件。例如:@babel/plugin-proposal-object-rest-spread 会输出支持
{...}
解构语法的 js 文件。 - preset: 是一组组合好的 plugin 集合。例如:@babel/preset-env 让代码支持最新的 es 语法,自动引入需要支持新特性的 plugin。
4、搜集所有的 ts,tsx 页面(前端环境使用 webpack,node 项目使用 gulp),然后通过 babel 编译成 js 文件。
搭建 React 环境
React 是一个库,基于组件式开发,开发时常常需要用到以下语法:
- es6 模块化。
- jsx 语法。
- typescript 语法。
- css 预处理器。
这些语法在目前浏览器中并不能直接执行,需要进行打包编译,这也是搭建 React 环境的主要工作。
具体步骤
1、新建一个 html 文件,并在 body 中创建一个根节点,用于挂载 react 最后生成的 dom。
2、新建一个 index.tsx 文件,用于将项目中的所有组件,引入进来,并调用 render 方法,将组件渲染到根节点中。
3、React 项目分层。
- containers 目录,存放单独的页面
- components 目录,存放的是组件,一个组件包含 jsx 和 css 两个部分。
- context 目录,存放公用的 react context。
- config 目录,存放公共配置文件。
- utils 目录,公用的函数组件库。
- constants 目录,存放静态变量。
4、配置 webpack,以 index.tsx 为入口文件,进行打包编译。
- 由于不同环境的打包方式并不相同,这里抽象出开发环境、上线环境、优化环境的配置文件,使用 webpack-merge 合并配置文件。
- 配置 css 预处理器,使用 less-loader。
- 配置 ts 编译器,使用 babel-loader。
- @babel/preset-env:编译最新的 es 语法。
- @babel/preset-react:编译 react 语法。
- @babel/preset-typescript:转换 typescript 语法。
- 配置 url-loader,打包项目中的图片资源。
- 配置 html-webpack-plugin 将最后生成的 js,css,注入第 1 步的 html 中。
- 使用 ejs 模板配置开发环境和线上环境引入的 cdn。
- 开发环境配置,使用开箱即用的 webpack-dev-server。
- webpack-dev-server 可以自动监听文件修改,自动刷新页面,以及默认 source-map 等功能。
- 配置热模块替换,react-hot-loader。
webpack 打包原理
webpack 打包过程就像是一条流水线,从入口文件开始,搜集项目中所有文件的依赖关系,如果遇到不能够识别的模块,就使用对应的 loader 转换成能够识别的模块。webpack 还能使用 plugin 在流水线生命周期中挂载自定义事件,来控制 webpack 输出结果。
5、编写 npm script,一键开启开发模式。
// cross-env 用来跨环境设置环境变量
"scripts": {"dev:client": "cross-env NODE_ENV=development webpack-dev-server --open"
}
6、现在运行 npm run dev:client
就可以愉快地编写客户端代码了。
搭建 NodeJs 环境
由于 node 端使用了 typescript 和最新的 es 语法,所以需要进行打包编译。
- 配置 gulp,遍历每一个 ts 文件,调用 gulp-babel,将 ts 代码转换成 js 代码。
- 配置 supervisor 自动重启 node 服务(nodemon 对于不存在的目录不能进行监控)。
- 编写 npm script 一键启动 node 端开发环境。
"scripts": {"dev:server": "cross-env NODE_ENV=development gulp & cross-env NODE_ENV=development supervisor -i ./dist/client/ -w ./dist/ ./dist/app.js",
}
配置好 gulp 后,就可以运行 npm run dev:server
一键启动服务器端开发环境。
层次结构划分
项目采用传统的 mvc 模式进行层次划分。
Model 层
Model 层的主要工作:连接数据库,封装数据库操作,例如:新增数据、删除数据、查询数据、更新数据等。
- 新建 model 文件夹,目录下的每一个文件对应数据库的一个表。
- model 文件中包含对一个数据表的增删改查操作。
- 使用 mongoose 更方便地对 mongodb 数据库进行读写操作。
- model 文件返回封装好的对象,提供给 controller 层使用。
Controller 层
Controller 层的主要工作:接收和发送 http 请求。根据前端请求,调用 model 层获取数据,再返回给前端。
传统的后端一般还包含 service 层,专门用来处理业务逻辑。
- 根据前端请求,找到对应的 model 层获取数据,经过加工处理后,返回给前端。
- 编写中间件,记录系统日志,错误处理,404 页面等。
- 支持前端 react-router 中的 BrowserRouter。根据前端路由,后端配置对应的路由,匹配结果为 index.html 文件。
- 项目中使用的 graphql 比较基础,也直接放在了 controller 层进行处理。
View 层
View 层的主要工作:提供前端页面模板。如果是服务器端渲染,是将 model 层的数据注入到 view 层中,最后通过 controller 层返回给客户端。由于本项目前端使用 react 渲染,所以 view 层直接是经过 webpack 打包后的页面。
- 使用 koa-static 提供一个静态文件服务器,用来访问前端打包后生成的 html 文件。
搭建 GraphQL 环境
GraphQL 是一种用于 api 的查询语言,需要服务器端配置 graphql 支持,同时也需要客户端使用 graphql 语法的格式进行请求。
使用 apollo 更快的搭建 graphql 环境。
- 服务器端配置 apollo-server。
- 使用 schema,定义请求的类型,返回的格式。
- 使用 resolvers 来处理对应的 schema。
- 客户端配置 apollo-client。
- 按照 apollo-server 定义的 schema,来请求数据。
搭建 MongoDB 环境
MongoDB 是一个面向文档存储的数据库,操作起来十分简单。
Mongoose 为 mongodb 提供了一种直接的,基于 scheme 结构去定义你的数据模型。它内置数据验证,查询构建,业务逻辑钩子等,开箱即用。
- 使用 mongoose 建立和本地 mongodb 的连接。
- 创建 model 模型,一个模型对应 mongodb 里的一张表。
- 根据 model 封装增删改查功能,并返回给 controller 层使用。
接下来的步骤就是安装 mongodb,启动服务,就可以了。
搭建测试环境
本项目使用 jest 作为测试框架,jest 包含了断言库、测试框架、mock 数据等功能,是一个大而全的测试库。由于前端使用了 react 项目,这里引入了专门用来测试 react 的 enzyme 库。
1、新建 jest.config.js 文件。
- 配置初始化 setup.ts 文件。
- 根据 react 版本配置对应的 enzyme-adapter。
- mock 全局变量,如 fech,canvas 等。
- 配置需要测试的文件。
- 配置 mock 数据文件。
- 配置测试文件的编译方式。
- ts 代码使用 ts-jest 编译。
- 配置代码覆盖率文件。
2、编写测试文件。
- 新建__mocks__,__tests__目录,存放测试文件和 mock 数据文件。
- 按照 src 中的目录,建立相应的测试文件目录。
3、编写测试脚本和上传覆盖率脚本。
"scripts": {"test": "jest --no-cache --colors --coverage --forceExit --detectOpenHandles","coverage": "codecov"
}
配置上线环境
安装好各种环境之后,接下来就要考虑项目上线了。
配置服务器环境
- 安装 nodejs 环境。nvm 安装 node
- 安装 pm2 进程守护。
npm i pm2 -g
- 安装 mongodb。mongodb 官方文档
- 安装免费 https 证书。letsencrypt 官网
- 域名需要先进行备案(使用阿里云备案,资料准备齐全的话 10 天左右就可以批下来)。
代码发布
本项目发布非常简单,只需要一步操作就搞定了,这些都是经过持续集成配置后的结果。
# clone with Git Bash
git clone https://github.com/yhlben/cdfang-spider.git# change directory
cd cdfang-spider# install dependencies
npm i# build for production with minification
npm run build
所有的事情都在 build 命令下完成了,我们分析一下 npm run build 命令做的事情。
- eslint 语法错误检查。
- 单元测试。
- 上传测试覆盖率。
- 打包客户端代码。
- 打包后生成 html 文件作为 node 端的 view 层,和后端绑定在一起。
- 其他静态资源,在 webpack 打包后自动上传到七牛 cdn,使用 qiniu-upload-plugin 来进行一键上传。
- 打包服务器端代码。
上述事情通过创建 npm script 就可以了完成需求了,但这些命令也不应该每次都由手工敲一遍,通过配置 travisCI,每一次 master 分支提交代码时,自动运行上述命令就行了。
travisCI 配置
travisCI 是一个持续集成平台,每当 github 提交代码时,travisCI 就会得到通知,然后根据 travisCI 中的配置信息执行相应的操作,并及时把运行结果反馈给用户。travisCI 配置文件可以参考项目根目录下的 .travis.yml
文件。配置文件核心在于 script 的配置。
script:- npm run build- npm run test
after_success: npm run coverage
可以看到,每一次 github 提交后,travisCI 就会执行 名称为 build 的任务,任务分为 2 个步骤,首先执行 build 命令,然后执行 test 命令,当命令都执行完成后,执行 coverage 命令。如果执行命令期间出现任何错误,travisCI 会通过邮件及时通知我们。真正要上线时,先查看 ci 状态,如果已通过所有的步骤,那就不用担心发布的代码有问题了。
总结
至此,整个项目选型与搭建流程已经介绍完毕了,当然还有一些很细节的地方没有写进去,如果有不太明白的地方,可以提 issue,或者加我微信 yhl2016226。
接下来对以下 4 个方面写个小总结。
- 开发方面:项目将前端、后端、数据库端连通起来,组合成了一个小全栈的项目,加深了我对整个开发环节的理解。
- 测试方面:通过编写单元测试,ui 测试,api 测试,积累了自动化测试方面的经验。
- 运维方面:通过配置持续集成,守护进程,nginx,https 等,让我有能力实现小型项目的部署。
- 技术方面:项目中使用了一些比较新的技术,如:hooks api,graphql 等,但用的都很基础,主要是为了练手,后续还得深入学习。
对于项目后期更新,主要是基于以下几个方面:graphql,docker,k8s,微服务,serverless 等,东西太多,还得加油学习啊,
参考链接
- TypeScript 和 Babel
- 前端决策树