海豚调度器(DolphinScheduler)集群搭建详细笔记

海豚调度器集群搭建笔记

  • 1.DolphinScheduler Cluster部署
          • 1.1 集群部署规划
          • 1.2 集群准备工作
          • 1.3 初始化数据库
          • 1.4 修改安装环境配置
          • 1.5 安装DolphinScheduler
          • 1.6 启停命令
          • 1.7 登录 DolphinScheduler UI

1.DolphinScheduler Cluster部署

分布式去中心化易扩展的工作流任务调度系统，用于大数据项目任务调度。
在这里插入图片描述

1.1 集群部署规划

集群模式下，可配置多个Master及多个Worker。通常可配置2~3个Master，若干个Worker。由于集群资源有限，此处配置一个Master，三个Worker，集群规划如下。

主机名ip服务备注
ds02172.18.8.42master,worker,api
ds03172.18.8.43master,worker,alert该服务器也可以安装master
ds04172.18.8.44worker
1.2 集群准备工作

  • 操作系统：linux centos 7.7

  • 部署版本：apache-dolphinscheduler-3.1.4-bin
    这个在官网下载二进制包即可：https://dolphinscheduler.apache.org/zh-cn/download/3.1.4
    在这里插入图片描述

  • JDK：配置Java环境，将JAVA_HOME配置于PATH中，推荐版本使用jdk8+(下载地址)

  • 数据库：本文使用的是MySQL 8.0.26版本，也可以使用5.7版本及以上，或者是使用PostgreSQL数据库（8.2.15+）,两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16+下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java

  • 注册中心：zookeeper（3.6.3），下载地址
    这个版本一定要注意：
    官网给的zk 3.4.6+，但是不能使用3.4.x，3.5.x
    如果版本不匹配，启动会如下报错：

================================================================================_       _       _     _       ____       _              _       ___| | ___ | |_ __ | |__ (_)_ __ / ___|  ___| |__   ___  __| |_   _| | ___ _ __/ _` |/ _ \| | '_ \| '_ \| | '_ \\___ \ / __| '_ \ / _ \/ _` | | | | |/ _ \ '__|
| (_| | (_) | | |_) | | | | | | | |___) | (__| | | |  __/ (_| | |_| | |  __/ |\__,_|\___/|_| .__/|_| |_|_|_| |_|____/ \___|_| |_|\___|\__,_|\__,_|_|\___|_||_|
================================================================================::  DolphinScheduler api server ::   (v3.1.4)
[INFO] 2023-08-08 07:37:51.852 +0000 org.apache.curator.framework.state.ConnectionStateManager:[252] - State change: CONNECTED
[WARN] 2023-08-08 07:37:51.904 +0000 org.apache.zookeeper.ClientCnxn:[1292] - Session 0x20202809e56007f for server 172.18.8.46/172.18.8.46:2182, Closing socket connection. Attempting reconnect except it i                           s a SessionExpiredException.
org.apache.zookeeper.ClientCnxn$EndOfStreamException: Unable to read additional data from server sessionid 0x20202809e56007f, likely server has closed socketat org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:77)at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1282)
[ERROR] 2023-08-08 07:37:51.905 +0000 org.apache.curator.framework.imps.CuratorFrameworkImpl:[733] - Ensure path threw exception
org.apache.zookeeper.KeeperException$UnimplementedException: KeeperErrorCode = Unimplemented for /dolphinschedulerat org.apache.zookeeper.KeeperException.create(KeeperException.java:106)at org.apache.zookeeper.KeeperException.create(KeeperException.java:54)at org.apache.zookeeper.ZooKeeper.create(ZooKeeper.java:1347)at org.apache.curator.utils.ZKPaths.mkdirs(ZKPaths.java:351)at org.apache.curator.framework.imps.NamespaceImpl$1.call(NamespaceImpl.java:90)at org.apache.curator.RetryLoop.callWithRetry(RetryLoop.java:93)at org.apache.curator.framework.imps.NamespaceImpl.fixForNamespace(NamespaceImpl.java:83)at org.apache.curator.framework.imps.CuratorFrameworkImpl.fixForNamespace(CuratorFrameworkImpl.java:758)at org.apache.curator.framework.imps.CreateBuilderImpl.forPath(CreateBuilderImpl.java:584)at org.apache.curator.framework.imps.CreateBuilderImpl.forPath(CreateBuilderImpl.java:48)at org.apache.dolphinscheduler.plugin.registry.zookeeper.ZookeeperRegistry.put(ZookeeperRegistry.java:184)at org.apache.dolphinscheduler.service.registry.RegistryClient.initNodes(RegistryClient.java:247)at org.apache.dolphinscheduler.service.registry.RegistryClient.afterConstruct(RegistryClient.java:77)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)

对应版本可参考：

DS版本zk版本
dolphinscheduler-3.1.4zookeeper-3.6.3+
dolphinscheduler-3.1.7zookeeper-3.8.1+

  • 其他大数据相关组件：Hadoop 3.3.1 、Hive 3.1.2 、DataX 3.0、Spark 3.1.2等

  • 创建部署用户，并为该用户配置免登录，以创建dolphinscheduler用户为例(准备执行DS安装程序的服务器上创建即可)

    # 创建用户需使用root登录
useradd dolphinscheduler
# 添加密码
echo "dolphinscheduler" | passwd --stdin ****
# 配置sudo（系统管理命令）免密
sed -i '$aswscroot  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

    注意:

    • 因为任务执行服务是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业，所以部署用户需要有 sudo 权限，而且是免密的。初学习者不理解的话，完全可以暂时忽略这一点
    • 如果发现 /etc/sudoers 文件中有 “Defaults requirett” 这行，也请注释掉

  • 配置机器SSH免密登陆

    由于安装的时候需要向不同机器发送资源，所以要求各台机器间能实现SSH免密登陆。配置免密登陆的步骤如下

    su dolphinschedulerssh-copy-id ds02
ssh-copy-id ds03
ssh-copy-id ds04

    注意:

    配置完成后，可以通过运行命令 ssh localhost 判断是否成功，如果不需要输入密码就能ssh登陆则证明成功

  • 启动zookeeper集群(所有安装Zookeper的服务器均执行)

    # 启动 zookeeper
./bin/zkServer.sh start
1.3 初始化数据库

DolphinScheduler 元数据存储在关系型数据库中，目前支持 PostgreSQL 和 MySQL。下面分别介绍如何使用 MySQL 初始化数据库。

  • 创建数据库、用户和授权

    -- 进入MySQL命令行
[root@qianfeng01 soft]# mysql -uroot -p123456
-- 创建dolphinscheduler的数据库用户和密码，并限定登陆范围
mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'QF-Dolphinscheduler123!';
-- 创建dolphinscheduler的元数据库，并指定编码
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
-- 为dolphinscheduler数据库授权
mysql> grant all privileges on dolphinscheduler.* to 'dolphinscheduler'@'%' ;
-- 刷新权限
mysql> flush privileges;

  • 解压安装包

    上传DolphinScheduler安装包到ds02节点的/opt/software目录，并解压安装包到该目录。

    #上传安装包到服务器
$ scp ~/Desktop/apache-dolphinscheduler-3.1.4-bin.tar.gz ds02:/opt/soft
#解压
[root@ds02 soft]# tar -zxvf ./apache-dolphinscheduler-3.1.4-bin.tar.gz
# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
[root@ds02 soft]# chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-3.1.4-bin

  • 添加MySQL驱动

    需要手动下载 对应的mysql-connector-java驱动（8.0.16）并移动到 DolphinScheduler 的每个模块的 libs 目录下，其中包括 api-server/libs 和 alert-server/libs 和 master-server/libs 和 worker-server/libs和tools/libs

    #复制mysql的驱动到对应libs目录中
[root@ds02 soft]# cp ./mysql-connector-java-8.0.16.jar ./apache-dolphinscheduler-3.1.4-bin/alert-server/libs/
[root@ds02 soft]# cp ./mysql-connector-java-8.0.16.jar ./apache-dolphinscheduler-3.1.4-bin/master-server/libs/
[root@ds02 soft]# cp ./mysql-connector-java-8.0.16.jar ./apache-dolphinscheduler-3.1.4-bin/worker-server/libs/
[root@ds02 soft]# cp ./mysql-connector-java-8.0.16.jar ./apache-dolphinscheduler-3.1.4-bin/api-server/libs/
[root@ds02 soft]# cp ./mysql-connector-java-8.0.16.jar ./apache-dolphinscheduler-3.1.4-bin/tools/libs/

  • 修改dolphinscheduler_env.sh配置文件

    文件 ./bin/env/dolphinscheduler_env.sh 描述了下列配置：

    • DolphinScheduler 的数据库配置，将username和password改成你在上一步中设置的用户名和密码
    • 一些任务类型外部依赖路径或库文件，如 JAVA_HOME 和 SPARK_HOME都是在这里定义的
    • 注册中心zookeeper
    • 服务端相关配置，比如缓存，时区设置等

    如果您不使用某些任务类型，您可以忽略任务外部依赖项，但您必须根据您的环境更改 JAVA_HOME、注册中心和数据库相关配置。

    #修改内容如下
[root@ds02 soft]# cd ./apache-dolphinscheduler-3.1.4-bin
[root@ds02 apache-dolphinscheduler-3.1.4-bin]# vim ./bin/env/dolphinscheduler_env.sh# JAVA_HOME, will use it to start DolphinScheduler server
# 改为自己的JDK路径
export JAVA_HOME=${JAVA_HOME:-/usr/local/jdk1.8.0_321}# Database related configuration, set database type, username and password
# MySQL数据库连接信息
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://172.18.8.42:33017/ds_db?useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true"
export SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"ds_root"}
export SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"ds123456"}# DolphinScheduler server related configuration
# 不用修改
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}# Registry center configuration, determines the type and link of the registry center
# zookeeper集群信息
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-ds02:2181,ds03:2181,ds04:2181}# Tasks related configurations, need to change the configuration if you use the related tasks.
# 对已有可以正常配置，没有的保持默认即可
export HADOOP_HOME=${HADOOP_HOME:-/usr/local/hadoop-3.3.1}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/usr/local/hadoop-3.3.1/etc/hadoop}
export SPARK_HOME1=${SPARK_HOME1:-/usr/local/spark-3.1.2}
export SPARK_HOME2=${SPARK_HOME2:-/usr/local/spark-3.1.2}
export PYTHON_HOME=${PYTHON_HOME:-/usr/bin/python}
export HIVE_HOME=${HIVE_HOME:-/usr/local/hive-3.1.2}
export FLINK_HOME=${FLINK_HOME:-/usr/local/flink-1.14.3}
export DATAX_HOME=${DATAX_HOME:-/usr/local/datax}
export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/soft/seatunnel}
export CHUNJUN_HOME=${CHUNJUN_HOME:-/opt/soft/chunjun}export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH

  • 初始化元数据

    # 切换到apache-dolphinscheduler-3.1.4-bin目录下，执行命令
[root@ds02apache-dolphinscheduler-3.1.4-bin]# sh ./tools/bin/upgrade-schema.sh
1.4 修改安装环境配置

完成基础环境和元数据库初始化的准备后，需要根据你的机器环境修改配置文件。配置文件可以在目录 bin/env 中找到，他们分别是 install_env.sh 和 dolphinscheduler_env.sh。

  • 修改 install_env.sh 文件

    文件 install_env.sh 描述了哪些机器将被安装 DolphinScheduler 以及每台机器对应安装哪些服务。您可以在路径 bin/env/install_env.sh 中找到此文件，可通过以下方式更改env变量,export <ENV_NAME>=，配置详情如下。

    #修改配置如下
[root@ds02 apache-dolphinscheduler-3.1.4-bin]# vim ./bin/env/install_env.sh# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# Due to the master, worker, and API server being deployed on a single node, the IP of the server is the machine IP or localhost
ips="ds02 ,ds03,ds04"
sshPort="22"
# masters可以是一台，也可以是多台，根据自己机器配置决定
masters="ds02,ds03"
workers="ds02:default,ds03:default,ds04:default"
alertServer="ds03"
apiServers="ds02"# DolphinScheduler installation path, it will auto-create if not exists
# 最终的安装路径
installPath=${installPath:-"/user/local/ds-3.1.7-install"}# Deploy user, use the user you create in section **Configure machine SSH password-free login**
deployUser="dolphinscheduler"# The root of zookeeper, for now DolphinScheduler default registry server is zookeeper.
zkRoot=${zkRoot:-"/dolphinscheduler"}
1.5 安装DolphinScheduler

使用上面创建的部署用户运行以下命令完成部署，部署后的运行日志将存放在 安装目录下的logs 文件夹内

[root@qianfeng01 apache-dolphinscheduler-3.1.4-bin]# sh ./bin/install.sh

注意:

第一次部署的话，可能出现 5 次sh: bin/dolphinscheduler-daemon.sh: No such file or directory相关信息，为非重要信息直接忽略即可。启动情况如图，并使用jps命令查看是否有这些服务的进程
在这里插入图片描述

1.6 启停命令

第一次安装后会自动启动所有服务的，如有服务问题或者后续需要启停，命令如下。下面的操作脚本都在dolphinScheduler安装目录bin下。

# 一键停止集群所有服务
sh /usr/local/dolphinscheduler-3.1.4/bin/stop-all.sh
# 一键开启集群所有服务
sh /usr/local/dolphinscheduler-3.1.4/bin/start-all.sh
# 启停 Master
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh stop master-server
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh start master-server
# 启停 Worker
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh start worker-server
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh stop worker-server
# 启停 Api
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh start api-server
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh stop api-server
# 启停 Logger
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh start logger-server
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh stop logger-server
# 启停 Alert
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh start alert-server
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh stop alert-server
# 启停 Python Gateway
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh start python-gateway-server
sh /usr/local/dolphinscheduler-3.1.4/bin/dolphinscheduler-daemon.sh stop python-gateway-server

注意:

  • 每个服务在路径 <service>/conf/dolphinscheduler_env.sh 中都有 dolphinscheduler_env.sh 文件，这是可以为微 服务需求提供便利。意味着您可以基于不同的环境变量来启动各个服务，只需要在对应服务中配置 <service>/conf/dolphinscheduler_env.sh 然后通过 <service>/bin/start.sh 命令启动即可。但是如果您使用命令 /bin/dolphinscheduler-daemon.sh start <service> 启动服务器，它将会用文件 bin/env/dolphinscheduler_env.sh 覆盖 <service>/conf/dolphinscheduler_env.sh 然后启动服务，目的是为了减少用户修改配置的成本.

  • 服务用途请具体参见《系统架构设计》小节。Python gateway service 默认与 api-server 一起启动，如果您不想启动 Python gateway service 请通过更改 api-server 配置文件 api-server/conf/application.yaml 中的 python-gateway.enabled : false 来禁用它。

1.7 登录 DolphinScheduler UI

浏览器访问地址 http://ds02:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123
在这里插入图片描述
登录如下图所示：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/873219.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

CTF-Web习题：[HFCTF2021]Unsetme

CTF-Web习题：[HFCTF2021]Unsetme

题目链接&#xff1a;[HFCTF2021]Unsetme 解题思路 打开靶场发现是一段PHP源码 做一下代码审阅&#xff1a; <?php// Kickstart the framework $f3require(lib/base.php);//引入f3框架源码$f3->set(DEBUG,1);//f3对象设置DEBUG属性 if ((float)PCRE_VERSION<8.0)…
阅读更多...
腾讯元宝上线“3D角色梦工厂”：快速生成专属3D角色！

腾讯元宝上线“3D角色梦工厂”：快速生成专属3D角色！

7月16日&#xff0c;腾讯旗下大模型应用“腾讯元宝”上线“3D角色梦工厂”&#xff0c;允许用户通过上传一张五官清晰的正面头像&#xff0c;并选择不同的角色模板&#xff0c;迅速生成个人3D角色&#xff01; 技术特点 “3D角色梦工厂”将大模型生成技术与3D应用相结合&#…
阅读更多...
JavaDS —— 二叉树

JavaDS —— 二叉树

树的基本概念 树是一种非线性的数据结构&#xff0c;它是由n&#xff08;n>0&#xff09;个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看 起来像一棵倒挂的树&#xff0c;也就是说它是根朝上&#xff0c;而叶朝下的。 树形结构中&#xff0c;子树之间不能有…
阅读更多...
02线性表 - 链表

02线性表 - 链表

这里是只讲干货不讲废话的炽念&#xff0c;这个系列的文章是为了我自己以后复习数据结构而写&#xff0c;所以可能会用一种我自己能够听懂的方式来描述&#xff0c;不会像书本上那么枯燥和无聊&#xff0c;且全系列的代码均是可运行的代码&#xff0c;关键地方会给出注释^_^ 全…
阅读更多...
十六、【机器学习】【监督学习】- 支持向量回归 (SVR)

十六、【机器学习】【监督学习】- 支持向量回归 (SVR)

系列文章目录 第一章 【机器学习】初识机器学习 第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression) 第三章 【机器学习】【监督学习】- 支持向量机 (SVM) 第四章【机器学习】【监督学习】- K-近邻算法 (K-NN) 第五章【机器学习】【监督学习】- 决策树…
阅读更多...
GaussDB常见调优指南

GaussDB常见调优指南

文章目录 GaussDB常见调优指南一. Analyze 统计信息解析二. Explain 分布式计划解析三. 性能调优总体策略详解四. 性能调优之坏味道 SQL 识别五. 性能调优之好味道表定义六. 性能调优之 SQL 改写七. 性能调优之路径干预八. 性能调优之 Plan hint 运用九. 性能调优之 GUC 参数调…
阅读更多...
C学习（数据结构）--＞单链表习题

C学习（数据结构）--＞单链表习题

目录 一、环形链表 题一&#xff1a;环形链表 思路&#xff1a; 思考一&#xff1a;为什么&#xff1f; 思考二&#xff1a;快指针一次走3步、4步、......n步&#xff0c;能否相遇 step1&#xff1a; step2&#xff1a; 代码&#xff1a; 题二&#xff1a; 环形链表 I…
阅读更多...
SAE J1939协议入门（一）

SAE J1939协议入门（一）

一、SAE J1939是什么 SAE J1939&#xff08;以下简称J1939&#xff09;是由汽车工程师协会&#xff08;SAE &#xff09;定义的标准&#xff0c;专门用于提供微处理器系统之间的串行数据通信。虽然CAN存在并且被广泛用于小型车辆&#xff0c;但J1939被设计为大型车辆复杂网络的…
阅读更多...
深度挖掘行情接口：股票市场中的关键金融数据API接口解析

深度挖掘行情接口：股票市场中的关键金融数据API接口解析

在股票市场里&#xff0c;存在若干常见的股票行情数据接口&#xff0c;每一种接口皆具备独特的功能与用途。以下为一些常见的金融数据 API 接口&#xff0c;其涵盖了广泛的金融数据内容&#xff0c;其中就包含股票行情数据&#xff1a; 实时行情接口 实时行情接口&#xff1a…
阅读更多...
恒创科技：如何解决“服务器 IP 地址无法被找到”的错误

恒创科技：如何解决“服务器 IP 地址无法被找到”的错误

如何解决“服务器 IP 地址无法被找到”的错误?此错误通常出现在你的设备无法使用其分配的 IP 地址与网络服务器通信时。问题的来源可能多种多样&#xff0c;从简单的拼写错误到复杂的 DNS 和路由问题。以下是对“服务器 IP 地址无法找到”的常见原因以及可以采取的解决办法。 …
阅读更多...
万界星空科技MES系统生产计划管理的功能

万界星空科技MES系统生产计划管理的功能

MES系统&#xff08;Manufacturing Execution System&#xff0c;制造执行系统&#xff09;的生产计划管理功能是其核心功能之一&#xff0c;旨在将企业的生产计划转化为实际的生产操作&#xff0c;并通过实时监控和调整来确保生产活动的顺利进行。以下是MES系统生产计划管理功…
阅读更多...
SpringData JPA Mongodb 查询部分字段

SpringData JPA Mongodb 查询部分字段

JPA 网上用的好像不多&#xff0c;找了好多材料以后最终找了这个可行的方案&#xff1a; Query(fields "{tender_id:1,_id:0}")List<MGPltTender> findByTenderIdIsNotNull(PageRequest pageRequest); 调用&#xff1a; Sort sort Sort.by(popularType.getC…
阅读更多...
【二维区域和检索-矩阵不可变】python刷题记录

【二维区域和检索-矩阵不可变】python刷题记录

一夜无解&#xff0c;痛苦&#xff0c;遂拜倒于灵神门下&#xff0c;妄做狂徒也&#xff01; . - 力扣&#xff08;LeetCode&#xff09; 灵神秒解如下&#xff1a; class NumMatrix:#二维初始矩阵def __init__(self, matrix: List[List[int]]):mlen(matrix)nlen(matrix[0])#…
阅读更多...
vue和微信小程序的区别、比较

vue和微信小程序的区别、比较

找到一篇很好的关于vue和小程序之间的理解文章&#xff0c;在此分享一下&#xff1a; 前端 - vue和微信小程序的区别、比较 - 个人文章 - SegmentFault 思否https://segmentfault.com/a/1190000015684864
阅读更多...
单片机程序设计模式

单片机程序设计模式

RTOS:多任务拆分交叉执行 Q:状态机和多任务模式有什么区别 Q:任务创建和任务调度器是什么&#xff1f; 裸机程序的设计模式可以分为&#xff1a;轮询、前后台、定时器驱动、基于状态机。前面三种方 法都无法解决一个问题&#xff1a;假设有 A、B 两个都很耗时的函数&#xf…
阅读更多...
从PyTorch官方的一篇教程说开去（2 - 源码）

从PyTorch官方的一篇教程说开去（2 - 源码）

先上图&#xff0c;上篇文章的运行结果&#xff0c;可以看到&#xff0c;算法在迭代了200来次左右达到人生巅峰&#xff0c;倒立摆金枪不倒&#xff0c;可以扛住连续200次操作。不幸的是&#xff0c;然后就出现了大幅度的回撤&#xff0c;每况愈下&#xff0c;在600次时候居然和…
阅读更多...
JVM知识点总结(全网最详细)！！！！

JVM知识点总结(全网最详细)！！！！

JVM知识总结 运行时数据区域程序计数器Java虚拟机栈局部变量表 StackOverflowError异常和OutOfMemoryError异常本地方法栈Java堆方法区运行时常量池 对象的创建对象的内存分配对象的内存布局对象头实例数据对齐填充 对象的访问定位使用句柄直接指针使用句柄和直接指针的优缺点 …
阅读更多...
PHP房产中介租房卖房平台微信小程序系统源码

PHP房产中介租房卖房平台微信小程序系统源码

​&#x1f3e0;【租房卖房新选择】揭秘房产中介小程序&#xff0c;一键搞定置业大事&#xff01;&#x1f3e1; &#x1f50d;【开篇&#xff1a;告别繁琐&#xff0c;拥抱便捷】&#x1f50d; 还在为找房子跑断腿&#xff1f;为卖房发愁吗&#xff1f;今天给大家安利一个超…
阅读更多...
【.NET全栈】ASP.NET开发Web应用——AJAX开发技术

【.NET全栈】ASP.NET开发Web应用——AJAX开发技术

文章目录 前言一、ASP.NET AJAX基础1、AJAX技术简介2、ASP.NET AJAX技术架构 二、ASP.NET AJAX服务器端扩展1、声明ScriptManager控件2、使用ScriptManager分发自定义脚本3、在ScriptManager中注册Web服务4、处理ScriptManager中的异常5、编程控制ScriptManager控件6、使用Upda…
阅读更多...
如何高效定制视频扩散模型？卡内基梅隆提出VADER：通过奖励梯度进行视频扩散对齐

如何高效定制视频扩散模型？卡内基梅隆提出VADER：通过奖励梯度进行视频扩散对齐

论文链接&#xff1a;https://arxiv.org/pdf/2407.08737 git链接&#xff1a;https://vader-vid.github.io/ 亮点直击&#xff1a; 引入奖励模型梯度对齐方法&#xff1a;VADER通过利用奖励模型的梯度&#xff0c;对多种视频扩散模型进行调整和对齐&#xff0c;包括文本到视频和…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023