StarRocks入门到熟练

1、部署

1.1、注意事项

需要根据业务需求设计严谨的集群架构，一般来说，需要注意以下几项：

1.1.1、FE数量及高可用

  • FE的Follower要求为奇数个，且并不建议部署太多，通常我们推荐部署1个或3个Follower。
  • 在三个Follower时，即可实现高可用（HA）。此时，若Leader节点进程挂掉或与集群脱离通信，其他2个Follower节点会通过bdbje协议快速重新选主出一个Leader，保证集群的正常工作（FE
    Leader节点异常仅影响集群写入，不会对集群对外的查询功能有影响）。
  • 集群中需要有半数以上的Follower节点存活，才可进行FE的重新选主。
  • 一般情况下，推荐部署1 Follower+多Observer的FE架构，通过增加Observer来扩展集群的高并发读服务能力。
  • 通常，一个FE节点可以应对10-20台BE节点，建议总的FE节点数量在10个以下，而一般3个即可满足绝大部分业务需求。

1.1.2、BE实例数量

  • BE实例数量直接决定了集群整体查询延迟，生产环境BE数量建议至少为3个。
  • 为保障数据安全，建议至少部署三个BE实例（不同Host）。

1.1.3、Broker实例数量

  • 通常与BE混布，与BE数量保持相同，建议所有的Broker使用相同的名称，这样在执行Broker任务时可以并行使用多个Broker实例。
  • 如果业务中不需要和Hadoop类的产品对接，也可以不部署Broker。

1.1.3、FE与BE是否混布

  • 单台机器下，同集群FE不能混布，BE虽然能混布但是没有价值。
  • FE和BE是可以混部的，但生产环境下需要注意CPU、内存等资源竞争问题，并保证元数据目录和数据目录分属不同磁盘。

1.2、集群架构设计

根据实际业务情况粗估集群规模后，无法较为准确的判断出对应的集群规模，建议先部署一套最小架构的集群，后面逐步扩容。

1.2.1、服务器配置

主机名配置
192.168.110.101（node-101）6核 32GB 万兆网卡 CPU支持AVX2指令集
192.168.110.102（node-102）6核 32GB 万兆网卡 CPU支持AVX2指令集
192.168.110.103（node-103）6核 32GB 万兆网卡 CPU支持AVX2指令集
192.168.110.104（node-104）6核 32GB 万兆网卡 CPU支持AVX2指令集
192.168.110.105（node-105）6核 32GB 万兆网卡 CPU支持AVX2指令集

1.2.2、集群架构设计

机器节点部署服务
192.168.110.101（node-101）FE(Leader)、MySQL-Client
192.168.110.102（node-102）FE(Observer)
192.168.110.103（node-103）BE、Broker
192.168.110.104（node-104）BE、Broker
192.168.110.105（node-105）BE、Broker

1.2.2、节点目录设计

FE部署目录：/opt/module/starrocks/fe；日志目录：/data/starrocks/log/fe；元数据目录：/data/starrocks/data/meta
BE部署目录：/opt/module/starrocks/be；日志目录：/data/starrocks/log/be；数据存储目录：/data/starrocks/data/storage
Broker部署目录：/opt/module/starrocks/apache_hdfs_broker

1.3、使用普通用户

实际生产中，个别场景下是使用用户名作为鉴权方式，为贴合实际业务，后续的部署操作分别新建starrocks用户进行（密码也暂设为starrocks）：

1.3.1、创建用户

useradd starrocks
passwd starrocks
Changing password for user starrocks.New password: 这里输入starrocksBAD PASSWORD: The password contains the user name in some formRetype new password: 再次输入starrockspasswd: all authentication tokens updated successfully.

再分别对其它节点新建用户starrocks（操作同上，略）。

1.3.2、创建目录并授权

使用root用户分别在各节点上新建目录，并将文件夹所有者变更为starrocks用户：

ansible cluster -m shell -a "mkdir -p /opt/module/starrocks/"
ansible cluster -m shell -a "mkdir -p /data/starrocks/log/{fe,be}"
ansible cluster -m shell -a "mkdir -p /data/starrocks/data/{meta,storage}"

1.3.3、免密登录

为starrocks用户配置集群间SSH免密。SSH免密配置方法比较灵

1、生成密钥
 su starrocksssh-keygen -t rsa
2、分发密钥

分发至集群其他所有节点

ssh-copy-id 192.168.110.101

1.4、解压安装

1.4.1、解压安装包

tar -zxf StarRocks-3.1.1.tar.gz -C /opt/module/

1.4.2、分发部署文件

ansible cluster -m copy -a 'src=/opt/module/StarRocks-3.1.1/fe dest=/opt/module/starrocks/'
ansible cluster -m copy -a 'src=/opt/module/StarRocks-3.1.1/be dest=/opt/module/starrocks/'
ansible cluster -m copy -a 'src=/opt/module/StarRocks-3.1.1/apache_hdfs_broker dest=/opt/module/starrocks/'

1.4.3、修改FE配置文件

结合业务情况修改对应配置

a、修改Java堆内存，避免GC建议16G以上；
b、设置元数据目录，默认目录为fe/meta，我们需要新建目录并修改配置文件，上文已创建；
c、注意默认端口，避免端口冲突，正常情况下不需要修改；
d、绑定IP（CIDR表示法），避免多网卡情况下FE无法自动找到正确的IP。再次注意，如果不清楚CIDR表示法，就直接填写完整ip，例如配置为priority_networks = 192.168.110.101，这样的写法等同于priority_networks = 192.168.110.101/32；

vi fe/conf/fe.conf# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing,
# software distributed under the License is distributed on an
# "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
# KIND, either express or implied.  See the License for the
# specific language governing permissions and limitations
# under the License.#####################################################################
## The uppercase properties are read and exported by bin/start_fe.sh.
## To see all Frontend configurations,
## see fe/src/com/starrocks/common/Config.java# the output dir of stderr/stdout/gc
# LOG_DIR = ${STARROCKS_HOME}/log
LOG_DIR = /data/starrocks/log/feJAVA_HOME=/usr/java/jdk-17DATE = "$(date +%Y%m%d-%H%M%S)"
JAVA_OPTS="-Dlog4j2.formatMsgNoLookups=true -Xmx16384m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:${LOG_DIR}/fe.gc.log.$DATE -XX:+PrintConcurrentLocks"# For jdk 11+, this JAVA_OPTS will be used as default JVM options
JAVA_OPTS_FOR_JDK_11="-Dlog4j2.formatMsgNoLookups=true -Xmx8192m -XX:+UseG1GC -Xlog:gc*:${LOG_DIR}/fe.gc.log.$DATE:time"##
## the lowercase properties are read by main program.
### DEBUG, INFO, WARN, ERROR, FATAL
sys_log_level = INFO# store metadata, create it if it is not exist.
# Default value is ${STARROCKS_HOME}/meta
# meta_dir = ${STARROCKS_HOME}/meta
meta_dir = /data/starrocks/data/metahttp_port = 8030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
mysql_service_nio_enabled = true# Enable jaeger tracing by setting jaeger_grpc_endpoint
# jaeger_grpc_endpoint = http://localhost:14250# Choose one if there are more than one ip except loopback address. 
# Note that there should at most one ip match this list.
# If no ip match this rule, will choose one randomly.
# use CIDR format, e.g. 10.10.10.0/24
# Default value is empty.
# priority_networks = 10.10.10.0/24;192.168.0.0/16
priority_networks =192.168.110.101# Advanced configurations 
# log_roll_size_mb = 1024
sys_log_dir = /data/starrocks/log/fe
# sys_log_roll_num = 10
# sys_log_verbose_modules = 
audit_log_dir = /data/starrocks/log/fe
# audit_log_modules = slow_query, query
# audit_log_roll_num = 10
# meta_delay_toleration_second = 10
# qe_max_connection = 1024
# max_conn_per_user = 100
# qe_query_timeout_second = 300
# qe_slow_log_ms = 5000
max_routine_load_batch_size = 524288000
routine_load_task_consume_second = 3
routine_load_task_timeout_second = 15

1.4.4、修改BE配置文件

结合业务需求参考官方文档进行修改：

a、注意默认端口，避免端口冲突，正常情况下不需要修改；
b、绑定IP，避免多网卡情况下BE无法自动找到正确的IP；
c、设置数据存储目录，默认目录为be/storage，我们建议根据磁盘情况新建目录并修改配置文件

vi be/conf/be.conf 
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing,
# software distributed under the License is distributed on an
# "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
# KIND, either express or implied.  See the License for the
# specific language governing permissions and limitations
# under the License.# INFO, WARNING, ERROR, FATAL
sys_log_level = INFO# ports for admin, web, heartbeat service 
be_port = 9060
be_http_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060# Enable jaeger tracing by setting jaeger_endpoint
# jaeger_endpoint = localhost:6831# Choose one if there are more than one ip except loopback address. 
# Note that there should at most one ip match this list.
# If no ip match this rule, will choose one randomly.
# use CIDR format, e.g. 10.10.10.0/24
# Default value is empty.
# priority_networks = 10.10.10.0/24;192.168.0.0/16
priority_networks = 192.168.110.103# data root path, separate by ';'
# you can specify the storage medium of each root path, HDD or SSD, seperate by ','
# eg:
# storage_root_path = /data1,medium:HDD;/data2,medium:SSD;/data3
# /data1, HDD;
# /data2, SSD;
# /data3, HDD(default);
#
# Default value is ${STARROCKS_HOME}/storage, you should create it by hand.
# storage_root_path = ${STARROCKS_HOME}/storage
storage_root_path = /data/starrocks/data/storage,medium:ssd# Advanced configurations
sys_log_dir = /data/starrocks/log/be
# sys_log_roll_mode = SIZE-MB-1024
# sys_log_roll_num = 10
# sys_log_verbose_modules = *
# log_buffer_level = -1# JVM options for be
JAVA_HOME=/usr/java/jdk-17
# eg:
# JAVA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf"
# For jdk 9+, this JAVA_OPTS will be used as default JVM options
# JAVA_OPTS_FOR_JDK_9="-Djava.security.krb5.conf=/etc/krb5.conf"
base_compaction_check_interval_seconds = 10
cumulative_compaction_num_threads_per_disk = 4
base_compaction_num_threads_per_disk = 2
cumulative_compaction_check_interval_seconds = 2
tablet_max_versions = 15000

1.4.5、分发配置文件

1、分发FE、BE配置文件
ansible cluster -m copy -a 'src=/opt/module/starrocks/fe/conf/fe.conf dest=/opt/module/starrocks/fe/conf/'
ansible cluster -m copy -a 'src=/opt/module/starrocks/be/conf/be.conf dest=/opt/module/starrocks/be/conf/'
2、修个各节点FE、BE配置IP及目录

FE

priority_networks = 192.168.110.102

BE

priority_networks = 192.168.110.104
storage_root_path = /opt/module/storage

1.5、安装mysql-client

rpm -ivh mysql-community-client-plugins-8.0.34-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.34-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.34-1.el7.x86_64.rpm
mysql --version

1.6、安装jdk-17

export JAVA_HOME=/usr/java/jdk-17
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

1.7、部署FE实例

首个启动的FE自动成为Leader

1.7.1、启动FE

可在FE日志目录中查看日志追踪原因，FE的主要日志在fe.log中，所有查询的审计日志在fe.audit.log中。

 ./start_fe.sh --daemon

1.7.2、查看FE状态

jps | grep StarRocksFe

1.7.3、登录StarRocks

mysql -h192.168.110.101 -P9030 -uroot

1.7.4、添加其他FE实例进集群

建议“先将实例添加进入集群”，然后逐个“启动实例”。将node02的FE作为Observer先添加入集群，端口为edit_log_port，默认是9010。

alter system add observer '192.168.110.102:9010';

若需要将其作为Follower角色加入集群，这里的sql写法为：

alter system add follower "fe_host:edit_log_port";

如果添加时IP或端口信息输入有误，或者由于其他情况需要将实例从集群中删除，sql写法如下：
删除Follower：

alter system drop follower "fe_host:edit_log_port";

删除Observer：

alter system drop observer "fe_host:edit_log_port";

1.7.4、启动其他FE

特别注意：除首个启动的FE外，其他FE节点首次启动时，必需指定一个已存在的FE节点作为helper（后面再启动时就不需要）。
首次启动node-102节点，指定node-101的FE实例作为helper：

cd /opt/module/starrocks/fe/bin/
./start_fe.sh --helper 192.168.110.101:9010 --daemonjps | grep StarRocksFe

1.7.5、查看集群FE状态

在node-101的mysql-client中查看FE状态：
Alive均为true，说明FE状态正常。若状态为false，可以在日志中定位问题，如果异常排查比较耗时，由于是初次启动，可以清空FE的元数据目录，再从头开始操作。

show frontends\G

1.8、部署BE实例

1.8.1、添加BE实例进入集群

使用mysql-client先将这3个BE实例添加进入集群，这里需要使用的端口是portheartbeat_service_port，默认为9050：

alter system add backend '192.168.110.103:9050';
alter system add backend '192.168.110.104:9050';
alter system add backend '192.168.110.105:9050';

如果BE实例添加时IP或端口信息输入有误，或者由于其他异常情况我们需要在集群中删除BE实例，sql写法：

 alter system dropp backend "be_host:be_heartbeat_service_port";
  • 删除BE实例为危险操作，故删除命令设计为“DROPP”。执行DROPP指令后，集群会立刻删除该BE节点，丢失的副本由FE调度补齐，但若为单副本数据，这部分数据将彻底丢失。
  • 集群投入生产后，每个BE节点都存储了大量的业务数据，此时若使用DROPP指令从集群中删除某个BE实例，则存储在该实例上的数据副本会直接丢失。
  • 安全删除的写法：DECOMMISSION。DECOMMISSION会先保证副本补齐，然后再下掉该BE节点。
  • 在后续业务正常缩容是会建议采用这种方式进行缩容
alter system decommission backend "be_host:be_heartbeat_service_port";

1.8.2、启动BE实例

进程状态异常可在BE日志目录中查看日志追踪原因，BE的主要日志在be.INFO中，其他的日志在be.out中。

cd /opt/module/starrocks/be/bin/
./start_be.sh --daemon# 检查进程状态
ps -ef | grep starrocks_be

1.8.3、查看启动BE状态

使用mysql-client访问StarRocks集群：
Alive均为true，状态正常，若为false，可根据日志排查问题。同样的，因为当前BE为初次启动，如果出现无法快速定位的问题，可以清空storage数据目录和日志目录，重新启动服务。

show backends\G

1.9、部署Broker实例

1.9.1、修改Broker配置文件

Broker实例不需要绑定IP。生产环境下，通常也不需要修改Broker配置文件中的其他配置。

1.9.2、添加Broker实例到集群

在node-101的mysql-client中，先将3个Broker实例添加进入集群，这里端口使用broker_ipc_port，默认端口为8000：

alter system add broker hdfs_broker '192.168.110.103:8000';
alter system add broker hdfs_broker '192.168.110.104:8000';
alter system add broker hdfs_broker '192.168.110.105:8000';

若需要在集群中删除Broker，sql写法为：

ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port";

1.9.3、启动Broker服务

有Broker导入

部署了一组独立的 Broker，并将 hdfs-site.xml 文件放在 HDFS 集群对应的 Broker 节点的 {deploy}/conf 目录下。Broker 进程重启

# 分发 hdfs-site.xml
ansible cluster -m copy -a 'src=/opt/module/starrocks/apache_hdfs_broker/conf/hdfs-site.xml dest=/opt/module/starrocks/apache_hdfs_broker/conf/'
启动Broker服务

注：各节点依次启动即可；如果进程状态异常可查看日志追踪原因。

 cd /opt/module/starrocks/apache_hdfs_broker/bin/
./start_broker.sh --daemon
检查Broker进程状态
jps | grep BrokerBootstrap

1.9.4、查看集群中Broker状态

Alive均为true，状态正常。Broker日志在apache_hdfs_broker.log中，若状态为false，可依据日志定位问题。

mysql -h192.168.110.101 -P9030 -urootshow broker\G

1.9.5、无Broker导入

将 hdfs-site.xml 文件放在每个 FE 节点和每个 BE 节点的 {deploy}/conf 目录下。

# 分发 hdfs-site.xml
ansible cluster -m copy -a 'src=/opt/module/starrocks/fe/conf/hdfs-site.xml dest=/opt/module/starrocks/fe/conf'
ansible cluster -m copy -a 'src=/opt/module/starrocks/be/conf/hdfs-site.xml dest=/opt/module/starrocks/be/conf'

2、集群管理操作

集群部署完成后，若机器重启或有服务down掉，需要手动或编写脚本启停服务。

2.1.1、手动启停

1、 FE启停

cd /opt/module/starrocks/fe/bin/
#FE启动
./start_fe.sh --daemon
# FE停止
./stop_fe.sh

2、 BE启停

cd /opt/module/starrocks/be/bin
# BE启动
./start_be.sh --daemon
# BE停止
./stop_be.sh

3、 Broker启停

 cd /opt/module/starrocks/apache_hdfs_broker/bin/# Broker启动./start_broker.sh --daemon# Broker停止./stop_broker.sh

2.1.2、集群启停脚本

1、脚本

在node-101节点，使用starrocks用户在/home/starrocks目录下创建starrocks.sh文件：

#!/bin/bash# use-method: starrocks.sh start|stop|restartcase $1 in"start"){for i in node-101 node-102 node-103 node-104 node-105doecho "=================== start $i's service ================"ssh $i "source /etc/profile.d/my_env.sh ;cd /opt/module/starrocks;./fe/bin/start_fe.sh --daemon"ssh $i "/opt/module/starrocks/be/bin/start_be.sh --daemon"ssh $i "source /etc/profile.d/my_env.sh ;cd /opt/module/starrocks;./apache_hdfs_broker/bin/start_broker.sh --daemon"done};;"stop"){for i in node-101 node-102 node-103 node-104 node-105doecho "=================== stop $i's service ================"ssh $i "/opt/module/starrocks/apache_hdfs_broker/bin/stop_broker.sh"ssh $i "/opt/module/starrocks/be/bin/stop_be.sh"ssh $i "/opt/module/starrocks/fe/bin/stop_fe.sh"done};;"restart")starrocks.sh stopsleep 2starrocks.sh start;;*)echo "Parameter ERROR!!!";;esac

2、可执行权限

chmod a+x starrocks.sh

3、全局调用

切换至root用户，将脚本移动至/bin目录下以便全局调用

mv starrocks.sh /bin/

4、执行脚本

切换至starrocks用户，测试使用脚本启动集群（先确定集群各实例都处于未启动状态）：

# 启动集群
starrocks.sh start
# 停止集群服务
starrocks.sh stop
# 重启集群服务
starrocks.sh restart

2.1.3、使用实例

1、修改管理员账户密码

当前版本，StarRocks部署完成后自带一个高权限用户：root，其默认密码为空。在node-101上使用mysql-client访问StarRocks集群：

 mysql -h192.168.110.101 -P9030 -uroot
# 以root用户为例，生产环境建议设置复杂密码
set password=password('StarRocks*2308');

2、创建数据库

create database star;

3、创建用户并授权

CREATE USER 'starrocks'@'%' IDENTIFIED BY 'StarRocks*2308' DEFAULT ROLE user_admin;
grant all on star.* to 'starrocks'@'%';
grant  create table  on  database star to user 'starrocks'@'%';

4、更换用户登录

mysql -h192.168.110.101 -P9030 -ustarrocks -pStarRocks*2308

5、创建数据表

use star;CREATE TABLE IF NOT EXISTS `customer` (`c_custkey` int(11) NOT NULL COMMENT "",`c_name` varchar(26) NOT NULL COMMENT "",`c_address` varchar(41) NOT NULL COMMENT "",`c_city` varchar(11) NOT NULL COMMENT "",`c_nation` varchar(16) NOT NULL COMMENT "",`c_region` varchar(13) NOT NULL COMMENT "",`c_phone` varchar(16) NOT NULL COMMENT "",`c_mktsegment` varchar(11) NOT NULL COMMENT ""
) ENGINE=OLAP
DUPLICATE KEY(`c_custkey`)
COMMENT "OLAP"
DISTRIBUTED BY HASH(`c_custkey`) BUCKETS 12
PROPERTIES (
"replication_num" = "1",
"in_memory" = "false",
"storage_format" = "DEFAULT"
);

6、插入数据

insert into table customer
select 
1,'Customer#000000001','j5JsirBM9P','MOROCCO  0','MOROCCO','AFRICA','25-989-741-2988','BUILDING';

7、Stream Load导入

curl --location-trusted -u starrocks:StarRocks*2308-H "label:star_customer" -H "column_separator:|" -T /home/starrocks/customer.tbl http://192.168.110.101:8030/api/star/customer/_stream_load

3、数据同步

3.1、Broker Load

3.1.1、创建表

CREATE TABLE dwd.dwd_enterprise_info(id BIGINT NOT NULL AUTO_INCREMENT COMMENT '自增主键', `eid` string COMMENT '企业eid', `credit_no` string COMMENT '统一社会信用代码', `name` string COMMENT '企业名称', `ipcs` string COMMENT '专利IPC分类号', `titles` string COMMENT '专利标题', `scope` string COMMENT '经营范围', `introduction` string COMMENT '企业简介', `main_business` string COMMENT '主营业务', `industry_code` string COMMENT '行业代码', `industrial_field_new` string COMMENT '行业领域', `html` string COMMENT '网站', `hat_name` string COMMENT '企业资质')
PRIMARY KEY (id,eid)
COMMENT '企业产业链匹配专用表 - 含企业简介主营专利信息'
DISTRIBUTED BY HASH(id,eid) BUCKETS 12
PROPERTIES (
"replication_num" = "1",
"replicated_storage" = "true"
);

3.1.2、同步数据

LOAD LABEL dwd.dwd_alg_enterprise_business_patents_scope_info
(
DATA INFILE("hdfs://IP:8020/warehouse/tablespace/external/hive/dwd.db/dwd_enterprise_info/*")
INTO TABLE dwd_alg_enterprise_business_patents_scope_info
COLUMNS TERMINATED BY "|^|"
FORMAT AS "orc"
(eid, credit_no, name,ipcs,titles,scope,introduction,main_business,industry_code,industrial_field_new,html,hat_name)
)
WITH BROKER 'hdfs_broker';

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/66295.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JUC并发编程--------CAS、Atomic原子操作

JUC并发编程--------CAS、Atomic原子操作

什么是原子操作？如何实现原子操作？ 什么是原子性？ 事务的一大特性就是原子性（事务具有ACID四大特性），一个事务包含多个操作，这些操作要么全部执行，要么全都不执行 并发里的原子性…
阅读更多...
ESP32之LEDC(PWM信号的输出)

ESP32之LEDC(PWM信号的输出)

一、PWM信号简介 PWM：脉冲宽度调制，简称脉宽调制频率(f)：一秒钟PWM有多少个周期(单位Hz)周期(T)：一个周期的时间占空比(duty)：在一个脉冲周期内，高电平的时间与整个周期时间的比例脉宽时间：一个…
阅读更多...
Java学习笔记之----I/O(输入/输出）一

Java学习笔记之----I/O(输入/输出）一

在变量、数组和对象中存储的数据是暂时存在的，程序结束后它们就会丢失。想要永久地存储程序创建的数据，就需要将其保存在磁盘文件中(就是保存在电脑的C盘或D盘中），而只有数据存储起来才可以在其他程序中使用它们。Java的I/O技术可…
阅读更多...
机器学习：可解释学习

机器学习：可解释学习

文章目录 可解释学习为什么需要可解释机器学习可解释还是强模型可解释学习的目标可解释机器学习Local ExplanationGlobal Explanation 可解释学习 神马汉斯，只有在有人看的时候能够答对。 为什么需要可解释机器学习 贷款，医疗需要给出理由，让…
阅读更多...
MongoDB 会丢数据吗？ 在次补刀MongoDB 双机热备

MongoDB 会丢数据吗？ 在次补刀MongoDB 双机热备

开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis ，Oracle ,Oceanbase 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请加微信号 liuaustin3 （…
阅读更多...
makefile开发应用程序的一个通用模板

makefile开发应用程序的一个通用模板

下面是一个通用的 Makefile 模板，用于开发 C 语言应用程序： # 编译器设置 CC gcc CFLAGS -Wall -Wextra -stdc99# 可执行文件名 TARGET your_program# 源文件和对象文件 SRCS main.c file1.c file2.c OBJS $(SRCS:.c.o)# 默认目标 all: $(TARGET)#…
阅读更多...
【C++】异常处理详解

【C++】异常处理详解

本篇文章重点将会对C中的异常的相关处理操作进行详解。希望本篇文章的内容会对你有所帮助。 目录 一、C语言的异常处理 二、C异常 2、1 异常概念 2、2 异常的使用 2、3 异常类 2、4 异常的重新抛出 三、异常的安全与规范 3、1 异常的安全 3、2 异常的规范 四、异常的优缺点 &am…
阅读更多...
CVE-2023-25157：GeoServer OGC Filter SQL注入漏洞复现

CVE-2023-25157：GeoServer OGC Filter SQL注入漏洞复现

CVE-2023-25157：GeoServer OGC Filter SQL注入漏洞复现 前言 本次测试仅供学习使用，如若非法他用，与本文作者无关，需自行负责！！！ 一.GeoServer简介 GeoServer 是用 Java 编写的开源软件服务…
阅读更多...
界面控件Telerik UI for WPF——Windows 11主题精简模式提升应用体验

界面控件Telerik UI for WPF——Windows 11主题精简模式提升应用体验

Telerik UI for WPF拥有超过100个控件来创建美观、高性能的桌面应用程序，同时还能快速构建企业级办公WPF应用程序。Telerik UI for WPF支持MVVM、触摸等，创建的应用程序可靠且结构良好，非常容易维护，其直观的API将无缝地集成Visua…
阅读更多...
【力扣】416. 分割等和子集 ＜动态规划、回溯＞

【力扣】416. 分割等和子集 ＜动态规划、回溯＞

【力扣】416. 分割等和子集 给你一个 只包含正整数的非空数组 nums 。请你判断是否可以将这个数组分割成两个子集，使得两个子集的元素和相等。 示例 1： 输入：nums [1,5,11,5] 输出：true 解释：数组可以分割成 [1, 5,…
阅读更多...
供热管网安全运行监测，提升供热管网安全性能

供热管网安全运行监测，提升供热管网安全性能

城市管网是城市的“生命线”之一，是城市赖以生存和发展的基础，在城市基础设施高质量发展中发挥着重要作用。供热管网作为城市生命线中连接供热管线与热用户的桥梁，担负着向企业和居民用户直接供热的重要职责。随着城市热力需求的急剧增加&…
阅读更多...
组相联cache如何快速实现cache line eviction并使用PMU events验证

组相联cache如何快速实现cache line eviction并使用PMU events验证

如何快速实现cache line eviction 一，什么是cache hit、miss、linefill、evict ？1.1 如果要程序员分别制造出cache hit、miss、linefill、evict这四种场景，该怎么做？ 二，实现cache line eviction的方法1.1 直接填充法3…
阅读更多...
C语言关于与运算符

C语言关于与运算符

C语言关于&与&&运算符 我们知道，在很多场景中&和&&通常可以相互代替，那么它们到底有什么不同呢？ 先看一段代码 bool a, b, c; c a & b;使用clang -S编译出来的指令如下： movb -5(%rbp), %al …
阅读更多...
【数据结构】Golang 实现单链表

【数据结构】Golang 实现单链表

概念 通过指针将一组零散的内存块串联在一起 ， 把内存块称为链表的“结点”。 记录下个结点地址的指针叫作后继指针 next ，第一个结点叫作头结点，把最后一个结点叫作尾结点 。 代码实现 定义单链表 在 golang 中可以通过结构体定义单链表…
阅读更多...
Android——基本控件（下）（二十）

Android——基本控件（下）（二十）

1. 树型组件：ExpandableListView 1.1 知识点 （1）掌握树型组件的定义； （2）可以使用事件对树操作进行监听。 2. 具体内容 既然这个组件可以完成列表的功能，肯定就需要一个可以操作的数据&…
阅读更多...
vue从零开始学习

vue从零开始学习

npm install慢解决方法：删掉nodel_modules。 5.0.3：表示安装指定的5.0.3版本 ~5.0.3：表示安装5.0X中最新的版本 ^5.0.3: 表示安装5.x.x中最新的版本。 yarn的优点： 1.速度快，可以并行安装 2.安装版本统一 项目搭建： 安装nodejs查看node版本：node -v安装vue clie : np…
阅读更多...
c#多态（override)的使用

c#多态（override)的使用

方法重写（override）:多态，通过父类类型对象，调用子类当中对应方法的实现。 细节：子类当中的override方法会“抹杀”父类当中对应virtual方法 不使用多态时，父类调用子类方法时，会调用父类的方法…
阅读更多...
swaggo的一点小理解

swaggo的一点小理解

如有错误，希望指出，谢谢！ 很低级的概念不清，大佬嘴下留情。 1.关于swag的注释 我的理解是这些注释是专门提供给Swagger UI界面测试使用的，根据注释内容告诉swag文档这个函数应该有哪些参数，从什么路由走&…
阅读更多...
HarmonyOS/OpenHarmony(Stage模型）应用开发单一手势（二）

HarmonyOS/OpenHarmony(Stage模型）应用开发单一手势（二）

三、拖动手势（PanGesture） .PanGestureOptions(value?:{ fingers?:number; direction?:PanDirection; distance?:number}) 拖动手势用于触发拖动手势事件，滑动达到最小滑动距离（默认值为5vp）时拖动手势识别成功&am…
阅读更多...
关于已经安装了TorchCRF，导入时却提示“ModuleNotFoundError: No module named ‘torchcrf‘”的解决办法

关于已经安装了TorchCRF，导入时却提示“ModuleNotFoundError: No module named ‘torchcrf‘”的解决办法

应用python时，想导入torchcrf库 from torchcrf import CRF 但系统提示：ModuleNotFoundError: No module named torchcrf 在命令提示符里输入“pip list”检查已安装库，发现torchcrf已经安装 搞了半天，发现是大小写的问题&#x…
阅读更多...
最新文章

Copyright @ 2022~2023