芝法酱学习笔记（2.6）——flink-cdc监听mysql binlog并同步数据至elastic-search和更新redis缓存

一、需求背景

在有的项目中，尤其是进销存类的saas软件，一开始为了快速把产品做出来，并没有考虑缓存问题。而这类软件，有着复杂的业务逻辑。如果想在原先的代码中，添加redis缓存，改动面将非常大，还需要大量的测试工作。有些时候会有更离谱的情况，比如一些一些项目可能用JDK1.6写的，想要在这个框架下接入redis缓存，也会变得十分困难。
这时我们就会想到，能否像mysql的主从复制一样，监听mysql的binlog，对数据进行更新呢？Flink CDC就呼之欲出。

二、mysql环境搭建

需要注意的是，当前的flink-cdc，仅仅支持mysql8.0，8.4是完全不支持的。
由于我的mysql装的是8.4，为了方便起见，我们使用docker安装mysql8.0

2.1 docker-compose.yml

services:master:image: mysql:8.0.41container_name: mysql-8restart: always#mem_limit: 512Menvironment:MYSQL_ROOT_PASSWORD: study@2025TZ: Asia/Shanghaiports:- "3307:3306"volumes:- ./cfg/my.cnf:/etc/my.cnf- ./data:/var/lib/mysql- ./initdb:/docker-entrypoint-initdb.d- ./dump:/var/dump- ./log:/var/lognetworks:- mysql-cluster
networks:mysql-cluster:

2.2 初始化sql

-- 创建复制用户create role role_app;
GRANT SELECT,UPDATE,INSERT,DELETE ON *.* to role_app;
GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO role_app;CREATE USER 'app'@'%' IDENTIFIED WITH caching_sha2_password by 'study@2025' DEFAULT ROLE role_app COMMENT 'app user';FLUSH PRIVILEGES;-- 创建两个数据库，用于测试
CREATE SCHEMA `shop-center`;
FLUSH TABLES WITH READ LOCK;

2.3 注意点

首先把容器卷 - ./cfg/my.cnf:/etc/my.cnf的这一句注释掉，启动服务
而后使用下面语句，把配置文件粘出来

docker exec <id> cp /etc/my.cnf ./cfg/my.cnf

之后把注释打开，再重新启动

三、工程搭建与pom引用

3.1 主模块pom引用

flink程序不需要接入Spring框架，直接一个main就可运行。
但我们还想使用一些我们熟悉的接口，来操作redis和el。

		<dependency><groupId>org.apache.flink</groupId><artifactId>flink-core</artifactId><version>1.20.0</version></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java</artifactId><version>1.20.0</version></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-clients</artifactId><version>1.20.0</version></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-runtime</artifactId><version>1.20.0</version></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-mysql-cdc</artifactId><version>3.3.0</version></dependency>

3.2 common-data模块

一些entity数据，为了保持各模块共通，最好独立到一个common模块。
同时，我还会把redis和el-search的操作，在这个模块接入并封装

3.2.1 pom引用

<dependencies><dependency><groupId>org.yaml</groupId><artifactId>snakeyaml</artifactId><version>2.3</version></dependency><dependency><groupId>co.elastic.clients</groupId><artifactId>elasticsearch-java</artifactId><version>8.17.0</version></dependency><dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch-x-content</artifactId><version>8.17.0</version></dependency><dependency><groupId>cn.hutool</groupId><artifactId>hutool-core</artifactId><version>5.8.32</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional><scope>provided</scope></dependency><dependency><groupId>org.springframework.data</groupId><artifactId>spring-data-redis</artifactId><version>3.4.2</version></dependency><dependency><groupId>com.alibaba.fastjson2</groupId><artifactId>fastjson2-extension-spring6</artifactId><version>2.0.54</version></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-pool2</artifactId><version>2.12.1</version></dependency><dependency><groupId>com.alibaba.fastjson2</groupId><artifactId>fastjson2</artifactId><version>2.0.54</version></dependency><dependency><groupId>io.lettuce</groupId><artifactId>lettuce-core</artifactId><version>6.4.2.RELEASE</version></dependency><!-- Flink Redis Connector --><!--        <dependency>--><!--            <groupId>org.apache.bahir</groupId>--><!--            <artifactId>flink-connector-redis_2.12</artifactId>--><!--            <version>1.1.0</version>--><!--        </dependency>--></dependencies>

3.2.2 一些基本的entity类

@Data
public class GenItemEntity{Long id;String name;Long price;String brand;String specification;Integer version;
}

四、 redis操作和elsearch操作的封装

4.1 redis操作的封装

在pom上，接入spring-data-redis
而后，我们可以使用我们熟悉的RedisTemplate来操作redis

public class RedisConfig {public RedisConfig(){init();}protected FastJsonConfig redisFastJson(){FastJsonConfig config = new FastJsonConfig();config.setWriterFeatures(JSONWriter.Feature.WriteNullListAsEmpty,// 写入类名JSONWriter.Feature.WriteClassName,// 将 Boolean 类型的 null 转成 falseJSONWriter.Feature.WriteNullBooleanAsFalse,JSONWriter.Feature.WriteEnumsUsingName);config.setReaderFeatures(JSONReader.Feature.SupportClassForName,// 支持autoTypeJSONReader.Feature.SupportAutoType);return config;}protected FastJsonRedisSerializer fastJsonRedisSerializer(FastJsonConfig pFastJsonConfig) {FastJsonRedisSerializer fastJsonRedisSerializer = new FastJsonRedisSerializer(Object.class);fastJsonRedisSerializer.setFastJsonConfig(pFastJsonConfig);return fastJsonRedisSerializer;}protected RedisConnectionFactory redisConnectionFactory(){// 这里最好读配置，我懒得搞了RedisStandaloneConfiguration redisConfiguration = new RedisStandaloneConfiguration("192.168.0.64",6379);redisConfiguration.setPassword("study@2025");GenericObjectPoolConfig<?> poolConfig = new GenericObjectPoolConfig<>();poolConfig.setMaxTotal(2);  // 最大连接数poolConfig.setMaxIdle(2);    // 最大空闲连接数poolConfig.setMinIdle(2);    // 最小空闲连接数poolConfig.setMaxWait(Duration.ofMillis(3000)); // 连接等待时间ClientResources clientResources = DefaultClientResources.create();LettucePoolingClientConfiguration lettucePoolingClientConfiguration = LettucePoolingClientConfiguration.builder().poolConfig(poolConfig).build();LettucePoolingClientConfiguration clientConfig = LettucePoolingClientConfiguration.builder().clientResources(clientResources).commandTimeout(Duration.ofSeconds(5)).poolConfig(poolConfig).build();LettuceConnectionFactory redisConnectionFactory = new LettuceConnectionFactory(redisConfiguration,lettucePoolingClientConfiguration);redisConnectionFactory.afterPropertiesSet(); // 初始化连接工厂return redisConnectionFactory;}protected RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory, FastJsonRedisSerializer pFastJsonRedisSerializer) {RedisTemplate<String, Object> redisTemplate = new RedisTemplate<String, Object>();redisTemplate.setConnectionFactory(factory);redisTemplate.setEnableTransactionSupport(true);redisTemplate.setKeySerializer(new StringRedisSerializer());redisTemplate.setValueSerializer(pFastJsonRedisSerializer);redisTemplate.setHashKeySerializer(new StringRedisSerializer());redisTemplate.setHashValueSerializer(pFastJsonRedisSerializer);return redisTemplate;}protected void init(){mFastJsonConfig = redisFastJson();mFastJsonRedisSerializer = fastJsonRedisSerializer(mFastJsonConfig);mRedisConnectionFactory = redisConnectionFactory();mRedisTemplate = redisTemplate(mRedisConnectionFactory,mFastJsonRedisSerializer);mRedisTemplate.afterPropertiesSet();}private FastJsonConfig mFastJsonConfig;private FastJsonRedisSerializer mFastJsonRedisSerializer;private RedisConnectionFactory mRedisConnectionFactory;private RedisTemplate<String, Object> mRedisTemplate;public static RedisTemplate<String, Object> redisTemplate(){return Holder.INSTANCE.mRedisTemplate;}public static <T> String serialize(T entity){return JSON.toJSONString(entity,Holder.INSTANCE.mFastJsonConfig.getWriterFeatures());}private static class Holder {private static final RedisConfig INSTANCE = new RedisConfig();}}

4.2 elasticsearch操作的封装

由于el-search的连接器，需要配置apikey，以及https，我们最好使用yml配置，并且把http_ca.crt放进该模块的resouce中。
在IDEA环境下，有可能找不到子模块的资源，这时在主模块引入子模块时，只需要这样配置即可：

        <dependency><groupId>indi.zhifa.study2025</groupId><artifactId>common-data</artifactId><version>${project.version}</version><scope>compile</scope></dependency>

注意，重点是<scope>compile</scope>

public class EsClientConfig {@Setter@Getterprivate String host;@Setter@Getterprivate Integer port;@Setter@Getterprivate String apiKey;}

public class ElasticSearchClientProvider {private EsClientConfig esClientConfig;private RestClientBuilder builder;public ElasticSearchClientProvider() {try{init();}catch (Exception e){e.printStackTrace();}}public void init() throws IOException {Yaml yaml = new Yaml();try (InputStream inputStream = FileUtil.class.getClassLoader().getResourceAsStream("el-config.yml")) {if (inputStream == null) {throw new IllegalArgumentException("File not found: el-config.yml");}esClientConfig = yaml.loadAs(inputStream, EsClientConfig.class);} catch (Exception e) {throw new RuntimeException("Failed to load YAML file", e);}SSLContext sslContext;try (InputStream inputStream = FileUtil.class.getClassLoader().getResourceAsStream("http_ca.crt")){sslContext = TransportUtils.sslContextFromHttpCaCrt(inputStream);}catch (Exception e) {throw new RuntimeException("Failed to load http_ca.crt", e);}builder = RestClient.builder(new HttpHost(esClientConfig.getHost(), esClientConfig.getPort(), "https") // 替换为你的Elasticsearch地址).setDefaultHeaders(new Header[]{new BasicHeader("Authorization", "ApiKey " + esClientConfig.getApiKey())}).setFailureListener(new RestClient.FailureListener(){@Overridepublic void onFailure(Node node) {super.onFailure(node);}}).setHttpClientConfigCallback(hc->hc.setSSLContext(sslContext));}public ElasticsearchClient get(){RestClient restClient = builder.build();ElasticsearchTransport transport = new RestClientTransport(restClient, new JacksonJsonpMapper());ElasticsearchClient esClient = new ElasticsearchClient(transport);return esClient;}public static ElasticSearchClientProvider getInstance(){return Holder.INSTANCE;}private static class Holder {private static final ElasticSearchClientProvider INSTANCE = new ElasticSearchClientProvider();}}

五、 redis和elsearch的自定义sink编写

5.1 redis的sink编写

我们希望传入redis时，数据是被处理好的，redis的sink不需要处理任何逻辑，只管更新缓存和删除缓存。

5.1.1 RedisSinkCommand

public class RedisSinkCommand<T> {@Setter@Getterprotected ERedisCommand command;@Setter@Getterprotected long dua;@Setter@Getterprotected  String key;@Setter@Getterprotected  T value;public void initSet(String pKey, T pValue) {command = ERedisCommand.SET;dua = 300;key = pKey;value = pValue;}public void initDel(String pKey) {command = ERedisCommand.DEL;key = pKey;}}

public enum ERedisCommand {SET,DEL
}

5.1.2 SpringDataRedisSink

@Slf4j
public class SpringDataRedisSink<T> implements Sink<RedisSinkCommand<T>> {@Overridepublic SinkWriter<RedisSinkCommand<T>> createWriter(InitContext context) throws IOException {return null;}@Overridepublic SinkWriter<RedisSinkCommand<T>> createWriter(WriterInitContext context){return new LettuceRedisSinkWriter();}class LettuceRedisSinkWriter implements SinkWriter<RedisSinkCommand<T>> {@Overridepublic void write(RedisSinkCommand<T> pCmd, Context context) throws IOException, InterruptedException {RedisTemplate<String, Object> redisTemplate = RedisConfig.redisTemplate();switch (pCmd.getCommand()){case SET-> {redisTemplate.opsForValue().set(pCmd.getKey(),pCmd.getValue(),pCmd.getDua());}case DEL -> {redisTemplate.delete(pCmd.getKey());}}}@Overridepublic void flush(boolean endOfInput) throws IOException, InterruptedException {}@Overridepublic void close() throws Exception {}}}

5.2 elasticsearch的sink编写

elasticsearch的sink与redis的要求一致，在sink中不关心业务逻辑

5.2.1 ElCommand

@Data
public class ElCommand<T> {protected EElCommand command;protected String index;protected T entity;protected String id;
}

public enum EElCommand {CREATE,UPDATE,DELETE
}

5.2.2 ElSearchSink

public class ElSearchSink<T> implements Sink<ElCommand<T>> {@Overridepublic SinkWriter<ElCommand<T>> createWriter(InitContext context) throws IOException {return null;}@Overridepublic SinkWriter<ElCommand<T>> createWriter(WriterInitContext context){return new ElSearchSink.ElSearchSinkWriter();}class ElSearchSinkWriter implements SinkWriter<ElCommand<T>> {@Overridepublic void write(ElCommand<T> pCmd, Context context) throws IOException, InterruptedException {ElasticSearchClientProvider elasticSearchClientProvider = ElasticSearchClientProvider.getInstance();ElasticsearchClient elClient =  elasticSearchClientProvider.get();String index = pCmd.getIndex();String id = pCmd.getId();T entity = pCmd.getEntity();switch (pCmd.getCommand()){case CREATE,UPDATE -> {elClient.index(i->i.index(index).id(id).document(entity));}case DELETE -> {elClient.delete(d->d.index(index).id(id));}}}@Overridepublic void flush(boolean endOfInput) throws IOException, InterruptedException {}@Overridepublic void close() throws Exception {}}
}

六、主函数编写

public class FlinkMain {public static void main(String[] args) throws Exception {MySqlSource<String> mySqlSource = MySqlSource.<String>builder().hostname("192.168.0.64").port(3307).databaseList("shop-center") // set captured database.tableList("shop-center.item") // set captured table.username("app").password("study@2025").serverTimeZone("Asia/Shanghai").deserializer(new JsonDebeziumDeserializationSchema()) // converts SourceRecord to JSON String.startupOptions(StartupOptions.latest()).includeSchemaChanges(true).build();//        FlinkJedisPoolConfig jedisConfig = new FlinkJedisPoolConfig.Builder()
//                .setHost("192.168.0.64") // 替换为 Redis 主机
//                .setPort(6379) // Redis 端口
//                .setPassword("ilv0404@1314") // 如果有密码，设置密码
//                .build();StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);//        DataStream<BinlogInfo> mysqlStream = env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(),"Mysql source")
//                .map(str->{
//                    BinlogInfo res =JSONObject.parseObject(str, BinlogInfo.class);
//                    return res;
//                    }
//                 ).filter(bi->bi.getOp().equals("c")||bi.getOp().equals("u")||bi.getOp().equals("d"));
//
//        mysqlStream.addSink(new RedisSink(jedisConfig,new RedisItemMapper()));DataStream<RedisSinkCommand<GenItemEntity>> newMysqlStream = env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(),"Mysql source to redis").map(str->JSONObject.parseObject(str, new TypeReference<BinlogInfo<GenItemEntity>>() {}), TypeInformation.of(new TypeHint<BinlogInfo<GenItemEntity>>() {})).filter(bi->bi.getSource().getTable().equals("item") &&  (bi.getOp().equals("c")||bi.getOp().equals("u")||bi.getOp().equals("d"))).map(bi->{String op = bi.getOp();GenItemEntity itemEntity = bi.getAfter();String key = "item:"+itemEntity.getId();switch (op){case "c","u"->{RedisSinkCommand<GenItemEntity> redisSinkCommand = new RedisSinkCommand();redisSinkCommand.initSet(key,itemEntity);return redisSinkCommand;}case "d" ->{RedisSinkCommand<GenItemEntity> redisSinkCommand = new RedisSinkCommand();redisSinkCommand.initDel(key);return redisSinkCommand;}default -> {RedisSinkCommand<GenItemEntity> redisSinkCommand = new RedisSinkCommand();redisSinkCommand.initDel(key);return redisSinkCommand;}}},TypeInformation.of(new TypeHint<RedisSinkCommand<GenItemEntity>>() {}));newMysqlStream.sinkTo(new SpringDataRedisSink<GenItemEntity>());DataStream<ElCommand<GenItemEntity>> mySqlToElStream = env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(),"Mysql source to el").map(str->JSONObject.parseObject(str, new TypeReference<BinlogInfo<GenItemEntity>>() {}), TypeInformation.of(new TypeHint<BinlogInfo<GenItemEntity>>() {})).filter(bi->bi.getSource().getTable().equals("item") &&  (bi.getOp().equals("c")||bi.getOp().equals("u")||bi.getOp().equals("d"))).map(bi->{ElCommand elCommand = new ElCommand();GenItemEntity itemEntity = bi.getAfter();elCommand.setId(itemEntity.getId().toString());elCommand.setEntity(itemEntity);elCommand.setIndex("item_npc");String op = bi.getOp();switch (op){case "c"->elCommand.setCommand(EElCommand.CREATE);case "u"->elCommand.setCommand(EElCommand.UPDATE);case "d"->elCommand.setCommand(EElCommand.DELETE);}return elCommand;},TypeInformation.of(new TypeHint<ElCommand<GenItemEntity>>() {}));mySqlToElStream.sinkTo(new ElSearchSink());env.execute();}
}

七、代码展示

请道友移步码云

八、相关实践的思考

8.1 redis相关

我这里的代码，仅仅是学习用的。在真实项目中，redis缓存的更新，通常源于查询时，如果发现缓存中没有数据，则查mysql，并把缓存数据加入redis。如果监听到表数据的更改或删除，则直接删除相应缓存，等待查询时重新加入缓存。当然，这样做在同一数据并发访问时，会有重复设置缓存的可能性，我们把这种现象叫缓存穿透。可以在更新缓存前，用redisson加个锁，防止重复读取mysql并更新redis。

public class CacheService {@Autowiredprivate RedissonClient redissonClient;@Autowiredprivate RedisTemplate<String, Object> redisTemplate;@Autowiredprivate DataRepository dataRepository;public Object getData(String key) {// 第一次检查缓存Object value = redisTemplate.opsForValue().get(key);if (value != null) {return value;}RLock lock = redissonClient.getLock(key + ":LOCK");try {// 尝试加锁，设置锁超时时间防止死锁if (lock.tryLock(5, 30, TimeUnit.SECONDS)) {try {// 双重检查缓存value = redisTemplate.opsForValue().get(key);if (value != null) {return value;}// 查询数据库Object dbData = dataRepository.findById(key);// 更新缓存，设置合理过期时间redisTemplate.opsForValue().set(key, dbData, 1, TimeUnit.HOURS);return dbData;} finally {lock.unlock();}} else {// 未获取到锁，短暂等待后重试Thread.sleep(100);return redisTemplate.opsForValue().get(key);}} catch (InterruptedException e) {Thread.currentThread().interrupt();throw new RuntimeException("获取锁失败", e);}}
}

8.2 es相关

对于es，其实更新数据不建议采用这种方式。因为es中需要反范式设计，不可能用1张表的数据做es查询数据的。
对于电商系统的商品查询，我们可以在商品上架的时候更新es。并且商品商家状态下，不允许修改商品。商品下架时，删除es的数据。想要修改商品数据，可以先下架，再修改，而后上架。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/69144.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

VLAN 基础 | 不同 VLAN 间通信实验

VLAN 基础 | 不同 VLAN 间通信实验

注&#xff1a;本文为 “ Vlan 间通信” 相关文章合辑。 英文引文&#xff0c;机翻未校。 图片清晰度限于原文图源状态。 未整理去重。 How to Establish Communications between VLANs? 如何在 VLAN 之间建立通信&#xff1f; Posted on November 20, 2015 by RouterSwi…
阅读更多...
bat脚本实现自动化漏洞挖掘

bat脚本实现自动化漏洞挖掘

bat脚本 BAT脚本是一种批处理文件&#xff0c;可以在Windows操作系统中自动执行一系列命令。它们可以简化许多日常任务&#xff0c;如文件操作、系统配置等。 bat脚本执行命令 echo off#下面写要执行的命令 httpx 自动存活探测 echo off httpx.exe -l url.txt -o 0.txt nuc…
阅读更多...
堆的实现——堆的应用（堆排序）

堆的实现——堆的应用（堆排序）

文章目录 1.堆的实现2.堆的应用--堆排序 大家在学堆的时候&#xff0c;需要有二叉树的基础知识&#xff0c;大家可以看我的二叉树文章&#xff1a;二叉树 1.堆的实现 如果有⼀个关键码的集合 K {k0 , k1 , k2 , …&#xff0c;kn−1 } &#xff0c;把它的所有元素按完全⼆叉树…
阅读更多...
edu小程序挖掘严重支付逻辑漏洞

edu小程序挖掘严重支付逻辑漏洞

edu小程序挖掘严重支付逻辑漏洞 一、敏感信息泄露 打开购电小程序 这里需要输入姓名和学号&#xff0c;直接搜索引擎搜索即可得到&#xff0c;这就不用多说了&#xff0c;但是这里的手机号可以任意输入&#xff0c;只要用户没有绑定手机号这里我们输入自己的手机号抓包直接进…
阅读更多...
FRP通过公网IP实现内网穿透

FRP通过公网IP实现内网穿透

FRP通过公网IP实现内网穿透 一、简介二、安装服务端1、下载2、安装FRP3、使用 systemd 命令管理 frps 服务4、设置 frps 开机自启动 三、安装客户端1、下载2、安装FRP3、使用 systemd 命令管理 frpc 服务4、设置 frpc 开机自启动 四、访问仪表盘 一、简介 frp 是一款高性能的反…
阅读更多...
K8S学习笔记-------1.安装部署K8S集群环境

K8S学习笔记-------1.安装部署K8S集群环境

1.修改为root权限 #sudo su 2.修改主机名 #hostnamectl set-hostname k8s-master01 3.查看网络地址 sudo nano /etc/netplan/01-netcfg.yaml4.使网络配置修改生效 sudo netplan apply5.修改UUID&#xff08;某些虚拟机系统&#xff0c;需要设置才能生成UUID&#xff09;#…
阅读更多...
go运算符

go运算符

内置运算符 算术运算符关系运算符逻辑运算符位运算符赋值运算符 算术运算符 注意&#xff1a; &#xff08;自增&#xff09;和–&#xff08;自减&#xff09;在 Go 语言中是单独的语句&#xff0c;并不是运算符 package mainimport "fmt"func main() {fmt.Printl…
阅读更多...
【贪心算法篇】：“贪心”之旅--算法练习题中的智慧与策略（一）

【贪心算法篇】：“贪心”之旅--算法练习题中的智慧与策略（一）

✨感谢您阅读本篇文章&#xff0c;文章内容是个人学习笔记的整理&#xff0c;如果哪里有误的话还请您指正噢✨ ✨ 个人主页&#xff1a;余辉zmh–CSDN博客 ✨ 文章所属专栏&#xff1a;贪心算法篇–CSDN博客 文章目录 一.贪心算法1.什么是贪心算法2.贪心算法的特点 二.例题1.柠…
阅读更多...
一款wordpress AI免费插件自动内容生成+前端AI交互+文章批量采集

一款wordpress AI免费插件自动内容生成+前端AI交互+文章批量采集

一款wordpressAI自动内容生成前端AI会话窗口交互文章批量采集免费插件 1. SEO优化文章生成 关键词驱动的内容生成&#xff1a;用户可以输入关键词或长尾关键词&#xff0c;插件会根据这些关键词生成高质量的SEO优化文章。文章结构清晰&#xff0c;语言自然流畅&#xff0c;符合…
阅读更多...
Linux03——常见的操作命令

Linux03——常见的操作命令

root用户以及权限 Linux系统的超级管理员用户是&#xff1a;root用户 su命令 可以切换用户&#xff0c;语法&#xff1a;su [-] [用户名]- 表示切换后加载环境变量&#xff0c;建议带上用户可以省略&#xff0c;省略默认切换到root su命令是用于账户切换的系统命令&#xff…
阅读更多...
使用 Ollama 在 Windows 环境部署 DeepSeek 大模型实战指南

使用 Ollama 在 Windows 环境部署 DeepSeek 大模型实战指南

文章目录 前言Ollama核心特性 实战步骤安装 Ollama验证安装结果部署 DeepSeek 模型拉取模型启动模型 交互体验命令行对话调用 REST API 总结个人简介 前言 近年来&#xff0c;大语言模型&#xff08;LLM&#xff09;的应用逐渐成为技术热点&#xff0c;而 DeepSeek 作为国产开…
阅读更多...
关于大数据

关于大数据

在大数据背景下存在的问题&#xff1a; 非结构化、半结构化数据&#xff1a;NoSQL数据库只负责存储&#xff1b;程序处理时涉及到数据移动&#xff0c;速度慢 是否存在一套整体解决方案&#xff1f; 可以存储并处理海量结构化、半结构化、非结构化数据 处理海量数据的速…
阅读更多...
通过docker安装部署deepseek以及python实现

通过docker安装部署deepseek以及python实现

前提条件 Docker 安装：确保你的系统已经安装并正确配置了 Docker。可以通过运行 docker --version 来验证 Docker 是否安装成功。 网络环境：保证设备有稳定的网络连接，以便拉取 Docker 镜像和模型文件。 步骤一：拉取 Ollama Docker 镜像 Ollama 可以帮助我们更方便地管理…
阅读更多...
企业四要素如何用PHP进行调用

企业四要素如何用PHP进行调用

一、什么是企业四要素&#xff1f; 企业四要素接口是在企业三要素&#xff08;企业名称、统一社会信用代码、法定代表人姓名&#xff09;的基础上&#xff0c;增加了一个关键要素&#xff0c;通常是企业注册号或企业银行账户信息。这种接口主要用于更全面的企业信息验证&#x…
阅读更多...
Android性能优化系列——卡顿优化

Android性能优化系列——卡顿优化

卡顿&#xff0c;就是用户体感界面不流畅。我们知道手机的屏幕画面是按照一定频率来刷新的&#xff0c;理论上讲&#xff0c;24 帧的画面更新就能让人眼感觉是连贯的。但是实际上&#xff0c;这个只是针对普通的视频而言。对于一些强交互或者较为敏感的场景来说&#xff0c;比如…
阅读更多...
激光工控机在自动化领域中有哪些作用？

激光工控机在自动化领域中有哪些作用？

首先是对于高精度加工控制方面&#xff1a;激光工控机能够精确控制激光光束的运动轨迹和输出功率&#xff0c;实现对各种材料的精细切割、雕刻和焊接&#xff0c;保证加工质量和效率。 其次还能实时监控与远程控制激光工控机凭借其强大的网络通信功能&#xff0c;可以实时监控…
阅读更多...
陷入闭包：理解 React 状态管理中的怪癖

陷入闭包：理解 React 状态管理中的怪癖

TLDR 闭包就像函数随身携带的背包&#xff0c;包含它们创建时的数据React 组件使用闭包来记住它们的状态和属性过时的闭包可能导致状态更新不如预期时的错误函数式更新提供了一个可靠的方式来处理最新状态 简介 你是否曾经疑惑过&#xff0c;为什么有时你的 React 状态更新不…
阅读更多...
基于STM32的智能加湿器设计（新版本）

基于STM32的智能加湿器设计（新版本）

目录 1、设计要求 2、系统功能 3、演示视频和实物 4、系统设计框图 5、软件设计流程图 6、原理图 7、主程序 8、总结 &#x1f91e;大家好&#xff0c;这里是5132单片机毕设设计项目分享&#xff0c;今天给大家分享的是加湿器。设备的详细功能见网盘中的文章《12、基于…
阅读更多...
21.2.2 保存

21.2.2 保存

版权声明&#xff1a;本文为博主原创文章&#xff0c;转载请在显著位置标明本文出处以及作者网名&#xff0c;未经作者允许不得用于商业目的。 如果打开某个Excel文件修改后&#xff0c;需要保存到原文件或者用新的文件名保存&#xff0c;在 Excel.Application.Quit() 前使用W…
阅读更多...
Deepseek v3R1 学习笔记

Deepseek v3R1 学习笔记

o1 o1 模型在训练过程中混合了多种奖励函数的设计方法&#xff0c;并且尝试从结果监督转向过程监督&#xff0c;在中间过程进行打分 使用的搜索策略&#xff1a;基于树的搜索和基于顺序修改的搜索 R1 R1-Zero 是从基础模型开始&#xff0c;完全由强化学习驱动&#xff0c;不…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023