快手二面准备【面试准备】

快手二面准备【面试准备】

  • 前言
  • 版权
  • 快手二面准备
    • 秋招一面中的问题
    • 实习一面中的问题
    • 计算机网络和操作系统
    • 论坛项目登录注册
    • ThreadLocal代替session存储用户
    • 秒杀项目登录注册->阿里验证码->rpc
    • session为什么改为token实现,redis存储用户信息
    • 由binlog的用法->缓存和数据库的一致性
    • 3种缓存更新策略是怎样的?
    • ES搜索->Mysql全文索引
    • MySQL8的索引新特性
    • redis的高级数据结构
    • 代理模式->设计模式
    • 为什么使用mq
    • mq
    • es的构成
    • 倒排索引的理解:
    • mq的消息类型
    • 缓存相关的问题
    • kafka的角色
    • rocketmq的角色
  • 最后

前言

2023-8-1 17:33:53

公开发布于
2024-5-21 13:07:32

以下内容源自《【面试准备】》
仅供学习交流使用

版权

禁止其他平台发布时删除以下此话
本文首次发布于CSDN平台
作者是CSDN@日星月云
博客主页是https://blog.csdn.net/qq_51625007
禁止其他平台发布时删除以上此话

快手二面准备

秋招一面中的问题

rpc

远程过程调用

kafka为啥会丢消息

rocketmq怎么保证不丢消息

RocketMQ通过以下几种机制来保证消息不丢失:消息持久化:RocketMQ将消息写入磁盘中进行持久化存储,即使在发生系统故障或重启时,消息也能够被恢复。内存双写:RocketMQ在将消息持久化到磁盘之前,先将消息写入内存中的PageCache中。这种方式可以提高写入速度,并且在发生宕机时,可以通过从磁盘中加载消息来进行快速恢复。同步刷盘:RocketMQ提供了同步刷盘机制,即在消息写入磁盘之前,会等待消息被写入磁盘后才返回发送成功的响应。这样可以确保消息被持久化到磁盘中,避免消息丢失。主从同步:RocketMQ支持主从模式,即一个主节点和多个从节点。主节点负责将消息发送给消费者,从节点负责备份主节点的消息。当主节点宕机时,可以通过从节点快速切换来提供高可用性,并避免消息丢失。高可靠性队列:RocketMQ提供了高可靠性的队列机制,确保消息的可靠传输。通过设置消息的发送模式为同步模式,发送方在消息发送完成之前会等待Broker的确认响应,确保消息可靠传输。消息重试机制:RocketMQ提供了消息重试机制,当消息发送失败时,会自动进行重试。可以通过设置重试次数和重试间隔来控制重试的策略,确保消息最终被正确处理。综上所述,RocketMQ通过持久化、内存双写、同步刷盘、主从同步、高可靠性队列和消息重试机制等多种机制来保证消息不丢失。开发人员也可以根据自己的需求和业务场景,选择适当的配置和策略来保证消息的可靠性。
RocketmqBroker的刷盘策略有哪些?同步刷盘
SYNC_FLUSH(同步刷盘):生产者发送的每一条消息都在保存到磁盘成功后才返回告诉生产者成功。这种方式不会存在消息丢失的问题,但是有很大的磁盘IO开销,性能有一定影响。
异步刷盘
ASYNC_FLUSH(异步刷盘):生产者发送的每一条消息并不是立即保存到磁盘,而是暂时缓存起来,然后就返回生产者成功。随后再异步的将缓存数据保存到磁盘,有两种情况:1是定期将缓存中更新的数据进行刷盘,2是当缓存中更新的数据条数达到某一设定值后进行刷盘。这种异步的方式会存在消息丢失(在还未来得及同步到磁盘的时候宕机),但是性能很好。默认是这种模式。

秒杀为什么选择rocketmq

rocketmq支持发布事务性消息

实习一面中的问题

es与数据库之间的同步

使用的是kafka来实现的redis是在刷新帖子分数时
点赞评论之后,记录需要刷新的帖子id
供Quartz定时计算帖子分数,然后刷新到数据库

动态代理

基于接口的代理:jdk
基于类的代理:cglib

了解过监听binlog吗

计算机网络和操作系统

http

https

tcp和upd

dns

论坛项目登录注册

一个问题,验证邮箱丢失问题

提供重新发送激活邮箱的服务

ThreadLocal代替session存储用户

拦截器

@preHandle
获取登录凭证@postHandle
前端添加loginUser@afterCompletion
清除HostHold

四种对象引用

本地线程存储

内存泄漏问题

秒杀项目登录注册->阿里验证码->rpc

原来验证码输出到控制台里

session为什么改为token实现,redis存储用户信息

由binlog的用法->缓存和数据库的一致性

数据库和缓存如何保证一致性?

它的用法:
主从复制
数据库恢复

还有一个,订阅binlog解决缓存和数据库的一致性

缓存和数据库一致性:
先更新数据库,后删除缓存。

可能还会有问题

延迟双删

但是更新数据库和删除缓存是两个操作

万一删除失败了,怎么办?

  • 重试,消息队列
  • 订阅binlog

3种缓存更新策略是怎样的?

面试官:3种缓存更新策略是怎样的?

Cache Aside(旁路缓存)策略是最常用的,应用程序直接与「数据库、缓存」交互,并负责对缓存的维护,该策略又可以细分为「读策略」和「写策略」。

在这里插入图片描述
Read/Write Through(读穿 / 写穿)策略原则是应用程序只和缓存交互,不再和数据库交互,而是由缓存和数据库交互,相当于更新数据库的操作由缓存自己代理了。

下面是 Read Through/Write Through 策略的示意图:

在这里插入图片描述

Write Back(写回)策略在更新数据的时候,只更新缓存,同时将缓存数据设置为脏的,然后立马返回,并不会更新数据库。对于数据库的更新,会通过批量异步更新的方式进行。

实际上,Write Back(写回)策略也不能应用到我们常用的数据库和缓存的场景中,因为 Redis 并没有异步更新数据库的功能。

在这里插入图片描述

ES搜索->Mysql全文索引

MySQL全文检索临时代替ES实现快速搜索

模糊查询:like '%关键词'

MySQL 中使用全局变量ngram_token_size来配置ngram中n的大小,它的取值范围是1到10,默认值是2。通常ngram_token_size设置为要查询的单词的最小字数。如果需要搜索单字,就要把ngram_token_size设置为1。在默认值是2的情况下,搜索单字是得不到任何结果的。因为中文单词最少是两个汉字,推荐使用默认值2。

CREATE FULLTEXT INDEX idx_名 ON(字段) WITH PARSER ngram;
select - from  -
where MATCH (columnName) AGAINST ('keywords')

MySQL8的索引新特性

降序索引

隐藏索引

redis的高级数据结构

拦截器:记录uv,dau访问过一次判断其为活跃

hyperLogLog
统计uv
key:uv_日期
value:ip
add()
指定日期范围统计union()之后再size返回

bitmap
统计dau
key:dau_日期
value:userId
setBit()
统计指定日期范围内的DAU OR运算 bitCount()

代理模式->设计模式

单例模式

工厂模式

为什么使用mq

解耦 异步 削峰

比如:论坛项目中的,关注,点赞或评论帖子,做系统通知

如果写出一个方法的话,还需要保证事务,设置事务的传播行为

但是别人点赞了,和你收到系统通知,其实是两个业务

别人点赞了,系统通知的业务执行失败,你也不能回滚

这两个操作也是异步的

削峰,秒杀项目的

mq

【消息队列】五个问题详解消息中间件

【RocketMQ】原理分析:消息存储机制

【RocketMQ】消息可靠性保证

【Kafka】原理分析:消息的文件存储机制

【Kafka】消息可靠性保证

同步刷盘

es的构成

Elasticsearch由以下几个主要组件构成:

  • 节点(Nodes):节点是Elasticsearch的基本组成单位,每个节点代表一个运行的实例。一个Elasticsearch集群可以由多个节点组成,每个节点都有自己的名称和唯一的ID。节点之间可以通过集群通信进行相互发现、数据同步和协作。

  • 索引(Indexes):索引是一种用于组织和存储数据的逻辑容器。它类似于数据库中的表,可以包含多个文档(documents)。每个索引都具有唯一的名称,用于标识它所包含的数据类型或内容。

  • 类型(Types):在早期版本的Elasticsearch(5.x及以前的版本),索引可以包含多个类型。类型是索引中的一个逻辑类别,用于区分不同类型的文档。然而,在5.x以后的版本中,Elasticsearch不再推荐使用多个类型,建议将不同类型的数据拆分为独立的索引。

  • 文档(Documents):文档是Elasticsearch中的基本数据单元。它可以是任意结构的JSON对象,类似于数据库中的记录。每个文档都有一个唯一的ID,用于标识它在索引中的位置。文档可以被索引、搜索和修改。

  • 分片和副本(Shards and Replicas):为了实现高可用性和扩展性,Elasticsearch将索引分割成多个分片(shards),每个分片可以在集群中的不同节点上进行分布。分片允许索引数据被并行处理和存储。为了提高数据的冗余性和可靠性,每个分片可以有多个副本(replicas),副本是分片的精确拷贝。

以上是Elasticsearch的基本构成,它们一起工作来提供高效的分布式搜索和分析功能。

倒排索引的理解:

倒排索引(Inverted Index)是一种用于快速定位文档的索引结构。在倒排索引中,每个关键词都维护了一个包含包含该关键词的文档列表。通过倒排索引,可以快速地找到包含特定关键词的文档,而无需遍历所有文档。

倒排索引的构建过程包括以下几个步骤:

文档分词:将每个文档拆分为一个个的词语(或称为术语,terms),这通常是通过分词器(tokenizer)来实现的。分词器可以根据各种规则和算法将文本切分为合适的词语。

构建倒排索引:对于每个词语,将它出现的文档ID记录到倒排索引中。倒排索引的数据结构通常是一个关联数组(Associative Array),其中词语作为键,文档ID的列表作为值。

优化倒排索引:为了提高查询性能和减少索引的大小,通常还会对倒排索引进行优化。例如,可以使用压缩算法对文档ID列表进行压缩,或者使用数据结构如跳表(Skip List)来加速查找过程。

通过倒排索引,可以在搜索时快速定位包含特定关键词的文档。比如,当用户在搜索引擎中输入一个关键词时,搜索引擎可以通过倒排索引找到包含该关键词的文档,并返回给用户相关的搜索结果。倒排索引是大部分搜索引擎(包括Elasticsearch)的核心组成部分,它能够提供快速、灵活和准确的搜索功能。

mq的消息类型

缓存相关的问题

缓存和数据库的一致性

先更新数据库再删除缓存

库存的一致性是mq实现事务消息

缓存穿透

场景:
场景查询根本不存在的数据,使得请求直达存储层
导致其负载过大,甚至宕机。

解决方案:
1.缓存空对象存储层未命中后,仍然将空值存入缓存层。再次访问该数据时,缓存层会直接返回空值。
2.布隆过滤器将所有存在的key提前存入布隆过滤器,在访问缓存层之前,先通过过滤器拦截,若请求的是不存在的key,则直接返回空值。

缓存击穿

场景:
一份热点数据,它的访问量非常大。在其缓存失效瞬间,大量请求直达存储层,导致服务崩溃。

解决方案:
1.加互斥锁对数据的访问加互斥锁,当一个线程访问该数据时,其他线程只能等待。这个线程访问过后,缓存中的数据将被重建,届时其他线程就可以直接从缓存取值。
2.永不过期不设置过期时间,所以不会出现上述问题,这是“物理”上的不过期。为每个value设置逻辑过期时间,当发现该值逻辑过期时,使用单独的线程重建缓存。

缓存雪崩
场景:
由于某些原因,缓存层不能提供服务,导致所有的请求直达存储层,造成存储层宕机。
解决方案:
1.避免同时过期设置过期时间时,附加一个随机数,避免大量的key同时过期。
2.构建高可用的Redis缓存部署多个Redis实例,个别节点宕机,依然可以保持服务的整体可用。
3.构建多级缓存增加本地缓存,在存储层前面多加一级屏障,降低请求直达存储层的几率。
4.启用限流和降级措施对存储层增加限流措施,当请求超出限制时,对其提供降级服务。

kafka的角色

Kafka的角色包括以下几个:

  • 生产者(Producer):负责将消息发送到Kafka集群,并且可以选择将消息发送到特定的主题(Topic)。
  • 消费者(Consumer):从Kafka集群中读取消息,并且可以选择订阅一个或多个主题。
  • 主题(Topic):是消息的逻辑容器,可以理解为消息的分类或者主题。
  • 分区(Partition):每个主题可以被分为一个或多个分区,每个分区对应一个日志文件。
  • 消费者组(Consumer Group):消费者可以组成一个或多个消费者组,每个组可以订阅一个或多个主题。
  • Kafka集群(Kafka Cluster):由多个Kafka实例组成的集群,用于存储和处理消息。
  • Broker:Kafka集群中的每个节点就是一个Broker,负责存储和处理消息。
  • ZooKeeper:Kafka使用ZooKeeper来管理集群的元数据,包括主题、分区等信息。
  • 消息(Message):Kafka中的基本单位,由键(Key)和值(Value)组成。
  • 日志(Log):Kafka使用日志文件来存储消息,每个分区对应一个日志文件。

以上是Kafka的主要角色,每个角色在Kafka中都扮演着不同的角色和功能。

rocketmq的角色

RocketMQ的角色包括以下几个:

  • 生产者(Producer):负责将消息发送到RocketMQ集群,并且可以选择将消息发送到特定的主题(Topic)。
  • 消费者(Consumer):从RocketMQ集群中读取消息,并且可以选择订阅一个或多个主题。
  • 主题(Topic):是消息的逻辑容器,可以理解为消息的分类或者主题。
    消费者组(Consumer Group):消费者可以组成一个或多个消费者组,每个组可以订阅一个或多个主题。
  • Broker:RocketMQ集群中的每个节点就是一个Broker,负责存储和处理消息。
  • 消息(Message):RocketMQ中的基本单位,由键(Key)和值(Value)组成。
  • 消息队列(Message Queue):每个主题可以被分为一个或多个消息队列,每个消息队列对应一个消费者线程。
  • 消息存储(Message Store):RocketMQ使用消息存储来存储消息,包括内存存储和磁盘存储。
  • NameServer:RocketMQ使用NameServer来管理集群的元数据,包括主题、消费者组等信息。
  • 消息消费进度(Offset):RocketMQ可以跟踪每个消费者组在每个主题的消费进度,以确保消息的顺序性和可靠性。

以上是RocketMQ的主要角色,每个角色在RocketMQ中都扮演着不同的角色和功能。

最后

2023-8-1 21:18:19

我们都有光明的未来

祝大家考研上岸
祝大家工作顺利
祝大家得偿所愿
祝大家如愿以偿
点赞收藏关注哦

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/14301.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python魔法学院:PySpider篇——网络世界的探险与征服

Hi,我是阿佑,迎来到Python魔法学院,今天阿佑要带大家学习的是PySpider篇——一门让你在网络世界中探险与征服的魔法课程。从环境搭建到高级功能应用,再到性能优化,每一个章节都是成为数据大师的必经之路! 文…

为什么拼命赚钱:穷怕了

我内心深处比较自卑。 从小在农村长大,爸不管妈不爱。 这么说大家没感觉,从小什么都干,六岁开始做饭,每次开学都会全员大扫除,站在那里脚踩泥土地、眼神呆滞、双手无处安放、眼神都不敢直视的小伙子就是我&#xff0…

VS Code中使用 Anaconda 环境

在 Visual Studio Code (VS Code) 中使用 Anaconda 环境进行 Python 开发,可以充分利用 Anaconda 提供的包管理和虚拟环境功能,同时享受 VS Code 提供的强大开发工具和调试功能。以下是详细步骤: 1. 安装 Visual Studio Code 和 Anaconda 首…

JavaScript Window对象

一、BOM(浏览器对象模型) window对象是一个全局对象,也可以说是JavaScript中的顶级对象。 像document、alert()、console.log()这些都是window的属性,基本BOM的属性和方法都是window的。 所有通过var定义在全局作用域中的变量、…

GitLab的原理及应用详解(四)

本系列文章简介: 随着软件开发的不断进步和发展,版本控制系统成为了现代软件开发过程中不可或缺的一部分。而GitLab作为其中一种流行的版本控制工具,在软件开发领域享有广泛的应用。GitLab不仅提供了强大的版本控制功能,还集成了项…

四川古力科技抖音小店,创新科技点亮购物新体验

在这个数字化浪潮汹涌的时代,四川古力科技以其前瞻性的战略眼光和创新能力,闪耀于抖音小店这片电商新蓝海,开启了未来购物的新纪元。作为一家集技术研发、产品创新、市场营销于一体的科技型企业,古力科技不仅为消费者带来了前所未…

idea中显示git的Local Changes

1. 第一打开idea中的Settings文件 2. 找到Version Contro中的commint 3. 取消勾选应用即可 4. 本地提交就会显示出来

ruoyi出现的那些bug

1、 npm install --registryhttps://registry.npm.taobao.org/element-ui request to https://registry.npm.taobao.org/element-ui failed, reason: certificate has expired 路径错误 ​ npm install https://registry.npmmirror.com 2、自定义模块401 {"msg"…

Google Earth Engine(GEE)深度学习入门教程-Python数据读入篇

Python数据读入篇 前置条件: GEE预处理影像导出保存为tfrecord的数据包,并下载到本地tensorflow的深度学习环境 本篇文章的目的主要是把Tfrecord格式的数据加载为tf可使用的数据集格式 设定超参数 首先需要设定导出时的波段名称和数据格式&#xff…

Java日期时间差计算-Hutool 多少天多少时多少分多少秒

在Java中,使用Hutool库来计算两个日期之间具体相差的天数、小时数、分钟数和秒数,可以通过一系列步骤实现。这里提供一个示例代码,演示如何完成这个需求: 首先,确保你的项目中已添加Hutool依赖,如之前所述…

ARTS Week 30

Algorithm 本周的算法题为 747. 至少是其他数字两倍的最大数 给你一个整数数组 nums ,其中总是存在 唯一的 一个最大整数 。 请你找出数组中的最大元素并检查它是否 至少是数组中每个其他数字的两倍 。如果是,则返回 最大元素的下标 ,否则返回…

SpringBoot集成Logback将日志写入文件夹

一、logback简介: 目前比较常用的ava日志框架:Logback、log4j、log4j2、JUL等等。 Logback是在log4j的基础上重新开发的一套日志框架,是完全实现SLF4J接口API(也叫日志门面)。 Logback 的架构非常通用,可以应用于不同的环境。目前logback分为…

LeetCode题练习与总结:从前序与中序遍历序列构造二叉树--105

一、题目描述 给定两个整数数组 preorder 和 inorder ,其中 preorder 是二叉树的先序遍历, inorder 是同一棵树的中序遍历,请构造二叉树并返回其根节点。 示例 1: 输入: preorder [3,9,20,15,7], inorder [9,3,15,20,7] 输出: [3,9,20,nul…

什么是经典蓝牙模块?

什么是经典蓝牙模块?   前面我们已经就蓝牙模块的概念做了了解,随着时间的推移,产品越来越智能,需要的蓝牙模块也就越来越广泛,本篇文章我们就一起了解下什么是经典蓝牙模块。   经典蓝牙模块(BT)泛指支持蓝牙协议…

SwiftUI中的手势(DragGesture拖拽手势及Drag动画组件)

上一篇文章我们了解了如何使用.gesture修饰符和GestureState属性包装器,让我们看看另一种常见的手势:DragGesture拖拽手势。 下面先看个效果图: 这个效果中,我们实现了一个Text文本,并添加了拖拽手势,可以…

代码随想录算法训练营第三十八天| 435. 无重叠区间 、763.划分字母区间、56. 合并区间

435. 无重叠区间 题目链接:435. 无重叠区间 文档讲解:代码随想录/无重叠区间 视频讲解:视频讲解-无重叠区间 状态:已完成(1遍) 解题过程 看到题目的第一想法 这道题我的想法是首先将集合按照start从小到…

看上去好坑的运算符重载

#include <iostream> using namespace std; class MyInt {int nVal; public:MyInt(int n) { nVal n};MyInt & operator-(int n){ //运算符重载-nVal - n;return *this; } operator int() {return nVal;} //类型转换函数};int Inc(int n){return n1; }int ma…

代码随想录训练营|一刷总结

代码随想录一刷完成啦&#xff01;&#xff01;&#xff01; 自己曾经尝试过刷力扣&#xff0c;但是却不知道从何刷起、按什么顺序刷题&#xff0c;直到遇到了卡哥、遇到了代码随想录。研一上有着刷题的决心&#xff0c;但是却没有刷题的动力很难坚持下去&#xff0c;所以也就只…

【削水果game】

编写一个完整的削水果游戏代码是一个复杂的过程&#xff0c;涉及到游戏引擎的使用和游戏逻辑的编写。在这里&#xff0c;我可以提供一个非常简化的版本&#xff0c;使用Python和Pygame库来创建一个基本的削水果游戏概念。请注意&#xff0c;这只是一个示例&#xff0c;用于展示…

Flutter Text导致A RenderFlex overflowed by xxx pixels on the right.

使用Row用来展示两个Text的时候页面出现如下异常,提示"A RenderFlex overflowed by xxx pixels on the right." The following assertion was thrown during layout: A RenderFlex overflowed by 4.8 pixels on the right.The relevant error-causing widget was:…