java steam 去重_Java中对List去重, Stream去重

问题

当下互联网技术成熟,越来越多的趋向去中心化、分布式、流计算,使得很多以前在数据库侧做的事情放到了Java端。今天有人问道,如果数据库字段没有索引,那么应该如何根据该字段去重?大家都一致认为用Java来做,但怎么做呢?

解答

忽然想起以前写过list去重的文章,找出来一看。做法就是将list中对象的hashcode和equals方法重写,然后丢到HashSet里,然后取出来。这是最初刚学Java的时候像被字典一样背写出来的答案。就比如面试,面过号称做了3年Java的人,问Set和HashMap的区别可以背出来,问如何实现就不知道了。也就是说,初学者只背特性。但真正在项目中使用的时候你需要确保一下是不是真的这样。因为背书没用,只能相信结果。你需要知道HashSet如何帮我做到去重了。换个思路,不用HashSet可以去重吗?最简单,最直接的办法不就是每次都拿着和历史数据比较,都不相同则插入队尾。而HashSet只是加速了这个过程而已。

首先,给出我们要排序的对象User

@Data

@Builder

@AllArgsConstructor

public class User {

private Integer id;

private String name;

}

List users = Lists.newArrayList(

new User(1, "a"),

new User(1, "b"),

new User(2, "b"),

new User(1, "a"));

目标是取出id不重复的user,为了防止扯皮,给个规则,只要任意取出id唯一的数据即可,不用拘泥id相同时算哪个。

用最直观的办法

这个办法就是用一个空list存放遍历后的数据。

@Test

public void dis1() {

List result = new LinkedList<>();

for (User user : users) {

boolean b = result.stream().anyMatch(u -> u.getId().equals(user.getId()));

if (!b) {

result.add(user);

}

}

System.out.println(result);

}

用HashSet

背过特性的都知道HashSet可以去重,那么是如何去重的呢? 再深入一点的背过根据hashcode和equals方法。那么如何根据这两个做到的呢?没有看过源码的人是无法继续的,面试也就到此结束了。

事实上,HashSet是由HashMap来实现的(没有看过源码的时候曾经一直直观的以为HashMap的key是HashSet来实现的,恰恰相反)。这里不展开叙述,只要看HashSet的构造方法和add方法就能理解了。

public HashSet() {

map = new HashMap<>();

}

/**

* 显然,存在则返回false,不存在的返回true

*/

public boolean add(E e) {

return map.put(e, PRESENT)==null;

}

那么,由此也可以看出HashSet的去重复就是根据HashMap实现的,而HashMap的实现又完全依赖于hashcode和equals方法。这下就彻底打通了,想用HashSet就必须看好自己的这两个方法。

在本题目中,要根据id去重,那么,我们的比较依据就是id了。修改如下:

@Override

public boolean equals(Object o) {

if (this == o) {

return true;

}

if (o == null || getClass() != o.getClass()) {

return false;

}

User user = (User) o;

return Objects.equals(id, user.id);

}

@Override

public int hashCode() {

return Objects.hash(id);

}

//hashcode

result = 31 * result + (element == null ? 0 : element.hashCode());

其中, Objects调用Arrays的hashcode,内容如上述所示。乘以31等于x<<5-x。

最终实现如下:

@Test

public void dis2() {

Set result = new HashSet<>(users);

System.out.println(result);

}

使用Java的Stream去重

回到最初的问题,之所以提这个问题是因为想要将数据库侧去重拿到Java端,那么数据量可能比较大,比如10w条。对于大数据,采用Stream相关函数是最简单的了。正好Stream也提供了distinct函数。那么应该怎么用呢?

users.parallelStream().distinct().forEach(System.out::println);

没看到用lambda当作参数,也就是没有提供自定义条件。幸好Javadoc标注了去重标准:

Returns a stream consisting of the distinct elements

(according to {@link Object#equals(Object)}) of this stream.

我们知道,也必须背过这样一个准则:equals返回true的时候,hashcode的返回值必须相同. 这个在背的时候略微有些逻辑混乱,但只要了解了HashMap的实现方式就不会觉得拗口了。HashMap先根据hashcode方法定位,再比较equals方法。

所以,要使用distinct来实现去重,必须重写hashcode和equals方法,除非你使用默认的。

那么,究竟为啥要这么做?点进去看一眼实现。

Node reduce(PipelineHelper helper, Spliterator spliterator) {

// If the stream is SORTED then it should also be ORDERED so the following will also

// preserve the sort order

TerminalOp> reduceOp

= ReduceOps.>makeRef(LinkedHashSet::new, LinkedHashSet::add,

LinkedHashSet::addAll);

return Nodes.node(reduceOp.evaluateParallel(helper, spliterator));

}

内部是用reduce实现的啊,想到reduce,瞬间想到一种自己实现distinctBykey的方法。我只要用reduce,计算部分就是把Stream的元素拿出来和我自己内置的一个HashMap比较,有则跳过,没有则放进去。其实,思路还是最开始的那个最直白的方法。

@Test

public void dis3() {

users.parallelStream().filter(distinctByKey(User::getId))

.forEach(System.out::println);

}

public static Predicate distinctByKey(Function super T, ?> keyExtractor) {

Set seen = ConcurrentHashMap.newKeySet();

return t -> seen.add(keyExtractor.apply(t));

}

当然,如果是并行stream,则取出来的不一定是第一个,而是随机的。

上述方法是至今发现最好的,无侵入性的。但如果非要用distinct。只能像HashSet那个方法一样重写hashcode和equals。

小结

会不会用这些东西,你只能去自己练习过,不然到了真正要用的时候很难一下子就拿出来,不然就冒险用。而若真的想大胆使用,了解规则和实现原理也是必须的。比如,LinkedHashSet和HashSet的实现有何不同。

附上贼简单的LinkedHashSet源码:

public class LinkedHashSet

extends HashSet

implements Set, Cloneable, java.io.Serializable {

private static final long serialVersionUID = -2851667679971038690L;

public LinkedHashSet(int initialCapacity, float loadFactor) {

super(initialCapacity, loadFactor, true);

}

public LinkedHashSet(int initialCapacity) {

super(initialCapacity, .75f, true);

}

public LinkedHashSet() {

super(16, .75f, true);

}

public LinkedHashSet(Collection extends E> c) {

super(Math.max(2*c.size(), 11), .75f, true);

addAll(c);

}

@Override

public Spliterator spliterator() {

return Spliterators.spliterator(this, Spliterator.DISTINCT | Spliterator.ORDERED);

}

}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/501071.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python语言中包含的标准数据类型_Python对象——标准类型的分类

如果让我们最啰嗦的描述标准类型&#xff0c;我们也许会称它们是Python 的“基本内建数据对象原始类型”。 z “基本”&#xff0c;是指这些类型都是Python 提供的标准或核心类型。 z “内建”&#xff0c;是由于这些类型是Python 默认就提供的 z “数据”&#xff0c;因为他们…

JAVA进阶级开发之(Array工具类)

目录 常见的算法&#xff1a; 1、排序算法&#xff1a; 2、查找算法&#xff1a; 3、算法&#xff1a; 4、冒泡排序算法&#xff08;理论&#xff09; 4、选择排序算法&#xff08;理论&#xff09; 5、数组的元素查找&#xff1a; 6、介绍一下java.util.Arrays工具类 …

css怎么使元素绝对定位有过度效果_CSS定位属性Position实例分析

CSS所提供的Position定位属性在进行网页页面布局过程中非常重要&#xff0c;通过使用Position定位属性可以实现对页面元素进行精确定位&#xff0c;最终达到较好的设计及页面展示效果。本文主要针对Position属性设计教学案例&#xff0c;实现教学。CSS学习教程Position定位属性…

JAVA进阶开发之(String字符串的存储原理)

我们现在开始学习的就是一些工具类 这些工具类只需要我们学会查阅帮助文档进行开发就可以实现很多功能 例如&#xff1a;我们查看工具类String 关于java JDK中内置的一个类&#xff1a;java.lang.String 1、String表示字符串类型&#xff0c;属于引用数据类型&#xff0c;不属…

sqlmap使用_sqlmap于sql labs下使用

本文主要是写sqlmap在sql labs下的使用学习记录&#xff0c;目的在于模拟黑盒测试&#xff0c;不太在意原理。&#xff08;当然&#xff0c;原理还是要学习好才这么干的。&#xff09;不得不说收获还是蛮大的。首先推荐下sqlmap使用的学习视频。1-9&#xff1a;python sqlmap.p…

cad解除块的快捷命令_47个快捷键50个CAD技巧,快收藏起来

终于知道为什么别人用CAD总比我快了&#xff0c;原来他们早就掌握了这些实用的CAD技巧&#xff0c;还没看完我就默默地转了&#xff0c;总有用得到的时候。0147个快捷键1. 创建直线的快捷方式是L空格2. 创建圆的快捷方式是C空格3. 创建圆弧的快捷方式是A空格4. 创建矩形的快捷方…

JAVA进阶教学之(String类的构造方法)

试题&#xff1a; 问&#xff1a;以下程序一共创建了几个对象 public class StringTest03 {public static void main(String[] args) {String s1new String("aaa");String s2new String("aaa");} }答&#xff1a;一共创建了3个对象 1个对象是"aaa&…

python 栈实现_Python实现栈

class Node(object): def __init__(self, valueNone, prevNone, nextNone): self.value, self.prev, self.next value, prev, next class CirculaDoubleLinkedList(object): def __init__(self, msxsizeNone): # msxsizeNone代表无限大 self.maxsize msxsize node Node() no…

机器人的自述作文_机器人的自述作文600字

大家好&#xff0c;我是小智伴机器人&#xff0c;今年已经两岁半了&#xff0c;我是人类的好朋友&#xff0c;好助手。我的样子有点像足球&#xff0c;更像热播电影《奇迹男孩》中那个小男孩戴上了宇宙员头盔&#xff0c;圆圆的白色大脑袋&#xff0c;再配上深蓝色的外罩&#…

JAVA进阶教学之(String类的常用方法)

接下来我们进入的学习章程&#xff0c;就是可以通过查阅帮助文档进行实际的应有 1. charcharAt(int index) 返回指定索引的 char价值。 代码示例&#xff1a; public class StringTest04 {public static void main(String[] args) {//String中常用的方法//“中国人”是一个…

sql having是什么意思_图解sql面试题:如何查找重复数据?

【题目】编写一个SQL查询&#xff0c;查找学生表中所有重复的学生名。【解题思路】1.看到“找重复”的关键字眼&#xff0c;首先要用分组函数&#xff08;group by&#xff09;&#xff0c;再用聚合函数中的计数函数count()给姓名列计数。2. 分组汇总后&#xff0c;生成了一个如…

php soecket服务器搭建_PHP socket 服务器框架集

1.Swoole&#xff1a;重新定义PHPPHP语言的高性能网络通信框架&#xff0c;提供了PHP语言的异步多线程服务器&#xff0c;异步TCP/UDP网络客户端&#xff0c;异步MySQL&#xff0c;数据库连接池&#xff0c;AsyncTask&#xff0c;消息队列&#xff0c;毫秒定时器&#xff0c;异…

JAVA进阶教学之(StrngBuffer进行字符串拼接)

使用StringBuffer字符串拼接目的就是为了让字符串占用的内存空间减少&#xff0c;提高效率 思考&#xff1a;我们在实际的开发中&#xff0c;如果需要进行字符串的频繁拼接&#xff0c;会有什么问题&#xff1f; 答案&#xff1a; 因为java中的字符串是不可变的&#xff0c;每一…

python网站框架下载_web.py首页、文档和下载 - Python框架 - OSCHINA - 中文开源技术交流社区...

web.py是一个小巧灵活的Python框架&#xff0c;它简单而且功能强大。 webpy的设计理念力求精简&#xff08;Keep it simple and powerful&#xff09;&#xff0c;源码很简短&#xff0c;只提供一个框架所必须的东西&#xff0c;不依赖大量的第三方模块&#xff0c;它没有URL路…

拼装机器人感想_学习制作机器人的感想作文500字15篇

第1篇&#xff1a;我的理想-NS-5机器人在科学历史上&#xff0c;有许多的科学家。他们为人类创造了永远的精神财富和物质财富。我的理想&#xff0c;就是当一个科学家&#xff0c;发明一个机器人。它的名字叫NS-5它高度180公分&#xff0c;耐久钛金属外壳&#xff0c;具456个活…

JAVA进阶教学之(StringBuider进行字符串拼接)

这一章节我们学习到的是StringBuider进行字符串拼接&#xff0c;有同学们问&#xff0c;为什么学了StringBuffer字符串拼接后还要看这个&#xff0c;下面我们来说道说道 代码演示&#xff1a; public class StringTest06 {public static void main(String[] args) {StringBui…

javamail 解码 base64 html格式邮件_python使用QQ邮箱实现自动发送邮件

最近用到Python自动发送邮件&#xff0c;主要就是三步&#xff0c;登录邮件、写邮件内容、发送&#xff0c;用到的库是 smtplib 和 email&#xff0c;直接使用pip安装即可我使用的是QQ邮箱&#xff0c;首先需要设置QQ邮箱POP3/SMTP服务记住这个授权码&#xff0c;这个授权码就是…

JAVA进阶教学之(8种包装类)

代码演示&#xff1a; public class IntegerTest01 {public static void main(String[] args) {//把100这个数字经过构造方法包装成对象MyInt myInt new MyInt(100);//doSome()方法虽然不能直接传100,但是可以传一个100对应的包装类型IntegerTest01.doSome(myInt);}public sta…

java 线程状态_面试官问:为什么Java线程没有Running状态?我懵了

点击上方“占小狼的博客”&#xff0c;选择“设为星标“本文阅读时间大约4分钟。来源&#xff1a;https://dwz.cn/dLRLBZabJava虚拟机层面所暴露给我们的状态&#xff0c;与操作系统底层的线程状态是两个不同层面的事。具体而言&#xff0c;这里说的 Java 线程状态均来自于 Thr…

ubuntu 设置开机执行脚本_Ubuntu 16.04设置rc.local开机启动命令/脚本的方法

注意&#xff1a;rc.local脚本里面启动的用户默认为root权限。一、rc.local脚本rc.local脚本是一个Ubuntu开机后会自动执行的脚本&#xff0c;我们可以在该脚本内添加命令行指令。该脚本位于/etc/路径下&#xff0c;需要root权限才能修改。该脚本具体格式如下&#xff1a;#!/bi…