10亿数据内筛选最大的100个,要求速度要快。
最近阿里的一道面试题,其实基于多层博弈论,我想我刷过这题,我知道如何偷鸡的。我以为我在第二层,没想到我只在第一层。
第一层
于大顶堆的方式的方式筛选出数组内最
大的k个数。
先看看顶堆的数据结构,其中可以看出0位置是要么就是堆内最大或者最小,然后我们可以利用堆的特性,去把当前的数组的值和这个最大最小进行比较。堆的另外一个特性就是会重排序,参考堆排序算法。
当然你让我现场手写写我肯定是忘了,但是一个开发是可以偷鸡的呀,我们可以直接用优先级队列PriorityQueue
的内部实现就是大顶堆。对于海量数据来说,优先级队列基本就是一个比较合适的答案了。
总数1万个取最大100,快排略快,最小堆偶尔快。
总数10万个取最大100,最小堆略快,快排偶尔快。
总数100万个取最大100,最小堆完胜,快排没戏,而且最小堆大概快了2倍。
总数1000万个取最大100,最小堆完虐,快排没戏,而且最小堆快了大概2倍。
结论:最小堆比快排优秀。
原因:
1.速度确实快。
2.最小堆不需要打乱原数据顺序,而快排会打乱。(并不是快的原因,而是最小堆的优点)
3.如果内存有限,无法加载所有数据,则最小堆快。
以上数据引用自 topK问题最小堆和快排哪个快。所以偷鸡就可以解决第一层的问题。
public int findKthLargest(int[] nums, int k) {
PriorityQueue queue=new PriorityQueue(k,new Comparator() {
@Override
public int compare(Integer o1, Integer o2) {
return o1.compareTo(o2);
}
});
for(int i=0;i<nums.length;i++){
queue.add(nums[i]);
if(queue.size()>k){
queue.poll();
}
}
return queue.peek();
}
这是我leetcode乱写的第k大个数啊。
第二层
面试官对我的偷鸡取巧并不满意啊,他需要我提速,这个速度不行啊。
What??是有时间复杂度更低的吗?不不不,这是一道核心竟然是一道多线程的题目。
- 将10亿的数据分片,通过分治的思维对数据进行第一次处理。
- 开启多线程然后对其进行这些分片的数据进行优先级队列操作。
- 然后每个子线程筛选出其中最大的k个数
- 当所有线程执行完毕之后合并数据
我猜测的第三层
- 是不是考虑下多少个数据一分片,然后如何把效能提升到最高的问题?
- 构建多少个线程读取效率是最高的?
这个都是我没想到的,各位大佬有想法的可以聊一下啊。
题二:一篇文章内的单词数量
这题乍一看卧槽貌似不难,foreach循环碰到一个空格或者标点的情况下sum++,是不是就可以解决这个问题。
然而事情并没有想想的这么简单。面试被问到这种问题最难的是什么,可能是对于这题目真实的边界问题的思考。
- 如果这篇文章内容很大怎么办,会不会把内存吃光?
- 如何给单词去除重复?
是不是可以考虑逐行读取呢?
最后
小编这些年深知大多数初中级Android工程师,想要提升自己,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此我收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人
都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
资料⬅专栏获取
人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人
都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
资料⬅专栏获取