【数据结构与算法】【算法思想】分治算法

贪心算法
回溯算法
分治算法
动态规划

MapReduce本质就是分治算法,是Google大数据处理的三驾马车之一,另外两个是GFS和Bigtable。它在倒排索引,PageRank计算,网页分析等搜索引擎相关的技术中都有大量的应用。
MapReduce 框架只是一个任务调度器,底层依赖 GFS 来存储数据,依赖 Borg 管理机器。它从 GFS 中拿数据,交给 Borg 中的机器执行,并且时刻监控机器执行的进度,一旦出现机器宕机、进度卡壳等,就重新从 Borg 中调度一台机器执行。

一:如何理解分治算法

1,分治算法的核心思想其实就是四个字,分而治之,将原问题划分成n个规模较小,并且结构与原问题相似的子问题,递归地解决这些子问题,然后在合并其结果,就得到原问题的解。

2,分治算法的定义类似于递归,但区别在于:分治算法是一种处理问题的思想,递归是一种编程技巧。

3,分治算法一般都比较适合递归来实现,分治算法的递归实现中,每一层递归都会涉及这样的三个操作:
分解:将原问题分解成一系列子问题;
解决:递归地求解各个子问题,若子问题足够小,则直接求解;
合并:将子问题的结果合并成原问题;

4,分治算法能解决的问题,一般需要满足下面这几个条件:
原问题与分解成的小问题具有相同的模式;
原问题分解成的子问题可以独立求解,子问题之间没有相关性,这一点是分治算法跟动态规划的明显区别,
 具有分解终止条件,即当问题足够小时,可以直接求解。
 可以将子问题合并成原问题,而这个操作的复杂度不能太高,否则就起不到减小算法总体复杂度的效果。

二:分治算法应用举例分析

假设有n个数据,期望数据从小到大排序,那完全有序的数据的有序度就是n(n-1)/2。逆序度等于0;相反,倒序排序的数据的有序度就是0,逆序度是n(n-1)/2。除了这两中极端情况外,我们通过计算有序对或逆序对的个数,来表示数据的有序度或逆序度。

现在问:如何编程求出数组中的数据有序对个数或逆序对个数?
1,最简单的办法:拿每个数字和他后面的数字比较,看有几个比它小。将比它小的数字个数记作k,通过这样的方式,把每个数字都考察一遍后,对每个数字对应的k值求和,最后得到的总和就是逆序对个数。但时间复杂度是O(n^2)。
2,用分治算法,套用分治的思想,将书中分成前后两半A1和A2,分别两者中的逆序对数,然后在计算A1和A2之间的逆序对个数k3。那整个数组的逆序对个数就是k1+k2+k3。
要快速计算出两个子问题A1和A2之间的逆序对个数需要借助归并排序算法
归并排序算法有个非常关键的操作,即将两个有序的小数组,合并成一个有序的数组。实际上,在合并的过程中,就可以计算这两个小数组的逆序对个数。每次合并操作,都计算逆序对个数,把这些计算出来的逆序对个数求和,就是这个数组的逆序对个数。
在这里插入图片描述


private int num = 0; // 全局变量或者成员变量public int count(int[] a, int n) {num = 0;mergeSortCounting(a, 0, n-1);return num;
}private void mergeSortCounting(int[] a, int p, int r) {if (p >= r) return;int q = (p+r)/2;mergeSortCounting(a, p, q);mergeSortCounting(a, q+1, r);merge(a, p, q, r);
}private void merge(int[] a, int p, int q, int r) {int i = p, j = q+1, k = 0;int[] tmp = new int[r-p+1];while (i<=q && j<=r) {if (a[i] <= a[j]) {tmp[k++] = a[i++];} else {num += (q-i+1); // 统计p-q之间,比a[j]大的元素个数  !!!! 统计tmp[k++] = a[j++];}}while (i <= q) { // 处理剩下的tmp[k++] = a[i++];}while (j <= r) { // 处理剩下的tmp[k++] = a[j++];}for (i = 0; i <= r-p; ++i) { // 从tmp拷贝回aa[p+i] = tmp[i];}
}

三:分治思想在海量数据处理中的应用

假设,给10GB的订单文件按照金额排序这样一个需求,看似是一个简单的排序问题,但是因为数据量大,有10GB,而我们的机器的内存可能只有2,3GB这样子,无法一次性加载到内存,也就无法通过单纯地使用快排,归并等基础算法来解决。

要解决这种数据量大到内装不下的问题,我们就可以利用分治的思想,将海量的数据集合根据某种方法,划分为几个小的数据集合,每个小的数据集合单独加载到内存来解决,然后在将小数据集合合并成大数据集合,实际上利用这种分治的处理思路,不仅能克服内存的限制,还能利用多线程或者多机处理,加快处理的速度。

采用分治思想的算法:快排、合并排序、桶排、基数排序、二分查找、递归树、数据库分片、MapReduce

创新的源泉来自对事物本质的认识,无数优秀架构设计的思想来源都是基础的数据结构和算法。

笔记整理来源: 王争 数据结构与算法之美

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/424827.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第六十六期:软件架构之道的一次感悟

张泰峰 6月3日 写在前面 2019悄悄溜走一半&#xff0c;无论是离别的忧愁&#xff0c;还是成长路途的艰辛&#xff0c;都在心中滚烫。 距离上一篇文章已经很久了... 懒惰的博主不能将这一切归结于我的时间、我的规划、我的工作&#xff0c;只能怪自己懒......正所谓学如逆水行…

[Leetcode][第332题][JAVA][重新安排行程][欧拉回路 / 欧拉通路][优先队列][DFS]

【问题描述】[中等] 【解答思路】 递归 复杂度 class Solution {Map<String, PriorityQueue<String>> map new HashMap<String, PriorityQueue<String>>();List<String> itinerary new LinkedList<String>();public List<String&g…

不会配置HTTPS?给我5分钟,手把手教你

本文针对不会配置HTTPS或者小白开发着&#xff0c;请大佬们自动忽略。非广告&#xff0c;心得分享&#xff0c;勿喷&#xff0c;谢谢。 正文开始 01、关于 FreeSSL.cnFreeSSL.cn 是一个免费提供 HTTPS 证书申请、HTTPS 证书管理和 HTTPS 证书到期提醒服务的网站&#xff0c;旨在…

第三十三期:使用wireshark抓包分析-抓包实用技巧

杰哥很忙 7月9日 前言 本文整理一下日常抓包使用的一些方法及抓包分析的一些方法。 本文基于wireshark2.2.6版本进行抓包处理。其他版本使用方式大同小异。 自定义捕获条件 wireshark可以将抓包数据保存到硬盘上。若需要长时间抓包的话&#xff0c;需要防止内存过大&#x…

Floyd判圈算法

leetcode习题287 Find the Duplicate Number 在答案中看到了floyd’s tortoise and hare 算法&#xff0c;知道了如果有限状态机、迭代函数或者链表存在环&#xff0c;那么是需要算法检测环是否存在。检测算法有三种:Floyd龟兔算法、Brent算法、Gosper算法。 Floyd龟兔算法 算…

Idea debug时报错:Command line is too long

问题&#xff1a;git pull下的项目&#xff0c;debug时&#xff0c;报错如下图 解决方法 在项目/.idea/workspace.xml文件中添加一行代码如下 <component name"PropertiesComponent">...<property name"dynamic.classpath" value"true"…

第三十四期:一次非常有意思的sql优化经历

风过无痕的博客 6月24日 场景 我用的数据库是mysql5.6&#xff0c;下面简单的介绍下场景 课程表&#xff1a; create table Course(c_id int PRIMARY KEY,name varchar(10)) 数据100条 学生表: create table Student(id int PRIMARY KEY,name varchar(10)) 数据70000条…

[Leetcode][第657题][JAVA][机器人能否返回原点][数组][HashMap]

【问题描述】[简单] 【解答思路】 遍历方向 看是否回到原点 或者 “上下” “左右”两个方向的数量是否相等 1. 方向 时间复杂度&#xff1a;O(N) 空间复杂度&#xff1a;O(1) class Solution {public boolean judgeCircle(String moves) {int x 0,y 0;int len moves.len…

2019 DDCTF 部分writeup

网上的wp已经很多了&#xff0c;但wp普遍很简略。我尽量写的详细一点。 一、WEB 滴~ 拿到题目后首先右键查看源代码&#xff0c;发现图片是以base64传送的 而且看url发现里面应该是包含了文件名&#xff0c;并且用了某个编码。测试过后是转16进制ascii码后两层bases64 &#xf…

[Leetcode][第322题][JAVA][零钱兑换][回溯][记忆化搜索][动态规划]

【问题描述】[中等] 【解答思路】 1. 递归&#xff08;超时&#xff09; class Solution {int res Integer.MAX_VALUE;public int coinChange(int[] coins, int amount) {if(coins.length 0){return -1;}findWay(coins,amount,0);// 如果没有任何一种硬币组合能组成总金额&…

用BST解决729. My Calendar I 731. My Calendar II 732. My Calendar III

My Calendar的book方法实现指定开始时间、结束时间&#xff0c;在重叠次数要求不同的情况下怎么实现。 729 My Calendar I 要求任意两个事件之间不能重叠。如果要插入的事件和已经插入的事件不重叠&#xff0c;则插入&#xff1b;否则不插入。 731 MyCalendar II 要求任意三个…

第三十八期:如何在Windows 10上使用Windows Update目录驱动程序安装打印机

尽管Win10能够自动设置大多数打印机&#xff0c;但有时Windows Update可能会在安装设备驱动程序时遇到问题-尤其是在添加较旧的打印机时。 作者&#xff1a;佚名来源&#xff1a;Win10系统之家 图片来源&#xff1a;伏天氏(m.futianshuwu.com) 伏天书屋(futianshuwu.com)10月…

376 Wiggle Subsequence 贪心解法以及证明

376. Wiggle Subsequence 题目理解 给定一个数组&#xff0c;相邻两个数计算差值。差值排成的序列是正负相间的&#xff0c;那这个数组就是一个wiggle 数组。例如数组[1,7,4,9,2,5]&#xff0c;差值序列是(6,-3,5,-7,3)。原数组用坐标轴表示如下。 思路是&#xff1a;在一段…

【数据结构与算法】【算法思想】动态规划

贪心算法 回溯算法 分治算法 动态规划 贪心&#xff1a;一条路走到黑&#xff0c;就一次机会&#xff0c;只能哪边看着顺眼走哪边 回溯&#xff1a;一条路走到黑&#xff0c;无数次重来的机会&#xff0c;还怕我走不出来 (Snapshot View) 动态规划&#xff1a;拥有上帝视角&am…

第六十七期:Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

获取数据,其实逻辑并不复杂&#xff1a;爬取歌单列表里的所有歌单url、进入每篇歌单爬取所有歌曲url&#xff0c;去重、进入每首歌曲首页爬取热评&#xff0c;汇总。 作者&#xff1a;嗨学python来源&#xff1a;今日头条 获取数据 其实逻辑并不复杂&#xff1a; 爬取歌单列…

【小技巧】字符char与整型int的相互转换

char转int char与int的相互转化&#xff0c;联想ASCII码&#xff0c;字符‘0’对应的值为48&#xff0c;所以不能直接加减‘ ’ char ch9; int ch_intch-0;//此时ch_int9int转char int i9&#xff1b; char i_chi0;//此时i_ch9必须牢记的ASCII

第四十期:九个对Web开发者最有用的Python包,掌握这些,工资至少能涨涨

Matplotlib&#xff0c;正如其名称所暗示的那样&#xff0c;是一个用来绘制数学函数和模型的库;扩展了Numpy的作用&#xff0c;Matplotlib可以只用几行代码来创建图&#xff0c;条形图&#xff0c;散点图等诸多视觉表现。 作者&#xff1a;Python之眼来源&#xff1a;今日头条…

array专题9

新的一周&#xff0c;新的专题。array的中等难度的题目快要结束了。能感觉到进步&#xff0c;也依然能感觉到吃力。加油。 31 Next Permutation 思路&#xff1a;读懂了题意&#xff0c;知道是要求下一个排列数是什么。如果已经到最后一个了&#xff0c;那就返回最小的那个。…

[Leetcode][第214题][JAVA][最短回文串][KMP][RK]

【问题描述】[中等] 【解答思路】 1. 字符串哈希 复杂度 class Solution {public String shortestPalindrome(String s) {int n s.length();int base 131, mod 1000000007;int left 0, right 0, mul 1;int best -1;for (int i 0; i < n; i) {left (int) (((long)…

坏掉的项链Broken Necklace

题目描述 你有一条由N个红色的&#xff0c;白色的&#xff0c;或蓝色的珠子组成的项链(3<N<350)&#xff0c;珠子是随意安排的。 这里是 n29 的二个例子: 第一和第二个珠子在图片中已经被作记号。 图片 A 中的项链可以用下面的字符串表示&#xff1a; brbrrrbbbrrrrrbrrb…