为什么评价算法性能是根据时间和空间复杂度,而不是别的参数?是因为计算机结构是冯诺依曼体系,除了输入输出设备和控制器,就剩下运算器和存储器了

问题引入

搜索引擎的热门搜索排行榜功能是如何实现的?搜索引擎每天会接收大量的用户搜索请求,把这些用户输入的搜索关键词记录下来,然后再离线地统计分析,得到最热门的 Top 10 搜索关键词。假设现在我们有一个包含 10 亿个搜索关键词的日志文件,如何能快速获取到热门榜 Top 10 的搜索关键词呢

堆这种数据结构几个非常重要的应用:优先级队列、求 Top K 和求中位数

堆的应用一:优先级队列

优先级队列

堆的核心功能就是取出堆顶数据!(大顶堆–最大值;小顶堆–最小值)。 使用方法:

1.插入数据,与堆顶比较决定插入与否(比如小顶堆堆顶拿到最小值,若新插入数据比它大,就删掉堆顶最小值,插入新数据,从而堆中保留了TopK);

2.取数据,取最大值/最小值(如优先队列的优先级数值就是大顶堆堆顶即最大值,入队后自下而上堆化得到最新的堆顶,出队时直接出堆顶即可。)

1、优先级队列中,数据的出队顺序不是先进先出,而是按照优先级来,优先级最高的,最先出队

2、用堆来实现是最直接、最高效的

3、往优先级队列中插入一个元素,就相当于往堆中插入一个元素;从优先级队列中取出优先级最高的元素,就相当于取出堆顶元素。

合并有序小文件

假设我们有 100 个小文件,每个文件的大小是 100MB,每个文件中存储的都是有序的字符串。我们希望将这些 100 个小文件合并成一个有序的大文件。这里就会用到优先级队列。

方案一

1、使用一个数组,从这100个文件中各自取出第一个字符串放入数组比较大小,然后将最小的放入合并后的文件中,并从数组中删除。

2、假设最小的字符串来自A文件,那么再从A文件中取出第二个字符串放入比较数组中重新比较大小

3、重复执行步骤1,直到所有文件中数据都放入合并后的大文件

缺点:每次从数组中取最小字符串,都需要循环遍历整个数组

方案二

使用优先级队列(堆)

1、从100个文件中取出第一个元素放到小顶堆中,堆顶元素也即优先级队列队首就是最小字符串。将该字符串放入到合并后最终大文件中,并从堆顶部删除

2、再从小文件中取出下一个元素放入堆顶,循环该过程

3、删除堆顶元素和堆中插入元素的复杂度都是O(logn)

 

高性能的定时器

假设有一个定时器,定时器中维护了很多定时任务,每个任务都设定了一个要触发执行的时间点。定时器每过一个很小的单位时间(比如 1 秒),就扫描一遍任务,看是否有任务到达设定的执行时间。如果到达了,就拿出来执行

29 | 堆的应用:如何快速获取到Top 10最热门的搜索关键词?-编程之家

这种方式的缺点:每过 1 秒就扫描一遍任务列表的做法比较低效,第一,任务的约定执行时间离当前时间可能还有很久,这样前面很多次扫描其实都是徒劳的;第二,每次都要扫描整个任务列表,如果任务列表很大的话,势必会比较耗时。

优化方案

  • 按照任务设定的执行时间,将这些任务存储在优先级队列中,队列首部(也就是小顶堆的堆顶)存储的是最先执行的任务。
  • 拿队首任务的执行时间点,与当前时间点相减,得到一个时间间隔 T
  • 定时器就可以设定在 T 秒之后,再来执行任务。从当前时间点到(T-1)秒这段时间里,定时器都不需要做任何事情
  •  T 秒时间过去之后,定时器取优先级队列中队首的任务执行。然后再计算新的队首任务的执行时间点与当前时间点的差值,把这个值作为定时器执行下一个任务需要等待的时间

利用堆求Top K

一类:静态数据集合

  • 维护一个大小为 K 的小顶堆,顺序遍历数组,从数组中取出数据与堆顶元素比较
  • 如果比堆顶元素大,把堆顶元素删除,并且将这个元素插入到堆中;如果比堆顶元素小,则不做处理,继续遍历数组
  • 最后堆中的数据就是前K大数据

遍历数组需要 O(n) 的时间复杂度,一次堆化操作需要 O(logK) 的时间复杂度,所以最坏情况下,n 个元素都入堆一次,时间复杂度就是 O(nlogK)

二类:动态数据集合

一个数据集合中有两个操作,一个是添加数据,另一个询问当前的前 K 大数据。如果每次询问前 K 大数据,我们都基于当前的数据重新计算的话,那时间复杂度就是 O(nlogK),n 表示当前的数据的大小;

方案

  • 实际上,可以一直维护一个 K 大小的小顶堆,当有数据被添加到集合中时,与堆顶的元素对比。
  • 如果比堆顶元素大,把堆顶元素删除,并且将这个元素插入到堆中;如果比堆顶元素小,则不做处理。
  • 无论任何时候需要查询当前的前 K 大数据,都可以立刻返回给他

利用堆求中位数

如何求动态数据集合中的中位数:中位数就是处在中间位置的那个数。如果数据的个数是奇数,把数据从小到大排列,那第 2n​+1 个数据就是中位数(注意:假设数据是从 0 开始编号的);如果数据的个数是偶数的话,那处于中间位置的数据有两个,第 2n​ 个和第 2n​+1 个数据,这个时候可以随意取一个作为中位数,比如取两个数中靠前的那个,就是第 2n​ 个数据

29 | 堆的应用:如何快速获取到Top 10最热门的搜索关键词?-编程之家

静态数据

对于静态数据,中位数是固定的。可以先排序,第 2n​ 个数据就是中位数。每次询问中位数的时候,直接返回这个固定的值。所以,尽管排序的代价比较大,但是边际成本会很小。

动态数据

动态数据集合,中位数在不停地变动。

需要维护两个堆,一个大顶堆,一个小顶堆。大顶堆中存储前半部分数据,小顶堆中存储后半部分数据,且小顶堆中的数据都大于大顶堆中的数据。如果有 n 个数据,n 是偶数,我们从小到大排序,那前 2n​ 个数据存储在大顶堆中,后 2n​ 个数据存储在小顶堆中。这样,大顶堆中的堆顶元素就是我们要找的中位数。如果 n 是奇数,情况是类似的,大顶堆就存储 2n​+1 个数据,小顶堆中就存储 2n​ 个数据

29 | 堆的应用:如何快速获取到Top 10最热门的搜索关键词?-编程之家

当添加一个数据时候:如何调整两个堆,使得大顶堆中的堆顶数据继续是中位数呢

  • 如果新加入的数据小于等于大顶堆的堆顶元素,将这个新数据插入到大顶堆;否则,将这个新数据插入到小顶堆
  • 可能情况:如果 n 是偶数,两个堆中的数据个数都是 2n​;如果 n 是奇数,大顶堆有 2n​+1 个数据,小顶堆有 2n​ 个数据
  • 这时候需要从一个堆中不停地将堆顶元素移动到另一个堆,通过这样的调整,来让两个堆中的数据满足上面的约定
  • 最终求中位数只需要返回大顶堆的堆顶元素就可以了,所以时间复杂度就是 O(1)。

29 | 堆的应用:如何快速获取到Top 10最热门的搜索关键词?-编程之家

如何快速求接口的 99% 响应时间?

99% 响应时间。如果有 100 个接口访问请求,每个接口请求的响应时间都不同,比如 55 毫秒、100 毫秒、23 毫秒等,我们把这 100 个接口的响应时间按照从小到大排列,排在第 99 的那个数据就是 99% 响应时间,也叫 99 百分位响应时间。

利用两个堆实现。一个大顶堆,一个小顶堆。假设当前总数据的个数是 n,大顶堆中保存 n*99% 个数据,小顶堆中保存 n*1% 个数据。大顶堆堆顶的数据就是我们要找的 99% 响应时间。方法类似前面求中位数

解答开头

一个包含 10 亿个搜索关键词的日志文件,如何快速获取到 Top 10 最热门的搜索关键词呢

多台机器可以采用map-reduce的解决方法

单机环境:

方案一

1、首先统计每个关键词出现频率

2、采用散列表,顺序扫描10亿个关键词,存在次数+1,不存在记录次数为1;遍历完成后散列表中就存储了不重复关键词以及出现次数

3、利用堆求Top K的方法,建立一个小顶堆大小为10,遍历散列表,然后从散列表汇中依次取出每个搜索关键词以及对应的出现次数,与堆顶中的搜索关键词进行对比。大就删除堆顶关键词替换为新的关键词,小于则不作处理

缺点:如果每个搜索关键词的平均长度是 50 个字节,那存储 1 亿个关键词起码需要 5GB 的内存空间,散列表因为要避免频繁冲突,不会选择太大的装载因子,所以消耗的内存空间就更多了。如果机器只有1G内存空间,那么无法一次性将所有关键词加入内存,

方案二

1、创建 10 个空文件 00,01,02,……,09

2、遍历这 10 亿个关键词,通过哈希算法对其求哈希值,然后哈希值同 10 取模,得到的就是搜索关键词应该被分到的文件编号

3、10 亿个关键词分片之后,每个文件都只有 1 亿的关键词,去除掉重复的,可能就只有 1000 万个,每个关键词平均 50 个字节,所以总的大小就是 500MB。1GB 的内存完全可以放得下

4、每个包含 1 亿条搜索关键词的文件,利用散列表和堆,分别求出 Top 10,然后把这个 10 个 Top 10 放在一块,然后取这 100 个关键词中,出现次数最多的 10 个关键词,这就是这 10 亿数据中的 Top 10 最频繁的搜索关键词

总结

优先级队列是一种特殊的队列,优先级高的数据先出队,而不再像普通的队列那样,先进先出。堆就可以看作优先级队列,只是称谓不一样罢了。

求 Top K 问题又可以分为针对静态数据和针对动态数据,只需要利用一个堆,就可以做到非常高效率地查询 Top K 的数据。

求中位数实际上还有很多变形,比如求 99 百分位数据、90 百分位数据等,处理的思路都是一样的,即利用两个堆,一个大顶堆,一个小顶堆,随着数据的动态添加,动态调整两个堆中的数据,最后大顶堆的堆顶元素就是要求的数据。

思考

有一个访问量非常大的新闻网站,我们希望将点击量排名 Top 10 的新闻摘要,滚动显示在网站首页 banner 上,并且每隔 1 小时更新一次。如果你是负责开发这个功能的工程师,你会如何来实现呢?

方案一 1、实时建立散列表,key是新闻的摘要,value是点击量;
2、建立一个10的小顶堆,每隔一个小时扫描一次散列表,根据点击量大小放入到小顶堆中,扫描完散列表后即出现Top10 的新闻点击量。
方案二 1,对每篇新闻摘要计算一个hashcode,并建立摘要与hashcode的关联关系,使用map存储,以hashCode为key,新闻摘要为值
2,按每小时一个文件的方式记录下被点击的摘要的hashCode
3,当一个小时结果后,上一个小时的文件被关闭,开始计算上一个小时的点击top10
4,将hashcode分片到多个文件中,通过对hashCode取模运算,即可将相同的hashCode分片到相同的文件中
5,针对每个文件取top10的hashCode,使用Map<hashCode,int>的方式,统计出所有的摘要点击次数,然后再使用小顶堆(大小为10)计算top10,
6,再针对所有分片计算一个总的top10,最后合并的逻辑也是使用小顶堆,计算top10
7,如果仅展示前一个小时的top10,计算结束
8,如果需要展示全天,需要与上一次的计算按hashCode进行合并,然后在这合并的数据中取top10
9,在展示时,将计算得到的top10的hashcode,转化为新闻摘要显示即可
方案三

1,维护两个散列表,一个是一小时新增的点击量的散列表,以新闻id为键,点击次数为值。一个是全部点击量的散列表。每隔一小时把新增的散列表的数据同步到全部点击量的散列表。然后把这小时内有变化的全部点击量的散列表的数据(即此小时有新增点击量的新闻数据)和我们维护的10个元素小顶堆堆顶进行比较,比堆顶的点击量大的,则使用该元素替换堆顶,再进行堆化。比堆顶点击量小的则不做处理。然后比较完,根据堆顶的10个元素的id,从数据库读取相应的新闻摘要显示在banner上。除此之外,还要把变化后的全部点击量散列表同步到数据库。因为保存的是新闻id,所以散列表长度不会很大,所占用的内存也不会很大。而每个小时新增的访问量的新闻id数也不会很多,毕竟很多人只会阅读热门消息。所以新增的点击量的新闻数据假设为k,则每小时同步小顶堆的时间负责度为o(klg 10);

2018-12-02