服务器之家:专注于VPS、云服务器配置技术及软件下载分享
分类导航

PHP教程|ASP.NET教程|Java教程|ASP教程|编程技术|正则表达式|C/C++|IOS|C#|Swift|Android|VB|R语言|JavaScript|易语言|vb.net|

服务器之家 - 编程语言 - 编程技术 - 什么?用@Async会内存溢出?看看你的线程池配置了没!

什么?用@Async会内存溢出?看看你的线程池配置了没!

2021-09-18 01:23程序猿DD翟永超 编程技术

如果只是如前文那样直接简单的创建来使用,可能还是会碰到一些问题。存在有什么问题呢?先来思考下,下面的这个接口,通过异步任务加速执行的实现,是否存在问题或风险呢?

什么?用@Async会内存溢出?看看你的线程池配置了没!

上一篇我们介绍了如何使用@Async注解来创建异步任务,我可以用这种方法来实现一些并发操作,以加速任务的执行效率。但是,如果只是如前文那样直接简单的创建来使用,可能还是会碰到一些问题。存在有什么问题呢?先来思考下,下面的这个接口,通过异步任务加速执行的实现,是否存在问题或风险呢?

  1. @RestController
  2. publicclassHelloController{
  3.  
  4. @Autowired
  5. privateAsyncTasksasyncTasks;
  6.  
  7. @GetMapping("/hello")
  8. publicStringhello(){
  9. //将可以并行的处理逻辑,拆分成三个异步任务同时执行
  10. CompletableFuturetask1=asyncTasks.doTaskOne();
  11. CompletableFuturetask2=asyncTasks.doTaskTwo();
  12. CompletableFuturetask3=asyncTasks.doTaskThree();
  13.  
  14. CompletableFuture.allOf(task1,task2,task3).join();
  15. return"HelloWorld";
  16. }
  17. }

虽然,从单次接口调用来说,是没有问题的。但当接口被客户端频繁调用的时候,异步任务的数量就会大量增长:3 x n(n为请求数量),如果任务处理不够快,就很可能会出现内存溢出的情况。那么为什么会内存溢出呢?根本原因是由于Spring Boot默认用于异步任务的线程池是这样配置的:

什么?用@Async会内存溢出?看看你的线程池配置了没!

图中我标出的两个重要参数是需要关注的:

  • queueCapacity:缓冲队列的容量,默认为INT的最大值(2的31次方-1)。
  • maxSize:允许的最大线程数,默认为INT的最大值(2的31次方-1)。

所以,默认情况下,一般任务队列就可能把内存给堆满了。所以,我们真正使用的时候,还需要对异步任务的执行线程池做一些基础配置,以防止出现内存溢出导致服务不可用的问题。

配置默认线程池

默认线程池的配置很简单,只需要在配置文件中完成即可,主要有以下这些参数:

  1. spring.task.execution.pool.core-size=2
  2. spring.task.execution.pool.max-size=5
  3. spring.task.execution.pool.queue-capacity=10
  4. spring.task.execution.pool.keep-alive=60s
  5. spring.task.execution.pool.allow-core-thread-timeout=true
  6. spring.task.execution.shutdown.await-termination=false
  7. spring.task.execution.shutdown.await-termination-period=
  8. spring.task.execution.thread-name-prefix=task-

具体配置含义如下:

  • spring.task.execution.pool.core-size:线程池创建时的初始化线程数,默认为8
  • spring.task.execution.pool.max-size:线程池的最大线程数,默认为int最大值
  • spring.task.execution.pool.queue-capacity:用来缓冲执行任务的队列,默认为int最大值
  • spring.task.execution.pool.keep-alive:线程终止前允许保持空闲的时间
  • spring.task.execution.pool.allow-core-thread-timeout:是否允许核心线程超时
  • spring.task.execution.shutdown.await-termination:是否等待剩余任务完成后才关闭应用
  • spring.task.execution.shutdown.await-termination-period:等待剩余任务完成的最大时间
  • spring.task.execution.thread-name-prefix:线程名的前缀,设置好了之后可以方便我们在日志中查看处理任务所在的线程池

动手试一试

我们直接基于之前chapter7-5的结果来进行如下操作。

首先,在没有进行线程池配置之前,可以先执行一下单元测试:

  1. @Test
  2. publicvoidtest1()throwsException{
  3. longstart=System.currentTimeMillis();
  4.  
  5. CompletableFuturetask1=asyncTasks.doTaskOne();
  6. CompletableFuturetask2=asyncTasks.doTaskTwo();
  7. CompletableFuturetask3=asyncTasks.doTaskThree();
  8.  
  9. CompletableFuture.allOf(task1,task2,task3).join();
  10.  
  11. longend=System.currentTimeMillis();
  12.  
  13. log.info("任务全部完成,总耗时:"+(end-start)+"毫秒");
  14. }

由于默认线程池的核心线程数是8,所以3个任务会同时开始执行,日志输出是这样的:

  1. 2021-09-1500:30:14.819INFO77614---[task-2]com.didispace.chapter76.AsyncTasks:开始做任务二
  2. 2021-09-1500:30:14.819INFO77614---[task-3]com.didispace.chapter76.AsyncTasks:开始做任务三
  3. 2021-09-1500:30:14.819INFO77614---[task-1]com.didispace.chapter76.AsyncTasks:开始做任务一
  4. 2021-09-1500:30:15.491INFO77614---[task-2]com.didispace.chapter76.AsyncTasks:完成任务二,耗时:672毫秒
  5. 2021-09-1500:30:19.496INFO77614---[task-3]com.didispace.chapter76.AsyncTasks:完成任务三,耗时:4677毫秒
  6. 2021-09-1500:30:20.443INFO77614---[task-1]com.didispace.chapter76.AsyncTasks:完成任务一,耗时:5624毫秒
  7. 2021-09-1500:30:20.443INFO77614---[main]c.d.chapter76.Chapter76ApplicationTests:任务全部完成,总耗时:5653毫秒

接着,可以尝试在配置文件中增加如下的线程池配置

  1. spring.task.execution.pool.core-size=2
  2. spring.task.execution.pool.max-size=5
  3. spring.task.execution.pool.queue-capacity=10
  4. spring.task.execution.pool.keep-alive=60s
  5. spring.task.execution.pool.allow-core-thread-timeout=true
  6. spring.task.execution.thread-name-prefix=task-

日志输出的顺序会变成如下的顺序:

  1. 2021-09-1500:31:50.013INFO77985---[task-1]com.didispace.chapter76.AsyncTasks:开始做任务一
  2. 2021-09-1500:31:50.013INFO77985---[task-2]com.didispace.chapter76.AsyncTasks:开始做任务二
  3. 2021-09-1500:31:52.452INFO77985---[task-1]com.didispace.chapter76.AsyncTasks:完成任务一,耗时:2439毫秒
  4. 2021-09-1500:31:52.452INFO77985---[task-1]com.didispace.chapter76.AsyncTasks:开始做任务三
  5. 2021-09-1500:31:55.880INFO77985---[task-2]com.didispace.chapter76.AsyncTasks:完成任务二,耗时:5867毫秒
  6. 2021-09-1500:32:00.346INFO77985---[task-1]com.didispace.chapter76.AsyncTasks:完成任务三,耗时:7894毫秒
  7. 2021-09-1500:32:00.347INFO77985---[main]c.d.chapter76.Chapter76ApplicationTests:任务全部完成,总耗时:10363毫秒
  • 任务一和任务二会马上占用核心线程,任务三进入队列等待
  • 任务一完成,释放出一个核心线程,任务三从队列中移出,并占用核心线程开始处理

注意:这里可能有的小伙伴会问,最大线程不是5么,为什么任务三是进缓冲队列,不是创建新线程来处理吗?这里要理解缓冲队列与最大线程间的关系:只有在缓冲队列满了之后才会申请超过核心线程数的线程来进行处理。所以,这里只有缓冲队列中10个任务满了,再来第11个任务的时候,才会在线程池中创建第三个线程来处理。这个这里就不具体写列子了,读者可以自己调整下参数,或者调整下单元测试来验证这个逻辑。

原文链接:https://mp.weixin.qq.com/s/1LgXMWS26vJvfakrA24rNg

延伸 · 阅读

精彩推荐
  • 编程技术从Context源码实现谈React性能优化

    从Context源码实现谈React性能优化

    这篇文章主要介绍Context的实现原理,源码层面掌握React组件的render时机,从而写出高性能的React组件,源码层面了解shouldComponentUpdate、React.memo、PureComponen...

    魔术师卡颂5312020-12-20
  • 编程技术2021年值得关注的React PDF 库

    2021年值得关注的React PDF 库

    今天,许多网络应用程序为其用户提供内置的PDF浏览选项。然而,选择一个并不容易,因为它们的功能远远超过显示PDF。在这篇文章中,我将评估5个React的...

    TianTianUp5232021-06-21
  • 编程技术Delphi - Indy idMessage和idSMTP实现邮件的发送

    Delphi - Indy idMessage和idSMTP实现邮件的发送

    这篇文章主要介绍了Delphi - Indy idMessage和idSMTP实现邮件的发送,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下...

    JJ_JeremyWu6592020-09-22
  • 编程技术让开发效率倍增的 VS Code 插件

    让开发效率倍增的 VS Code 插件

    今天来分享一些提升开发效率的实用 VS Code 插件!Better Comments 扩展可以帮助我们在代码中创建更人性化的注释,有不同形式和颜色的注释供我们选择。 ...

    前端充电宝7132022-04-21
  • 编程技术简单、好懂的Svelte实现原理

    简单、好懂的Svelte实现原理

    本文会围绕一张流程图和两个Demo讲解,正确的食用方式是用电脑打开本文,跟着流程图、Demo一边看、一边敲、一边学...

    魔术师卡颂4822021-11-10
  • 编程技术AIOps,SRE工程师手中的利器

    AIOps,SRE工程师手中的利器

    AIOps开始成为一种极为重要的站点可靠性工程工具。它能够高效吸纳观察数据、参与数据以及来自第三方工具的数据,判断系统运行状态并保证其处于最佳...

    至顶网5972021-03-08
  • 编程技术用户态 Tcpdump 如何实现抓到内核网络包的?

    用户态 Tcpdump 如何实现抓到内核网络包的?

    在网络包的发送和接收过程中,绝大部分的工作都是在内核态完成的。那么问题来了,我们常用的运行在用户态的程序 tcpdump 是那如何实现抓到内核态的包...

    开发内功修炼11612021-09-08
  • 编程技术真正聪明的程序员,总有办法不加班

    真正聪明的程序员,总有办法不加班

    工作效率提升了,就可以少加班了,聪明的程序员,总会有一堆可以提升编码效率的工具?当一种工具满足不了工作需求,就去探索新的,今天纬小创就给...

    今日头条12482021-03-04