受到Davide的(伟大)答案的启发,这是一个示例,一种使用简单反应(我写的我的库)并行化此方法的简便方法。请注意,使用客户端来驱动服务器上的并发性稍有不同。
例
LazyReact streamBuilder = new LazyReact(15,15);streamBuilder.fromIterable(urlRequests) .filter(urlReq->!validateRequests.isWhitelisted(urlReq)) .forEach(request -> {ContentDetectionClient.detectContent(request); });
说明
看起来您可以从客户端驱动并发。这意味着您可以在服务器端的线程之间分配工作,而无需执行其他工作。在此示例中,我们发出了15个并发请求,但您可以将其设置为接近服务器可以处理的最大值。您的应用程序是IO绑定,因此您可以使用很多线程来提高性能。
简单反应可作为期货之源。因此,在这里我们为对ContentDetection客户端的每次调用创建一个异步任务。我们有15个可用线程,因此可以一次对服务器进行15次调用。
Java 7
Java的JDK
8功能有一个反向移植,称为StreamSupport,您也可以通过RetroLambda反向移植Lambda表达式。
为了用CompletableFutures实现相同的解决方案,我们可以为每个合格的URL创建一个Future Task。 更新
我认为我们不需要批处理它们,我们可以使用执行器来限制活跃期货的数量。我们只需要在最后加入所有这些。
Executor exec = Executors.newFixedThreadPool(maxActive);//15 threads List<CompletableFuture<Void>> futures= new ArrayList<>(); for (UrlRequest request : urlRequests) { if (!validateRequests.isWhitelisted(request)) { futures.add(CompletableFuture.runAsync(()->ContentDetectionClient.detectContent(request), exec)); } } CompletableFuture.allOf(futures.toArray()).join();
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)