使用Parallel.ForEach()时防止远程系统过载

我们已经构建了这个需要在远程机器(实际上是MatLab服务器)上完成一些计算的应用程序。 我们使用Web服务连接到MatLab服务器并执行计算。

为了加快速度,我们使用了Parallel.ForEach() ,以便同时进行多个服务调用。 如果我们将ParallelOptions.MaxDegreeOfParallelism (DOP)设置为4或者其他东西非常保守,那么一切都运行良好。 但是,如果我们让框架决定DOP,它将产生如此多的线程,迫使远程机器跪下并开始超时(> 10分钟)。

我们如何解决这个问题? 我能够做的就是使用响应时间来限制呼叫。 如果响应时间小于30秒,请继续添加线程,一旦超过30秒,请使用更少的线程。 有什么建议?

NB与此问题中的响应相关: https : //stackoverflow.com/a/20192692/896697

最简单的方法是调整最佳数量的并发请求和硬编码,就像你到目前为止所做的那样,但是如果你愿意付出一些努力,那么有一些更好的选择。

您可以从Parallel.ForEach移动到使用线程池 。 这样,当事物从远程服务器返回时,您可以手动或以编程方式调整可用线程的数量。 减少/增加可用线程的数量,因为速度减慢/加速,甚至在需要时杀死它们。

您还可以使用Tasks来执行上述变体,这是在.net中执行并行/异步内容的新方法。

另一种选择是使用定时器和/或作业模型每隔x毫秒调度作业,然后可以从服务器返回结果来限制/放宽作业。 最简单的入门方法是使用Quartz.Net 。