用于目录遍历的任务并行库

我想遍历我的硬盘上的目录，并在所有文件中搜索特定的搜索字符串。 这听起来像是可以（或应该）并行完成的完美候选者，因为IO相当慢。

传统上，我会编写一个递归函数来查找和处理当前目录中的所有文件，然后递归到该目录中的所有目录。 我想知道如何将其修改为更平行。 起初我简单地修改了：

foreach (string directory in directories) { ... } 

至

 Parallel.ForEach(directories, (directory) => { ... }) 

但是我觉得这可能会创建太多任务并使自己陷入困境，尤其是在尝试重新分配到UI线程时。 我也觉得任务的数量是不可预测的，这可能不是一个有效的平行（这是一个词？）这个任务的方法。

以前有没有人成功完成过这样的事情？ 这样做有什么建议？

Answer 1

不，这听起来并不是并行的好选择，因为IO很慢。 你将成为磁盘绑定。 假设你只有一个磁盘，你真的不想让它同时寻找多个不同的地方。

这有点像试图将多个软管连接到同一个水龙头以便更快地排出水 – 或者尝试在单个核心上运行16个CPU绑定线程:)