任何人都有任何C＃代码来解析robots.txt并对其进行评估
简短的问题：
有没有人有任何C＃代码来解析robots.txt，然后针对它评估URL，所以看看它们是否会被排除。
长问题：
我一直在为一个尚未发布到谷歌的新网站创建一个站点地图。 站点地图有两种模式，用户模式（如传统站点地图）和“管理员”模式。
管理模式将显示网站上所有可能的URL，包括特定外部合作伙伴的自定义条目URL或URL，例如example.com/oprah以便在Oprah上看到我们网站的任何人。 我想跟踪Excel电子表格以外的其他地方发布的链接。
我不得不假设有人可能会在他们的博客或某个地方发布/oprah链接。 我们实际上并不希望将这个“迷你oprah网站”编入索引，因为这会导致非oprah观众能够找到特殊的Oprah优惠。
因此，在我创建站点地图的同时，我还添加了诸如/oprah URL，以便从我们的robots.txt文件中排除。
然后 （这是实际问题）我认为“能够在站点地图上显示文件是否被索引并且对机器人可见”不是很好。 这很简单 – 只需解析robots.txt然后评估一个链接。
然而，这是一个“奖励function”，我当然没有时间去写它（甚至认为它可能不那么复杂） – 所以我想知道是否有人已经编写任何代码来解析robots.txt？
讨厌说，但只是谷歌“C＃robots.txt解析器”，然后点击第一个命中。 这是一篇关于用C＃实现的简单搜索引擎的CodeProject文章，名为“Searcharoo” ，它包含一个类Searcharoo.Indexer.RobotsTxt，描述如下：
- 检查并在网站上下载并解析robots.txt文件（如果有）
- 为Spider提供一个界面，以根据robots.txt规则检查每个Url
我喜欢http://code.google.com/p/robotstxt/中的代码和测试会将其作为起点推荐。