Tag: httpwebresponse streamreader

HTTPWebResponse + StreamReader非常慢

我正在尝试使用HttpWebResponse.GetResponse（）和Streamreader.ReadToEnd（）在C＃中实现有限的Web爬虫（仅限几百个站点），也尝试使用StreamReader.Read（）和循环来构建我的HTML字符串。 我只下载大约5-10K的页面。 一切都很慢！ 例如，平均GetResponse（）时间约为半秒，而平均StreamREader.ReadToEnd（）时间约为5秒！ 所有站点应该非常快，因为它们非常靠近我的位置，并且具有快速的服务器。 （在资源管理器中几乎没有任何东西到D / L），我没有使用任何代理。 我的Crawler有大约20个线程同时从同一站点读取。 这会导致问题吗？ 如何减少StreamReader.ReadToEnd DRASTICALLY？