Tag: 抓

延迟后屏幕抓取网页

我正在尝试使用C＃抓取一个网页，但是在页面加载之后，它会执行一些javascript，它会将更多元素加载到我需要抓取的DOM中。 标准的scraper只是在加载时抓取页面的html，并且不会获取通过javascript进行的DOM更改。 我如何设置某种function等待一两秒然后获取源？ 这是我目前的代码： private string ScrapeWebpage(string url, DateTime? updateDate) { HttpWebRequest request = null; HttpWebResponse response = null; Stream responseStream = null; StreamReader reader = null; string html = null; try { //create request (which supports http compression) request = (HttpWebRequest)WebRequest.Create(url); request.Pipelined = true; request.Headers.Add(HttpRequestHeader.AcceptEncoding, “gzip,deflate”); if (updateDate != null) request.IfModifiedSince = updateDate.Value; //get […]