抓取/模拟浏览帮助

我想制作一个程序来模拟用户浏览网站并点击链接。 必须启用Cookie和JavaScript。 我已经成功地在python中完成了这个,但是我想用可编写的语言编写它(python ide不会删除它)。 网站上的链接是使用javascript生成的,并且是动态的。 使用python我使用PAMIE(使用win32com的第三方模块)来启动Internet Explorer的实例,为链接抓取生成的html,然后导航到其中一个。 关键是整个过程对服务器是透明的。 什么是最好(可编译)的语言和方法来做到这一点? 我正在考虑使用WebBrowser控件进行C#,但如果不能正常工作,我不想花很多时间学习一些东西。 任何forms的帮助表示赞赏!

您可能希望通过浏览器套件查看自动化测试: http: //www.teknologika.com/blog/the-holy-grail-net-automated-web-gui-testing-for-internet-explorer/ http:/ /watin.sourceforge.net/

我在这篇文章中写了一篇博文: .NET中的Web抓取 。 这讨论了cookie而不是JavaScript; 我不知道是否需要额外的编码。

可能值得一看selenium 。

我们在C#asp.net环境中使用它进行Web测试。

文档并不坏