如何防止sockets/端口耗尽?

我试图通过跨多个线程的请求命中它来对网站进行性能测试。 每个线程执行n次。 (在for循环中)

但是,我遇到了问题。 特别是WebException(“无法连接到远程服务器”)与内部exception:

无法执行对套接字的操作,因为系统缺少足够的缓冲区空间或者队列已满,因此127.0.0.1:52395

我试图在每个线程500次迭代时运行100个线程。

最初我在System.Net中使用HttpWebRequest向服务器发出GET请求。 目前我正在使用WebClient因为我假设每次迭代都使用新的套接字(因此在短时间内就会有100 * 500个套接字)。 我假设WebClient(每个线程实例化一次)只会使用一个套接字。

我不需要一次打开50 000个套接字,因为我想发送GET请求,接收响应并关闭套接字,释放它以便在下一个循环迭代中使用。 我明白这将是一个问题

但是,即使使用WebClient,也会请求一堆套接字,从而在TIME_WAIT模式下生成一堆套接字(使用netstat检查)。 这会导致其他应用程序(如Internet浏览器)挂起并停止运行。

我可以用更少的迭代和/或更少的线程来操作我的测试,因为看起来套接字最终会退出这个TIME_WAIT状态。 但是,这不是一个解决方案,因为它没有充分测试Web服务器的function。

题:

在每次线程迭代后如何显式关闭套接字(从客户端)以防止TIME_WAIT状态和套接字耗尽?

码:

包装HttpRequest的类

编辑:在使用中包装WebClient,因此为每次迭代实例化,使用和处理新的WebClient。 问题仍然存在。

  public sealed class HttpGetTest : ITest { private readonly string m_url; public HttpGetTest( string url ) { m_url = url; } void ITest.Execute() { using (WebClient webClient = new WebClient()){ using( Stream stream = webClient.OpenRead( m_url ) ) { } } } } 

我的ThreadWrapperClass创建一个新线程的部分:

 public void Execute() { Action Hammer = () => { for( int i = 1; i <= m_iterations; i++ ) { //Where m_test is an ITest injected through constructor m_test.Execute(); } }; ThreadStart work = delegate { Hammer(); }; Thread thread = new Thread( work ); thread.Start(); } 

你了解TIME_WAIT的目的吗? 这是一段时间,重复使用端口是不安全的,因为之前的事务中丢失的数据包(已成功重新传输)可能仍在该时间段内传递。

你可以在某个地方的注册表中调整它,但我怀疑这是否是明智的下一步。

我在测试环境中创建实际负载的经validation明非常令人沮丧。 当然从localhost运行你的负载测试器绝不是现实的,我使用.net http apis进行的大多数网络测试似乎在客户端需要比服务器本身更多的grunt。

因此,最好转移到第二台机器上,以便在服务器上产生负载…但是,国内路由设备很少能够支持任何接近连接数的地方,这会导致编写良好的服务器上的任何负载应用程序,所以现在您还需要升级您的路由/交换设备!

最后,围绕.net Http客户端API,我遇到了一些非常奇怪和意想不到的性能问题。 在一天结束时,他们都使用HttpWebRequest来完成繁重的工作。 IMO它的性能远远不够。 即使在异步调用API时,DNS也是同步的(尽管如果您只是从单个主机请求,这不是问题),并且在持续使用之后CPU使用量会逐渐增加,直到客户端变为CPU受限而不是IO约束为止。 如果你想要产生持续和沉重的负载,任何依赖于HttpWebRequest的请求重的应用程序都是IMO的一项虚假投资。

总而言之,这是一项相当棘手的工作,最终只能在野外certificate,除非你有足够的现金花在更好的装备上。

[提示:我使用异步Socket apis和第三方DNS客户端库编写的自己客户端的性能要好得多]

问:如何显式关闭套接字…以防止TIME_WAIT状态?

答:伙计,TIME_WAIT是不可或缺的 – 而且很重要! – TCP / IP本身的一部分!

可以调整操作系统以减少TIME_WAIT(可能会产生负面影响)。

您可以调整操作系统以增加#/临时端口:

这是关于为什么TIME_WAIT存在的链接……以及为什么它是一件好事:

看起来你并没有强迫你的WebClient摆脱它已经分配的资源。 您正在返回的流上执行“使用”,但您的WebClient仍具有资源。

将WebClient实例化包装在using块中,或者在从URL读取后手动调用dispose。

试试这个:

 public sealed class HttpGetTest : ITest { private readonly string m_url; public HttpGetTest( string url ) { m_url = url; } public void ITest.Execute() { using( var m_webClient = new WebClient()) { using( Stream stream = m_webClient.OpenRead( m_url ) ) { } } } } 

这不是关闭套接字或释放应用程序中的资源的问题。 TIME _WAIT是已释放套接字上的TCP堆栈时间,以防止它们重新使用,直到从先前连接到该套接字的任何数据包“遗留”几乎不可能到期为止。

出于测试目的,您可以将等待时间从默认值(几分钟,AFAIK)减少到较小的值。 负载测试服务器时,我将其设置为六秒钟。

它位于注册表的某个地方 – 如果你是Google,你会发现它。

找到了:

更改TIME_WAIT延迟

你不需要乱用TIME_WAIT来完成你想要的东西。

问题是每次调用Execute()时都要处理WebClient。 执行此操作时,关闭与服务器的套接字连接,并且TCP端口在TIME_WAIT期间保持忙碌状态。

更好的方法是在HttpGetTest类的构造函数中创建WebClient,并在整个测试中重用相同的对象。

默认情况下,WebClient使用keep alive,并且会为其所有请求重用相同的连接,因此在您的情况下,只有100个打开的连接。