HttpWebRequest使用分块数据很慢

我正在使用HttpWebRequest连接到我内部构建的HTTP服务器。 我的问题是它比通过PostMan( https://chrome.google.com/webstore/detail/postman-rest-client/fdmmgilgnpjigdojojpjoooidkmcomcm?hl=en )连接到服务器要慢很多,这可能正在使用Chrome中的内置function可以请求数据。

服务器是在MSDN( http://msdn.microsoft.com/en-us/library/dxkwh6zw.aspx )上使用此示例构建的,并使用64的缓冲区大小。请求是一个HTTP请求,其中包含一些数据。

当通过PostMan连接时,请求被分成一堆块,并且多次调用BeginRecieve(),每次接收64B并花费大约2毫秒。 除了最后一个,收到少于64B。

但是当使用HttpWebRequest与我的客户端连接时,第一个BeginRecieve()回调接收64B并且大约需要1毫秒,以下只接收47B并且需要大约200毫秒,最后第三个接收大约58B并且花费2毫秒。

第二个BeginRecieve有什么用? 我注意到,一旦我开始将数据写入HttpWebRequest输入流,就建立了连接,但是在我调用GetResponse()之前,数据接收才开始。

这是我的HttpWebRequest代码:

var request = (HttpWebRequest)WebRequest.Create(url); request.Method = verb; request.Timeout = timeout; request.Proxy = null; request.KeepAlive = false; request.Headers.Add("Content-Encoding", "UTF-8"); System.Net.ServicePointManager.Expect100Continue = false; request.ServicePoint.Expect100Continue = false; if ((verb == "POST" || verb == "PUT") && !String.IsNullOrEmpty(data)) { var dataBytes = Encoding.UTF8.GetBytes(data); try { var dataStream = request.GetRequestStream(); dataStream.Write(dataBytes, 0, dataBytes.Length); dataStream.Close(); } catch (Exception ex) { throw; } } WebResponse response = null; try { response = request.GetResponse(); } catch (Exception ex) { throw; } var responseReader = new StreamReader(rStream, Encoding.UTF8); var responseStr = responseReader.ReadToEnd(); responseReader.Close(); response.Close(); 

我究竟做错了什么? 为什么它的行为与来自Web浏览器的HTTP请求的行为有很大不同? 这实际上为我的应用程序增加了200ms的延迟。

这看起来像Nagle算法与TCP延迟确认冲突的典型情况。 在你的情况下,你发送一个小的Http请求(根据你的号码约170字节)。 这可能小于MSS(最大段大小),这意味着Nagle算法将启动。服务器可能延迟ACK,导致延迟高达500毫秒。 请参阅链接了解详情

您可以通过ServicePointManager.UseNagleAlgorithm = false禁用Nagle(在发出第一个请求之前),请参阅MSDN 。

另请参阅Nagle的算法对小请求不友好的详细讨论,包括Wireshark分析。

注意:在您的回答中,当您执行write-write-read时,您遇到了相同的情况。 当您切换到写入读取时,您可以解决此问题。 但是我不相信你可以指示HttpWebRequest(或HttpClient)将小请求作为单个TCP写操作发送。 在某些情况下,这可能是一个很好的优化。 虽然它可能会导致一些额外的arrays复制,从而对性能产生负面影响。

200ms是Nagle算法的典型延迟。 这引起了对服务器或客户端使用Nagling的怀疑。 你说你正在使用MSDN中的一个样本作为服务器……那么你去吧。 使用适当的服务器或禁用Nagling。

假设内置的HttpWebRequest类具有不必要的200ms延迟是不太可能的。 看别处。 查看您的代码以找到问题。

似乎HttpWebRequest真的很慢。

有趣的是:我使用套接字实现了自己的HTTP客户端,我发现了为什么HttpWebRequest如此缓慢的线索。 如果我将我的ASCII标头编码到它自己的字节数组并在流上发送它们,然后是从我的数据编码的字节数组,我的基于套接字的HTTP客户端的行为与HttpWebRequest完全相同:首先它用一个数据填充一个缓冲区(部分标题),然后它部分地使用另一个缓冲区(标题的其余部分),等待200毫秒,然后发送其余的数据。

代码:

 TcpClient client = new TcpClient(server, port); NetworkStream stream = client.GetStream(); // Send this out stream.Write(headerData, 0, headerData.Length); stream.Write(bodyData, 0, bodyData.Length); stream.Flush(); 

解决方案当然是在将两个字节数组发送到流上之前附加它们。 我的应用程序现在表现得很好。

具有单个流的代码写入:

 TcpClient client = new TcpClient(server, port); NetworkStream stream = client.GetStream(); var totalData = new byte[headerBytes.Length + bodyData.Length]; Array.Copy(headerBytes,totalData,headerBytes.Length); Array.Copy(bodyData,0,totalData,headerBytes.Length,bodyData.Length); // Send this out stream.Write(totalData, 0, totalData.Length); stream.Flush(); 

HttpWebRequest似乎在我写入请求流之前发送了头文件,所以它可能有点像我的第一个代码示例。 这有意义吗?

希望这对有同样问题的人有帮助!

试试这个:你需要处理你的IDisposables:

 var request = (HttpWebRequest)WebRequest.Create(url); request.Method = verb; request.Timeout = timeout; request.Proxy = null; request.KeepAlive = false; request.Headers.Add("Content-Encoding", "UTF-8"); System.Net.ServicePointManager.Expect100Continue = false; request.ServicePoint.Expect100Continue = false; if ((verb == "POST" || verb == "PUT") && !String.IsNullOrEmpty(data)) { var dataBytes = Encoding.UTF8.GetBytes(data); using (var dataStream = request.GetRequestStream()) { dataStream.Write(dataBytes, 0, dataBytes.Length); } } string responseStr; using (var response = request.GetResponse()) { using (var responseReader = new StreamReader(rStream, Encoding.UTF8)) { responseStr = responseReader.ReadToEnd(); } }