从SqlDataReader读取字符串时内存不足
我遇到了一些我无法弄清楚的最奇怪的事情。 我有一个SQL表，其中包含一堆存储在ntext字段中的报告。 当我将其中一个的值复制并粘贴到记事本中并保存它时（使用Visual Studio从不同行中的较小报告中获取值），原始txt文件大约为5Mb。 当我尝试使用SqlDataReader获取相同的数据并将其转换为字符串时，我得到一个内存不足exception。 以下是我尝试这样做的方法：
string output = ""; string cmdtext = "SELECT ReportData FROM Reporting_Compiled WHERE CompiledReportTimeID = @CompiledReportTimeID"; SqlCommand cmd = new SqlCommand(cmdtext, conn); cmd.Parameters.Add(new SqlParameter("CompiledReportTimeID", CompiledReportTimeID)); SqlDataReader reader = cmd.ExecuteReader(); while (reader.Read()) { output = reader.GetString(0); // <--- exception happens here } reader.Close(); 我尝试创建一个对象和一个stringbuilder来获取数据，但我仍然得到相同的内存不足exception。 我也试过使用reader.GetValue（0）.ToString（）也无济于事。 查询只返回1行，当我在SQL Management Studio中运行时，它尽可能快乐。
抛出的exception是：
System.OutOfMemoryException was unhandled by user code Message=Exception of type 'System.OutOfMemoryException' was thrown. Source=mscorlib StackTrace: at System.String.CreateStringFromEncoding(Byte* bytes, Int32 byteLength, Encoding encoding) at System.Text.UnicodeEncoding.GetString(Byte[] bytes, Int32 index, Int32 count) at System.Data.SqlClient.TdsParserStateObject.ReadString(Int32 length) at System.Data.SqlClient.TdsParser.ReadSqlStringValue(SqlBuffer value, Byte type, Int32 length, Encoding encoding, Boolean isPlp, TdsParserStateObject stateObj) at System.Data.SqlClient.TdsParser.ReadSqlValue(SqlBuffer value, SqlMetaDataPriv md, Int32 length, TdsParserStateObject stateObj) at System.Data.SqlClient.SqlDataReader.ReadColumnData() at System.Data.SqlClient.SqlDataReader.ReadColumn(Int32 i, Boolean setTimeout) at System.Data.SqlClient.SqlDataReader.GetString(Int32 i) at Reporting.Web.Services.InventoryService.GetPrecompiledReportingData(DateTime ReportTime, String ReportType) in C:\Projects\Reporting\Reporting.Web\Services\InventoryService.svc.cs:line 3244 at SyncInvokeGetPrecompiledReportingData(Object , Object[] , Object[] ) at System.ServiceModel.Dispatcher.SyncMethodInvoker.Invoke(Object instance, Object[] inputs, Object[]& outputs) at System.ServiceModel.Dispatcher.DispatchOperationRuntime.InvokeBegin(MessageRpc& rpc) InnerException: null
我已经测试了其他似乎有效的行号，但这是误报，因为那些测试ID没有数据。 在查看包含几乎相同的报告的表后，我提取了一些其他测试ID，我得到了相同的exception。 也许它的字符串是如何编码的？ 存储在表中的数据是一个JSON编码的字符串，它是由我在其他地方创建的一个非常粗糙的类生成的，如果有帮助的话。
这是前面的代码块：
// get the report time ID int CompiledReportTimeTypeID = CompiledReportTypeIDs[ReportType]; int CompiledReportTimeID = -1; cmdtext = "SELECT CompiledReportTimeID FROM Reporting_CompiledReportTime WHERE CompiledReportTimeTypeID = @CompiledReportTimeTypeID AND CompiledReportTime = @ReportTime"; cmd = new SqlCommand(cmdtext, conn); cmd.Parameters.Add(new SqlParameter("CompiledReportTimeTypeID", CompiledReportTimeTypeID)); cmd.Parameters.Add(new SqlParameter("ReportTime", ReportTime)); reader = cmd.ExecuteReader(); while (reader.Read()) { CompiledReportTimeID = Convert.ToInt32(reader.GetValue(0)); } reader.Close();
CompiledReportTypeIDs是一个字典，它根据在方法开头输入的字符串参数获取正确的CompiledReportTimeTypeID。 ReportTime是早先提供的DateTime。
编辑：我将删除表并使用ReportData字段将其重新创建为nvarchar（MAX）而不是ntext，只是为了排除SQL数据类型问题。 这是一个很长的镜头，我会用我发现的东西再次更新。
Edit2：将表中的字段更改为nvarchar（max）无效。 我也尝试过使用output = cmd.ExecuteScalar（）。ToString（），没有任何影响。 我正在尝试查看SqlDataReader是否有最大大小。 当我从SQL Mgmt Studio复制文本的值时，在记事本中保存时只有43Kb。 为了validation这一点，我提取了一个具有已知工作ID（较小的报告）的报告，当我将值直接从Visual Studio中复制并将其转储到记事本中时，它大约为5MB！ 这意味着这些大型报告可能位于nvarchar（max）字段的~20MB范围内。
Edit3：我重启了一切，包括我的开发IIS服务器，SQL服务器和我的开发笔记本电脑。 现在它似乎正在起作用。 这不是为什么会发生这种情况的答案。 我将这个问题留待解释所发生的事情，我将其中一个作为答案。
编辑4：话虽如此，我在没有改变事物的情况下运行了另一个测试并返回了相同的exception。 我真的开始认为这是一个SQL问题。 我正在更新这个问题的标签。 我做了一个单独的应用程序运行完全相同的查询，它运行正常。
编辑5：我按照下面的一个答案实现了顺序访问。 所有内容都被正确地读入流中，但是当我尝试将其写入字符串时，我仍然会遇到内存不足exception。 这是否表明获得连续内存块的问题？ 以下是我实现缓冲的方法：
reader = cmd.ExecuteReader(CommandBehavior.SequentialAccess); long startIndex = 0; long retval = 0; int bufferSize = 100; byte[] buffer = new byte[bufferSize]; MemoryStream stream = new MemoryStream(); BinaryWriter writer = new BinaryWriter(stream); while (reader.Read()) { // Reset the starting byte for the new CLOB. startIndex = 0; // Read bytes into buffer[] and retain the number of bytes returned. retval = reader.GetBytes(0, startIndex, buffer, 0, bufferSize); // Continue while there are bytes beyond the size of the buffer. while (retval == bufferSize) { writer.Write(buffer); writer.Flush(); // Reposition start index to end of last buffer and fill buffer. startIndex += bufferSize; retval = reader.GetBytes(0, startIndex, buffer, 0, bufferSize); } //output = reader.GetString(0); } reader.Close(); stream.Position = 0L; StreamReader sr = new StreamReader(stream); output = sr.ReadToEnd(); <---- Exception happens here //output = new string(buffer);
编辑6：添加到此，当OOMexception发生时，我看到IIS工作进程（它保存正在运行的方法）命中几乎700MB。 这是在IIS Express上运行的，而不是生产服务器上的完整IIS。 这与它有什么关系吗？ 此外，当我调用Byte [] data = stream.ToArray（）时，我也断断续续地获取OOM。 我认为我真正需要的是一种为这个过程提供更多内存的方法，但我不知道在哪里配置它。
编辑7：我刚刚将我的开发服务器从本地计算机上的IIS Express更改为内置的Visual Studio Web服务器。 OOM例外现在已经消失。 我真的认为这是分配一个连续的内存块问题，无论出于什么原因，IIS Express都不会将其分叉。 现在它运行正常，我将发布到运行常规IIS7的2008R2上的完整服务器，看看它是怎么回事。
您应该通过在执行阅读器时指定命令行为来尝试按顺序读取数据。 根据文档， 使用SequentialAccess检索大值和二进制数据。 否则，可能会发生OutOfMemoryException，并且将关闭连接 。
虽然顺序访问通常用于大型二进制数据，但基于MSDN文档，您也可以使用它来读取大量字符数据。
访问BLOB字段中的数据时，请使用DataReader的GetBytes或GetChars类型访问器，这些访问器使用数据填充数组。 您还可以将GetString用于字符数据; 然而。 为了节省系统资源，您可能不希望将整个BLOB值加载到单个字符串变量中。 您可以改为指定要返回的数据的特定缓冲区大小，以及从返回的数据中读取的第一个字节或字符的起始位置。 GetBytes和GetChars将返回一个long值，表示返回的字节数或字符数。 如果将空数组传递给GetBytes或GetChars，则返回的long值将是BLOB中的字节或字符总数。 您可以选择将数组中的索引指定为正在读取的数据的起始位置。
此MSDN示例显示了如何执行顺序访问。 我相信你可以使用GetChars方法来读取文本数据。
从根本上说， System.OutOfMemoryException不仅在内存不足时发生，而且当您无法为对象分配单个连续的内存块时。 尝试创建一个非常大的数组，或者加载一个大的位图对象时，或者有时在创建大型XmlDocuments时，您经常会看到错误…
Array和String通常需要连续分配，即不能分解成碎片并分配到内存中的空白区域。
这可能不是SQL问题，而且SqlReader尝试分配足够大的字符串以包含连续数据时更是一个问题。
你提到它在重新启动后工作正常，所以让我们假设你的代码基本上是正确的（可能仍然可以优化以将数据显示为流而不是缓冲记录集）并且当前症状是环境的。 一个刚刚重新启动的机器可能没有那么多碎片的内存，但是当你使用它时，内存碎片化并返回错误…
您可以通过关闭尽可能多的其他程序来certificate连续的内存理论，并添加代码以在带有错误的代码之前强制GC.Collect(GC.MaxGeneration) （ 引用 ）。 这不是保证，因为分配给您的进程的内存可能仍然是碎片。
我认为流式传输值可能是阻止错误发生的方法，最好避免尝试将所有内容缓冲到字符串中。 这样做的缺点是，当结果被程序的其余部分流式传输/消耗时，您将保持数据库连接处于打开状态，这将带来自己的开销。 我不确定你的代码需要对结果做什么，但是如果需要使用String实例，你可能需要扩展进程可用的内存（有几种方法可以帮助它，但可能是偏离主题的 – 发表评论，如果需要，我可以添加到这个答案）
在这里疯狂猜测。
cmd.Parameters.Add(new SqlParameter("CompiledReportTimeID", CompiledReportTimeID));
你错过了@符号。 所以它用ID替换CompiledReportTimeID的两个实例，并且由于相等而得到所有结果？