使用Json.net将大型数据列表作为JSON格式流式传输
使用MVC模型,我想编写一个JsonResult,它将Json字符串流式传输到客户端,而不是立即将所有数据转换为Json字符串,然后将其流回客户端。 我有动作需要发送非常大(超过300,000条记录)作为Json传输,我认为基本的JsonResult实现不可扩展。
我正在使用Json.net,我想知道是否有一种方法来流式传输Json字符串的块。
//Current implementation: response.Write(Newtonsoft.Json.JsonConvert.SerializeObject(Data, formatting)); response.End(); //I know I can use the JsonSerializer instead Newtonsoft.Json.JsonSerializer serializer = new Newtonsoft.Json.JsonSerializer(); serializer.Serialize(textWriter, Data);
但是我不确定如何将块写入textWriter并写入响应并调用reponse.Flush()直到所有300,000条记录都转换为Json。
这有可能吗?
假设您的最终输出是一个JSON数组,并且每个“chunk”是该数组中的一个项目,您可以尝试类似下面的JsonStreamingResult
类。 它使用JsonTextWriter
将JSON写入输出流,并使用JObject
作为在将每个项目写入编写器之前单独序列化的方法。 您可以将JsonStreamingResult
传递给IEnumerable
实现,该实现可以从您的数据源中单独读取项目,这样您就不JsonStreamingResult
它们全部存储在内存中。 我没有对此进行过广泛的测试,但它应该让你朝着正确的方向前进。
public class JsonStreamingResult : ActionResult { private IEnumerable itemsToSerialize; public JsonStreamingResult(IEnumerable itemsToSerialize) { this.itemsToSerialize = itemsToSerialize; } public override void ExecuteResult(ControllerContext context) { var response = context.HttpContext.Response; response.ContentType = "application/json"; response.ContentEncoding = Encoding.UTF8; JsonSerializer serializer = new JsonSerializer(); using (StreamWriter sw = new StreamWriter(response.OutputStream)) using (JsonTextWriter writer = new JsonTextWriter(sw)) { writer.WriteStartArray(); foreach (object item in itemsToSerialize) { JObject obj = JObject.FromObject(item, serializer); obj.WriteTo(writer); writer.Flush(); } writer.WriteEndArray(); } } }