Tag: azure data lake

usql应用程序和脚本的unit testing

我有一个自定义的USql应用程序，它扩展了IApplier类。 [SqlUserDefinedApplier] public class CsvApplier : IApplier { public CsvApplier() { //totalcount = count; } public override IEnumerable Apply(IRow input, IUpdatableRow output) { //….custom logic //yield return or yield break } } 然后从Usql脚本中使用此应用程序 @log = SELECT t.ultimateID, t.siteID, . . . t.eTime, t.hours FROM @logWithCount CROSS APPLY new BSWBigData.USQLApplier.CsvApplier() AS t(ultimateID string, siteID string, …. […]

Azure Data Lake Analytics：使用U-SQL组合重叠持续时间

我想使用U-SQL从Azure Data Lake Store中放置的CSV数据中删除重叠持续时间，并将这些行组合在一起。 数据集包含开始时间和结束时间，每个记录包含几个其他属性。 这是一个例子： Start Time – End Time – Usar Name 5:00 AM – 6:00 AM – ABC 5:00 AM – 6:00 AM – XYZ 8:00 AM – 9:00 AM – ABC 8:00 AM – 10:00 AM – ABC 10:00 AM – 2:00 PM – ABC 7:00 AM – 11:00 AM – […]

USQL Query从Json Data创建表

我有一个类似于[{}, {}, {}]的json，即可以有多行，每行有许多属性 – 值对，每行保持固定。 @json = EXTRACT MainId string, Details string FROM @INPUT_FILE USING new Microsoft.Analytics.Samples.Formats.Json.JsonExtractor(); 这给了我json作为一个字符串。 我不知道如何得到： row[3].property4就像属性给定行的值。 使属性复杂化的是{Name：“XXX”，Value：“YYY”} @jsonnodes = SELECT JsonApp.JsonFunctions.JsonTuple(@json, “event”, “id”) AS json_map FROM @json; 现在，上面的查询我试过，但它没有用。 它给了我错误： Rowset variable ‘@json’ is not a scalar variable. 我如何获得行属性对并将它们放在csv文件或表中？ 谢谢你的帮助。 JSON看起来像： [{“MainId”:”24201803″,”System”:[{“Name”:”event”,”Value”:”S”},{“Name”:”id”,”Value”:””}], “Details”:[{“Name”:”EventName”,”Value”:”W”},{“Name”:”previd”,”Value”:”88″}], “ttl”:8640000}, ….Multiple Rows of the Same type as before….] […]