Tag: hadoop

如何使用c＃validationWebHDFS

我一直在尝试使用WebHDFS REST API将使用c＃的文件上传到Hadoop。 这段代码工作正常： using (var client = new System.Net.WebClient()) { string result = client.DownloadString(“http:/ /host:50070/webhdfs/v1/user/myuser/?op=LISTSTATUS”); client.DownloadFile(“http:/ /host:50070/webhdfs/v1/user/myuser/tbible.txt?user.name=myuser&op=OPEN”,”d:\tbible.txt”); } 此代码获得403 Forbidden： using (var client = new System.Net.WebClient()) { client.UploadFile(“http:/ /host:50070/webhdfs/v1/user/myuser/?user.name=myuser&op=CREATE”, “PUT”, “d:\bible.txt”); } 我试过添加一个网络凭证，没有运气。 如何从.NETvalidation我们的群集？ 群集是RHEL5上的Hortonworks HDP1.3。 （这篇文章中的额外空格是保持http：//不作为链接）另外，我本来想使用微软的hadoop SDK，但它是alpha并且不会在我的环境中编译:(

如何使用C＃连接HBase / Hadoop数据库

最近，探索Microsoft HDInsight Hadoop for Windows.But不知道从哪里开始并开始使用apache hadoop与c＃/ asp.net mvc。 我知道http://hadoopsdk.codeplex.com/是最好的资源，但无法找到从头开始的文档？ 比如创建集群，数据库，然后将其连接到C＃app。

如何从.NET连接到Hadoop / Hive

我正在开发一个解决方案，我将有一个运行Hive的Hadoop集群，我想从.NET应用程序发送作业和配置单元查询以进行处理，并在完成后收到通知。 除了直接从Java应用程序以外，我找不到任何与Hadoop接口的解决方案，是否有我可以访问的API，我只是没有找到？

如何将Hive连接到asp.net项目

嗨，我对Hadoop很新。 我已将Microsoft HDInsight安装到我的本地系统。 现在我想连接到hive和HBase但是对于HIVE连接我必须指定连接字符串，端口，用户名和密码。 但我无法弄清楚如何获得这个价值。 我尝试过localhost和8085作为端口，但这不起作用。 我也通过提供localhost IP和我的系统IP来完成它。 请帮忙解释一下，让我知道如何进行HBase连接

使用C＃反序列化Avro文件

我找不到用C＃反序列化Apache Avro文件的方法。 Avro文件是Microsoft Azure Event Hub中的存档function生成的文件。 使用Java，我可以使用Apache的Avro Tools将文件转换为JSON： java -jar avro-tools-1.8.1.jar tojson –pretty inputfile > output.json 使用NuGet包Microsoft.Hadoop.Avro我能够提取SequenceNumber ， Offset和EnqueuedTimeUtc ，但由于我不知道Body使用什么类型，因此抛出exception。 我尝试过使用Dictionary和其他类型。 static void Main(string[] args) { var fileName = “…”; using (Stream stream = new FileStream(fileName, FileMode.Open, FileAccess.Read, FileShare.Read)) { using (var reader = AvroContainer.CreateReader(stream)) { using (var streamReader = new SequentialReader(reader)) { var record […]