Hadoop on Azure (2) - 使用查询控制台或远程桌面运行Hive



这是Hadoop on Azure的系列文章。此前的文章列表:Hadoop on Azure (1) - Create a Hadoop in HDInsight假设已经按Hadoop on Azure (1) - Create a Hadoop in HDInsight创建好了Hadoop。这篇文章介绍如何使用查询控制台或远程桌面运行Hive。使用查询控制台运行Hive1、通过Azure Por...

Hadoop on Azure (1) - Create a Hadoop in HDInsight



随着数据爆炸时代的到来,单机的容量以及数据处理速度越来越显得无法适从,因此分布式处理平台因运而生。而Hadoop是这些分布式处理平台的佼佼者,它开源、易于扩展。本文主要介绍在微软Azure云平台上搭建Hadoop系统。1、首先得拥有一个Azure的订阅号。这里我使用Azure China的订阅号。截止到2016年8月,Azure China的新portal无法创建Hadoop,因此我们将使用经典P...

Spark on Microsoft Azure(3)-Using Jupyter notebook to Predict Building Temperature



这是Spark in Azure系列文章。Spark on Microsoft Azure(1)-Create a Spark in HDInsightSpark on Microsoft Azure(2)-Using Jupyter notebook to run a spark SQL query此前的文章介绍了如何在Azure中创建Spark集群,以及如何利用Jupyter在Spark中运行...

Spark on Microsoft Azure(2)-Using Jupyter notebook to run a spark SQL query



这是Spark in Azure系列文章。Spark on Microsoft Azure(1)-Create a Spark in HDInsight此前的文章介绍了如何在Azure Portal中创建Spark。这篇文章主要介绍使用Jupyter笔记本执行sql查询。Azure HDInsight中默认包括了Jupyter笔记本。使用Jupyter笔记本,你可以使用两种不同的内核来执行,PyS...

Spark on Microsoft Azure(1)-Create a Spark in HDInsight



Spark是一个开源、分布式、基于内存的实时处理平台。与Hadoop相比,由于Spark是基于内存的,减少了磁盘IO,因此具有更好的性能。这篇文章主要讲述Microsoft Azure HDInsight上的Spark平台。1、首先得拥有一个Azure的订阅号。截止到2016年8月,Spark只存在于Azure Global版本中,Azure China并未上线。2、截止到2016年8月,只在Az...

通过谷歌API获得经纬度/地址信息(转)



原标题:如何通过经纬度获取地址信息?地址:http://www.cnblogs.com/liuhaorain/archive/2012/01/31/2334018.html 摘要Google Maps API Web Services,是一个为您的地图应用程序提供地理数据的 Google 服务的 HTTP 接口集合。具体包括:Google Geocoding API、Google Directio...

判断点是否在多边形区域里面

英语原文:https://www.ecse.rpi.edu/~wrf/Research/Short_Notes/pnpoly.html 基本思想是,以该点向任意方向(这里是x轴正向)作射线,若与多边形的交点个数为偶数,则在多边形之外,否则在多边形之内。这是作者给出的源代码:int pnpoly(int nvert, float *vertx, fl...

获得特定城市的边界



    网上有通过百度地图API获得特定城市的边界的程序,如:http://www.cnblogs.com/hzb2010/archive/2012/06/10/2544096.html能够批量下载县市级以上的城市边界;http://www.cnblogs.com/i-gps/archive/2012/05/18/2507941.html和http://ww...

Azure PowerShell 创建Redis



Azure Global中,redis的黄建管理可以通过Portal进行,非常方便。但是,目前为止,Azure China的Portal不支持创建管理Redis。一种可选的方案就是使用Powershell进行管理。注意,本人使用的PowerShell版本号为1.0.1。可以通过命令:Get-Module azure获得当前的PowerShell版本。登录Azure账户时,输入下面的代码,...