spark初探踩坑集锦-创新互联

1、当我做transfomer的时候没有问题，可是一做到action操作就会报错。
以下是几个小问题：
distFile = sc.textFile(" hdfs://user/spark/test/201201.csv")
distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b)
执行第一条没问题，执行第二条的时候就会报错：
Illegal character in scheme name at index 0: hdfs://user/spark/test/201201.csv
之后找了半天，发现写地址的时候没小心复制多了个空格，导致这个问题。
修改掉之后再一运行，又换了个错误：
大概是包括net什么的，具体没保留，查了一下，修改地址：
distFile = sc.textFile("hdfs://master:8020/user/spark/test/201201.csv")
之后又报了个错误，pyspark.sql.utils.IllegalArgumentException: 'java.net.UnknownHostException: user'
这之后查了一些资料也没有太有用的，突然我想为什么一定用绝对路径，相对路径试试。于是之后：
distFile = sc.textFile("hdfs://user/spark/test/201201.csv")
这次没有问题了，正常执行，之前的问题应该是master:8020这部分，这个可以修改一些不同的设置试试，应该也可以解决，另外编程过程中尽量不要用绝对路径，多用相对路径。

创新互联公司服务项目包括获嘉网站建设、获嘉网站制作、获嘉网页制作以及获嘉网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，获嘉网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到获嘉省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

名称栏目：spark初探踩坑集锦-创新互联
转载来于：http://6mz.cn/article/dcesig.html