Chinaunix首页 | 论坛 | 博客
  • 博客访问: 262097
  • 博文数量: 126
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1003
  • 用 户 组: 普通用户
  • 注册时间: 2016-03-11 14:13
  • 认证徽章:
个人简介

狂甩酷拽吊炸天

文章分类

全部博文(126)

文章存档

2019年(24)

2018年(17)

2017年(35)

2016年(50)

发布时间:2019-08-27 15:34:55

总所周知,spark中有两种算子:转换  和 行动 算子,面试的时候可能会被问到,今天就将他们一一列举:Transform转换算子:map、flagMap、distinctcoalesce、repartitionrandomSplit、glomunion、intersection、subtractmapPartitions、mapPartitionsWithIndexzip、zi.........【阅读全文】

阅读(2785) | 评论(0) | 转发(0)

发布时间:2019-08-21 10:42:38

作为一名数据开发工程师,定时任务调度是日常工作中必不可少的,在日常工作中可能会遇到如下问题:    run.sh 启动脚本,可能依赖诸多脚本,如下为我的脚本依赖 点击(此处)折叠或打开[xxxxxxxxxxxx]$ more run.sh #!/bin/bashsourc.........【阅读全文】

阅读(3117) | 评论(0) | 转发(0)

发布时间:2019-08-16 16:14:32

最近在写java,由于之前一直写python,对java知之甚少,也不用maven,今天用maven打jar包,各种坎坷,有打不进去依赖的,有maven报ERROR的,网上的资料零零碎碎,黏贴进pom文件各种报错,下面总结一下我正确的打依赖jar包方式,pom文件如下:点击(此处)折叠或打开<?xml version="1.0" encod.........【阅读全文】

阅读(3012) | 评论(0) | 转发(0)

发布时间:2019-08-14 17:53:12

Spark 2.4Spark 2.4《Apache Spark 2.4 正式发布,重要功能详细介绍》1 针对数组类型的函数1.1 array_distinct1.2 array_intersect1.3 array_union1.4 array_except1.5 array_join.........【阅读全文】

阅读(59) | 评论(0) | 转发(0)

发布时间:2019-08-14 17:28:47

!%例子:&例子:*例子:+例子:-例子:/例子:<参数:expr1, expr2 - 比较的两个参数类型必须一致,或者可以转换成一样的类型,而且这个类型支持排序。比如 map 类.........【阅读全文】

阅读(36) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

jelon5212016-08-25 16:44

回复  |  举报
留言热议
请登录后留言。

登录 注册