當前位置:編程學習大全網 - 網站源碼 - spark上怎麽講讀取的數據的某幾行合並成壹行 新手

spark上怎麽講讀取的數據的某幾行合並成壹行 新手

#spark中拼接RDD指定行數據,RDD合並成壹行,python實現

from pyspark import SparkContext

sc = SparkContext("local", "My App")

rows = sc.parallelize([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]])

#獲得指定行的數據,返回RDD

def getnum(s):

#全局行號叠代

global counter

#指定行號

global row

counter += 1

if (counter ==row):

return s

counter = 0

row= 3

#cache()緩存數據

x1 = rows.filter(getnum).cache()

row= 4

x2 = rows.filter(getnum).cache()

#生成壹個包含兩個RDD中所有元素的RDD

xx = x1.union(x2)

print xx.collect()

  • 上一篇:什麽叫出賣自己的命運逍遙法外?
  • 下一篇:微博圖片水印在哪設置?
  • copyright 2024編程學習大全網