Spark DDL을 사용하여 dataframe 생성하기

from pyspark.sql import SparkSession
from pyspark.sql.types import IntegerType, StringType, ArrayType, StructField, StructType

# 기본 데이터 생성
data = [
    [1, "Jules", "Damji", "asdv", "1/4/2016", 4536, ["twitter", "LinkedIN"]],
    [2, "Brooke", "asi", "asdv", "1/4/2017", 4546, ["twitter", "LinkedIN", "FB"]],
    [3, "Jules", "Damji", "asdv", "1/4/2018", 4556, ["twitter", "LinkedIN", "web"]]
]

# main
if __name__ == "__main__":
    spark = (SparkSession
             .builder
             .appName("Example-3_6")
             .config("spark.driver.bindAddress", "127.0.0.1")
             .getOrCreate())

    # dataframe 생성을 위한 스키마 정의
    schema = StructType([
        StructField('Num', IntegerType(), True),
        StructField('First', StringType(), True),
        StructField('Last', StringType(), True),
        StructField('Url', StringType(), True),
        StructField('Published', StringType(), True),
        StructField('Hits', IntegerType(), True),
        StructField('Campaigns', ArrayType(StringType()), True)
    ])

    # dataframe 생성
    blogs_df = spark.createDataFrame(data, schema)

    # dataframe show
    blogs_df.show()

    # dataframe 처리에 사용된 스키마 출력
    print(blogs_df.printSchema())

 

콘솔에서 해당 프로그램을 실행하여 나온 결과입니다.