【大数据开发】Spark SQL之Action算子（六）

数据信息化 2020-08-03

2138

Part

Spark SQL之Action算子

Ⅰ

DataSet操作之BasicOption

Ⅱ

DataSet开发之Action详解

DataSet操作之BasicOption

//Scala
/**
  * 持久化  ：cache   persist
  * 创建临时视图 ：createTempView  createOrReplaceTempView
  * 获取执行计划 ：explain
  * 查看schema : printSchema
  * 写数据到外部的数据存储系统  :  write
  * ds 与 df之间的转化  as   toDF
  */
object BasicOpertionScala {


  case class Person(name :String ,age : Long)


  def main(args: Array[String]): Unit = {


    val spark = CommSparkSessionScala.getSparkSession();
    val df  = spark.read.json(Comm.fileDirPath + "people.json");


//    df.cache();
//
//    df.createOrReplaceTempView("person");
//    val resultDF = spark.sql("select * from person a where 1=1")
//     spark.sql("select * from person a where 1=1").explain();
//
//    df.printSchema();
//
//    df.select("name").write.save("path");


    import spark.implicits._;
    val personDS = df.as[Person]
    personDS.show()
    personDS.printSchema()


    val personDF = personDS.toDF()
    personDF.show()




  }
}

DataSet开发之Action详解

//java
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;


public class operationActionjava {
    public static void main(String[] args) {
        SparkSession spark = CommSparkSess.SparkGetSession();
        String path = "file:/Users/zhangjingyu/Desktop/spark-2.4.0/examples/src/main/resources/people.json";
        Dataset<Row> result = spark.read().json(path);
        for (Row row : result.collectAsList()) {
            System.out.println(row)
        }
        result.first();
        for (Row row : result.takeAsList(2)) {
            System.out.println(row);
        }
    }
}


//Scala
object operationActionScala {
  def main(args: Array[String]): Unit = {
    val spark = CommSparkSessionScala.getSparkSession()
    val path = "file:/Users/zhangjingyu/Desktop/spark-2.4.0/examples/src/main/resources/people.json"
    val result = spark.read.json(path)
    for (elem <- result.collect()) {
      System.out.println(elem)
    }
    for (elem <- result.take(2)) {
      System.out.println(elem)
    }
  }
}

微信号 : BIGDT_IN

● 扫码关注我们

大数据

文章转载自数据信息化，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

【大数据开发】Spark SQL之Action算子（六）

评论