【spark床头书系列】Spark SQL示例用法所有函数权威详解[词典收藏版]
最新回答
回首尽独你
2024-10-17 06:58:29
Spark中所有功能的入口点是SparkSession类。创建一个基本的SparkSession，只需使用SparkSession.builder()。
Spark 2.0中的SparkSession内置支持Hive功能，包括使用HiveQL编写查询、访问Hive UDF以及从Hive表读取数据的能力。无需已有Hive设置。
使用SparkSession，应用程序可以从现有的RDD、Hive表或Spark数据源创建DataFrames。例如，根据JSON文件内容创建一个DataFrame。
DataFrames提供了用于Scala、Java、Python和R中结构化数据操作的特定领域语言。在Scala和Java API中，DataFrames在2.0版本中仅是一组行的Dataset，称为“未命名转换”，与强类型的Scala/Java Datasets相对应。
结构化数据处理示例包括使用Datasets进行各种操作，完整示例代码可在Spark存储库的“examples/src/main/scala/org/apache/spark/examples/sql/SparkSQLExample.scala”中找到。
SparkSession的sql函数允许以编程方式运行SQL查询，并将结果作为DataFrame返回。
Spark SQL支持在所有会话中共享且在Spark应用程序终止之前保持活动的全局临时视图。全局临时视图与系统保留数据库global_temp相关联。
RDD转换为Datasets的两种方法分别是基于反射推断模式和编程接口指定模式。反射推断适用于已知模式的场景，而编程接口允许在运行时构建模式。
标量函数是每行返回单值的函数，与聚合函数相对应。Spark SQL支持各种内置标量函数，包括数组、映射、日期/时间、JSON数据处理等，还支持用户定义的标量函数（UDFs）。
内置标量函数类别有聚合、数组/映射、日期/时间、JSON和数学函数，例如width_bucket、len、lower、lpad等。
标量用户定义函数（UDFs）允许用户编程操作一行数据。创建和注册UDFs所需的类与示例可提供指导，包括类型安全和非类型安全UDAFs的示例。
Spark SQL支持与Hive UDFs、UDAFs和UDTFs的集成，允许使用Hive接口创建并注册这些函数，然后在Spark SQL查询中使用。
内置函数示例参考链接提供了详细的函数用法和描述。
参考资料包括Spark SQL示例用法、性能调优、RDD、SparkSession、Dataset、数据类型、集群模式、YARN运行、Implicits原理、DataFrame原理、Dataset DataFrame原理、SparkContext原理等。
热门标签
