Scala - 好代码

Mapreduce分布式并行编程

1 什么是并行计算传统并行计算：共享同一个数据，通过锁来控制数据的读写，难度大，容易导致死锁，拓展性差。但是是实时的，细颗粒度计算，计算密集型 Mapredu...

Tags： Mapreduce , 分布式 , 并行 ,

03-21
Spark操作之aggregate、aggregateByKey详解

1 aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数...

Tags： Spark , aggregate , aggregateByKey ,

03-21
PyCharm搭建Spark开发环境如何实现第一个pyspark程序

一, PyCharm搭建Spark开发环境 Windows7, Java1 8 0_74, Scala 2 12 6, Spark 2 2 1, Hadoop2...

Tags： PyCharm , Spark , 开发环境 ,

03-21
一文学会Hadoop与Spark等大数据框架知识

海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用...

Tags： Hadoop , Spark , 大数据 ,

03-21
spark rdd转dataframe 写入mysql的实例讲解

dataframe是在spark1 3 0中推出的新的api，这让spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，据说计算性能...

Tags： spark , rdd , dataframe , mysql ,

03-21
spark中如何使用groupByKey进行分组排序的示例代码

任务需求：已知RDD[(query:String, item_id:String, imp:Int, clk:Int)]，要求找到每个query对应的点击最多的...

Tags： spark , groupByKey , 分组排序 ,

03-21
六个Python编程最受用的内置函数如何使用详解

在日常的python编程中使用这几个函数来简化我们的编程工作，经常使用能使编程效率大大地提高。 1 Map 函数 map函数可以使用另外一个函数转换整个可迭代...

Tags： Python , 内置 , 函数 ,

03-21
IDEA 中如何使用 Hudi的示例代码

环境准备创建 Maven 项目创建服务器远程连接Tools------Delployment-----Browse Remote Host设置如下内容：在这里...

Tags： IDEA , Hudi ,

03-21
如何实现Windows环境下Flink消费Kafka热词统计示例过程

前言碎语之前的博文写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的...

Tags： Tag：flink , Kafka , 热词统计 , 消费 ,

03-21
剖析Spark集群技术在美团网站的实战运用

前言美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索...

Tags： Tag：Spark , 美团 ,

03-21
还不知道Anaconda是什么?读这一篇文章就够了

1 Anaconda介绍概述 Anaconda，中文大蟒蛇，是一个开源的Anaconda是专注于数据分析的Python发行版本，包含了conda、Python...

Tags： anaconda3 , 安装 , python ,

03-21
JAVA spark创建DataFrame的方法

述说正传，接下来开始说正事。以前用Python和Scala操作Spark的时候比较多，毕竟Python和Scala代码写起来要简洁很多。今天一起来看看Jav...

Tags： JAVA , spark , 创建 , DataFrame ,

03-20
Spark调优多线程并行处理任务如何实现方式

方式1: 1 明确 Spark中Job 与 Streaming中 Job 的区别1 1 Spark Core 一个 RDD DAG Graph 可以生成一个或...

Tags： Spark , 调优 , 多 , 线程 , 并行 ,

03-20
SpringBoot对接Spark过程详解

本文主要介绍 SpringBoot 与 Spark 如何对接，具体使用可以参考文章 SpringBoot 使用 Spark pom 文件添加 maven 依赖 ...

Tags： SpringBoot , 接入 , Spark ,

03-20
PySpark和RDD对象最新详解

一了解Spark、PySpark Spark是什么定义:Apache Spark是用于大规模数据（large-scala data）处理的统一（unifie...

Tags： PySpark , RDD , 对象 ,

03-20
如何使用Spark进行实时流计算的方法

Spark Streaming VS Structured Streaming Spark Streaming是Spark最初的流处理框架，使用了微批的形式来进...

Tags： Spark , 流计算 ,

03-20
Spark网站日志过滤分析实例讲解

日志过滤对于一个网站日志，首先要对它进行过滤，删除一些不必要的信息，我们通过scala语言来实现，清洗代码如下，代码要通过别的软件打包为jar包，此次实验所用...

Tags： Spark , 日志 , 分析 , 过滤 ,

03-20
Elasticsearch工具cerebro的安装与如何使用好代码教程

Cerebro是Elasticsearch 版本5 x 以前插件 Elasticsearch Kopf 的演变，可以通过图形界面查看分片分配和执行常见的索引操作...

Tags： Elasticsearch , 工具 , cerebro ,

03-20
大数据HelloWorld-Flink如何实现WordCount

所有的语言开篇都是Hello Word,数据处理引擎也有Hello Word。那就是Word Count。MR，Spark，Flink以来开篇第一个程序都是Wo...

Tags： 大数据 , HelloWorld-Flink , WordCount ,

03-20
解析Flink内核原理与如何实现核心抽象

Flink中设计了用户自定义函数体系(User Defined Function,UDF),开发人员实现业务逻辑就是开发UDF。一、环境对象 StreamEx...

Tags： Flink ,

03-20

上一页 1 2 3 4 5 6 7 8 9 10 下一页

Scala最新文章