spark核心概念
发布时间：2015-12-20 栏目：Spark 评论：0 Comments
大数据操作有点类似于针对硬盘或者内存的数据库SQL操作，只是操作的数据是分布在硬盘，甚至是多台机器上面的，而且数据量很大。Spark上面的SQL以及DataFrame编程内置了自动优化，用户只需要关心具体的实现和功能就好了。
为什么Spark更快：
- Memory Based Computation
- DAG
- Thread Model
- Optimization (eg: delay scheduling)
What is Lineage? RDD之间的依赖关系
Spark的编程对象：RDD（不可变的、分布式、Lazy、cache）
DataFrame编程最有效率。
SQL也是基于DataFrame的。
Spark官网：http://spark.apache.org/
Apache Zeppelin：http://zeppelin-project.org/
留下评论
You must be logged in to post a comment.
近期评论
- Pika发表在《莫里斯蠕虫（Morris Worm）》
- Pika发表在《多组学科研分析》
- crisy发表在《最近关于专利的一点感想》
- walter发表在《机器学习基础知识回顾-马尔科夫过程（Markov Process）》
文章归档
- 2024年3月
- 2024年2月
- 2023年12月
- 2023年11月
- 2023年10月
- 2023年9月
- 2023年8月
- 2023年7月
- 2023年6月
- 2023年5月
- 2023年4月
- 2023年3月
- 2023年2月
- 2023年1月
- 2022年12月
- 2022年11月
- 2022年9月
- 2022年8月
- 2022年7月
- 2022年6月
- 2022年5月
- 2022年3月
- 2022年2月
- 2022年1月
- 2021年12月
- 2021年11月
- 2021年10月
- 2021年9月
- 2021年8月
- 2021年7月
- 2021年6月
- 2021年5月
- 2021年4月
- 2021年2月
- 2021年1月
- 2020年12月
- 2020年11月
- 2020年10月
- 2020年8月
- 2020年7月
- 2020年6月
- 2020年5月
- 2020年4月
- 2020年3月
- 2020年2月
- 2019年7月
- 2019年5月
- 2019年3月
- 2019年1月
- 2018年6月
- 2018年5月
- 2018年4月
- 2018年3月
- 2018年2月
- 2017年11月
- 2017年7月
- 2017年6月
- 2017年5月
- 2017年3月
- 2016年12月
- 2016年11月
- 2016年10月
- 2016年9月
- 2016年8月
- 2016年7月
- 2016年6月
- 2016年5月
- 2016年4月
- 2016年3月
- 2016年2月
- 2016年1月
- 2015年12月
- 2015年11月
