Spark内核机制解析及性能调优

大数据科学丛书 Spark 内核机制解析及性能调优 王家林 段智华 等编著 机 械 工 业 出 版 社 Spark 建立在抽象的 RDD 之上， 要理解 Spark， 就需要理解 RDD。 本 书详细讲述了 RDD 的功能及内部实现的机制， 通过剖析源代码引导读者 深入理解 Spark 集群部署的内部机制、 Spark 内部调度机制、 Executor 的内 部机制和 Shuffle 的内部机制， 进而讲述了 “钨丝计划” 的内部机制。 本 书的最后一章是任何 Spark 应用者都非常关注的 Spark 性能调优内容。 通 过学习本书， 可以使读者对 Spark 内核有更加深入的理解， 从而实现对 Spark 系统深度调优、 Spark 生产环境下故障的定位和排除， 以及 Spark 的 二次开发和系统高级运维。 本书适合于对大数据开发有兴趣的在校学生。 同时， 对于有分布式计 算框架应用经验的人员， 本书也可以作为 Spark 源代码解析的参考书籍。 图书在版编目 （CIP） 数据 Spark 内核机制解析及性能调优／ 王家林等编著 . —北京： 机械工业出版 社， 2016. 10 （大数据科学丛书） ISBN 978 － 7 － 111 － 55442 － 4 Ⅰ. ①S… Ⅱ. ①王… Ⅲ. ①数据处理软件 Ⅳ. ①TP274 中国版本图书馆 CIP 数据核字 （2016） 第 278303 号 机械工业出版社 （北京市百万庄大街 22 号 邮政编码 100037） 责任编辑： 王 斌 责任校对： 张艳霞 印刷 （ 装订） 2017 年 1 月第 1 版·第 1 次印刷 184mm × 260mm·22 印张·537 千字 0001 － 3000 册 标准书号： ISBN 978 － 7 － 111 － 55442 － 4 定价： 59. 00 元 凡购本书， 如有缺页、 倒页、 脱页， 由本社发行部调换 电话服务 网络服务 服务咨询热线： （010） 88379833 读者购书热线： （010） 88379649 封面无防伪标均为盗版 机 工 官 网： www. cmpbook. com 机 工 官 博： weibo. com／ cmp1952 教育服务网： www. cmpedu. com 金 书 网： www. golden － book. com 前 言 起源于美国加州大学伯克利分校 AMP 实验室的 Spark 是当今大数据领域最活跃、 最热 门的大数据计算处理框架， 2009 年 Spark 诞生于 AMP 实验室， 2010 年 S......