工作职责:
1、打造PB 级 离线平台计算引擎,并支撑小红书所有离线平台业务线;
2、负责对 Spark,Hive等等计算引擎进行系统级别的优化与开发;
3、负责不断优化和提升整个离线平台计算引擎的稳定性、性能、易用性,对核心ETL作业优化,保持作业稳定运行;
4、善于理解并抽象业务需求,形成高效的技术方案并推动落地;
任职资格:
1、熟悉 Spark SQL、Hive、Flink、Presto 等主流大数据计算框架原理及源码(需要熟悉其中一个);
2、熟悉主流的离线计算引擎的优化原理,列式存储,数据倾斜,Filter 下推、物化视图;(熟悉其中部分也可以);
3、良好的 Java 或者 C++ 编程基础;
4、具备大规模系统的故障诊断与性能优化能力;
5、具备一定的业务理解与业务架构能力,能为业务的架构提供方案或建议。"
所发职位不全,手上职位非常多,欢迎咨询!
电话:18519274080
微信号:Brylin1991
邮箱: herocanjob@163.com
--
FROM 58.50.157.*