一、招聘岗位
大数据工程师（正式员工）

二、岗位职责
1，数据处理与清洗：运用Pig、Python等工具，对海量多源异构数据进行高效抽取、转换和加载（ETL），确保数据的准确性、完整性和一致性，为后续的数据分析和挖掘提供高质量的数据基础。
2，大数据平台开发与维护：基于Hadoop生态系统，负责搭建、优化和维护大数据处理平台，包括但不限于HDFS、YARN等组件的配置与管理，保障平台的稳定运行和高效性能。
3，实时与离线数据处理：使用Spark和Flink进行实时和离线数据处理，构建实时数据流处理管道，实现数据的实时分析和决策支持；同时，开发离线数据处理任务，满足复杂的数据分析和挖掘需求。
4，性能调优与问题解决：对大数据处理作业进行性能监控和分析，通过调优参数、优化算法等方式，提高作业的执行效率和资源利用率；及时解决数据处理过程中出现的技术问题，确保系统的稳定性和可靠性。


三、任职要求
1，教育背景：计算机、通信、统计学、数学等相关专业硕士及以上学历。
2，技能要求
   1）编程语言：精通Python编程，具备良好的代码编写规范和编程习惯，能够熟练运用Python进行数据处理、算法实现和系统开发。
   2）大数据工具
            熟练掌握Pig语言，能够使用Pig脚本进行复杂的数据处理和转换操作。
            深入理解Hadoop生态系统，熟悉HDFS、YARN、MapReduce等核心组件的原理和使用，具备Hadoop集群的搭建、配置和维护能力。
            精通Spark和Flink，能够使用Spark SQL、Spark Streaming、Flink SQL等技术进行大规模数据的批处理和流处理，具备性能调优和故障排查能力。
   3）数据库知识：熟悉至少一种关系型数据库（如MySQL、Oracle）和一种非关系型数据库（如HBase、MongoDB），了解数据库的设计、优化和查询操作。


有意向的同学欢迎邮件联系：tanqian@iie.ac.cn
--
FROM 112.96.178.*