工作职责：
1、负责设计和开发分布式网络爬虫系统，进行多平台的信息抓取和分析工作；
2、负责 Shopee Map路网数据中海量数据（如文本、图像、视频等）的采集、解析、清洗、入库等日常工作；
3、负责爬虫核心算法和策略优化以及系统的整体调度策略；
4、通过任务监控，优化采集策略等方式，提升抓取效率和质量。
任职要求：
1、5年以上工作经验，计算机相关专业，至少熟悉一种编程语言（ Java/Python/Go/Node.js ）；
2、熟练使用常见的爬虫框架，熟悉各种反爬技术，有分布式爬虫架构经验；
3、具备出色的分析、归纳、总结能力，可以针对目标网站，快速进行分析、提取、挖掘、破解；
4、熟悉各种大数据相关框架或组件优先，如 Kafka、Hadoop/Spark、MapReduce、Hive、HBase等。
欢迎咨询！
电话：18519274080
微信号：Brylin1991
邮箱： herocanjob@163.com
--
FROM 122.189.211.*