您好，猎头彬彬，合作国内外70+企业，base北上广深武汉新加坡等
游戏，跨境贸易/电商/物流，云服务/基础软件，手机/芯片，私募量化，车企，社区分享，短视频，广告， ChatGPT
岗位职责:
1. 遵循robots 协议，对互联网公开信息进行采集；
2. 负责网页信息抽取技术算法的研究和开发，提升数据抓取的效率和质量；
3. 负责设计和开发分布式的网络爬虫，能独立解决实际开发过程碰到的各类问题(优化调度、并发、覆盖率等) ，提升数据抓取的效果与性能;
4.负责爬虫数据解析入库、系统异常监控与警报等。
任职要求:
1. 本科211及以上学历，两年及以上爬虫抓取采集相关工作经验，至少一年海量数据爬存经验；
2. 熟练掌握HTML、JavaScript、Python、Scrapy等，能快速完成采集脚本的编写;
3. 熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/PhantomJS/Scarapy等;
4. 掌握分布式系统使用方式，如Ray、Spark、Hadoop等;
5. 了解NLP基本技术，实际使用过如 Fasttext、N-gram、Bert、GPT 等算法和模型者优先；
6. 熟悉常见反爬封禁策略，具备相关的实战经验。
所发职位不全，手上职位非常多，欢迎咨询！
电话：18519274080
微信号：Brylin1991
邮箱： herocanjob@163.com
--
FROM 122.190.149.*