此信息由前程无忧(51JOB)审核并发布（查看原发布网址），应届生求职网转载该信息只是出于传递更多就业招聘信息，促进大学生就业的目的。如您对此转载信息有疑义，请与原信息发布者前程无忧(51JOB)核实，并请同时联系本站处理该转载信息。
[上海]上海鱼耀金融信息服务有限公司
职位：爬虫工程师
发布时间：2017-11-17
工作地点：上海
信息来源：前程无忧(51JOB)
职位类型：全职
职位描述
职能类别:大学/大专应届毕业生
岗位职责
1、负责开发网络爬虫系统，完成数据采集与爬取、解析处理、入库等数据日常工作；
2、研究各种网页探寻特点和规律，负责网页信息抽取、数据清洗等研发和优化工作；
3、负责领域知识的定向爬取、深度提取和挖掘；
4、配合数据的清洗、整理、去重及合并等工作；
5、负责性能优化、处理能力和效率提高；负责与大数据工程师、数据挖掘、分析人员、运营及产品等协同工作，完成数据统计、查询和分析。
岗位要求
1、 计算机专业，熟悉网页抓取原理及技术，熟悉基于Cookie或JWT的网站登录原理，熟悉基于正则表达式、XPath、CSS等网页信息；
2、 精通Python编程语言，精通JavaScript，对HTTP协议及HTML有深入的了解；
3、 熟练掌握数据库开发，对数据处理和数据质量有较深认识；精通至少一种主流数据NoSQL、MySQL数据库；
4、 熟悉Http Client、ajax、WebDriver、htmlunit、Nutch、Selenium、ETL、HtmlParser等技术优先；
5、了解 Go 语言优先。
公司简要介绍：
公司名称:上海鱼耀金融信息服务有限公司
公司类型:民营公司
公司介绍:鱼耀