东方策-爬虫搜索软件工程师

工作地点：

北京

工作职责：

1、参与分布式爬虫和数据采集系统的架构设计和开发；

2、负责网络数据抓取规划、清洗以及汇总的开发工作；

3、定期爬取指定网站的数据，为业务部门提供数据支持。

任职要求：

1、一年以上python开发经验，精通python网络编程，熟悉HTTP传输协议；

2、 了解搜索和爬虫开源软件(lucene，solr，mathout，firtex，lemur，indri，nutch，haddopmlarbin，QT webkit)的一种或多种，以及相关原理；

3、精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；

4、具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验；

5、 熟悉NoSql（MongoDB，Redis，Hbase等），了解大数据，有一定的Hadoop使用经验。