大数据工程师

岗位职责：
1.使用大数据相关的技术(Hive、、hdfs）解决业务相关问题；
2.理解体系架构，并能给予Hive、HDFS、、R、、Zeus等工具构建离线系统；
3.利用大数据平台实现对数据的分析和处理；
4.负责各类离线系统的业务调研，并与公司其他部门负责沟通协调；
5.负责离线系统中数据处理工作（数据采集、清洗、汇总、集成等）；
6.负责协助完成离线系统中数据上下层衔接处理工作；
7.负责各类离线系统的开发、部署等工作；
8.通过掌握业界常用的ETL工具能够提出优化方案；
9.具有良好的逻辑思维能力，可以独立承担工作压力，善于学习，与团队沟通无障碍 ；
10.负责大数据系统研发工作，包括大规模非结构化数据业务模型构建、大数据存储；
11.负责数据库架构设计以及数据库详细设计、优化数据库构架、解决数据库中心建设设计问题；
12.负责数据仓库的架构设计、模型设计及系统部署，数据集市的规划、设计等；
13.开发ETL过程，优化存储方案，设计并实现分布式计算任务，搭建数据处理流程；
14.针对海量的用户行为数据进行统计、分析与挖掘，提取商业价值；
15.建立数学模型对用户行为进行分析和预测。    

任职资格：
1.学历要求：计算机相关专业本科及以上学历；
2.工作经历要求：5年及以上编程经验，至少有1年大数据开发或分析经验；
3.其他要求：
a.精通、、java等中的1种以上；
b.熟悉主流数据库（、DB2、、）中的1种及以上，精通SQL、存储过程，有较好的SQL性能调优经验；
c.参加过一个完整的数据仓库类项目的ETL开发；
d.熟悉、HDFS，，Hive等开源分布式系统；
e.具有良好的逻辑思维能力，善于学习，与团队沟通无障碍；有数据仓库ETL经验、宙斯（Zeus）使用经验优先；
f.有互联网数据ETL经验优先；
g.3年以上java开发经验，对JVM原理有深入了解；
h.2年以上开发经验，对、Hdfs的原理有深入的了解；
i.熟悉大型关系型数据库，精通数据结构和常用的算法；
j.熟悉ETL开发实施流程和原理，有实际的大型数据仓库或企业数据集成的ETL开发和ETL流程优化经验；
k.熟练掌握应用开发，熟悉、Hive、Pig、、、、等大数据开发工具，有分布式数据处理经验；
l.熟练掌握数据仓库建模/数据挖掘/机器学习技术，从事过搜索、自然语义分析等相关的开发工作，有项目应用经验；
m.熟悉大数据云计算服务优先；
n.具备丰富的大中型开发项目的总体规划、方案设计经验者优先考虑；
o.具有大型分布式爬虫网络设计开发经验优先。