数据开发工程师岗位职责

　　现如今，越来越多人会接触到岗位职责，岗位职责是指一个岗位所需要去完成的工作内容以及应当承担的责任范围，职责是职务与责任的统一，由授权范围和相应的责任两部分组成。我们该怎么制定岗位职责呢？以下是小编精心整理的数据开发工程师岗位职责，希望能够帮助到大家。

数据开发工程师岗位职责

数据开发工程师岗位职责1

　　职责：

　　1、负责数据分析、加工、清理，相关处理脚本和程序的开发；

　　2、负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、调度平台的研发；

　　3、负责分布式大数据平台应用开发（Hadoop/Spark/Hive/HBase等）；

　　4、负责大数据相关平台的维护、优化。

　　任职要求：

　　1、本科及以上学历，计算机相关专业，具有5年及以上的.大数据ETL或数据开发经验，熟悉大数据组件的维护以及调优；

　　2、熟练掌握Java或Python编程语言，熟悉大数据架构体系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个或者多个，熟悉Sqoop、DataX等数据导入工具；

　　3、能熟练使用Hive、HBase、Spark等加工和处理数据，有海量数据处理经验；

　　4、有数据仓库开发经验/BI系统开发经验优先；

　　5、有电商行业数据处理与分析平台开发经验者优先。

数据开发工程师岗位职责2

　　职责：

　　1、依据客户需求完成大数据项目的数据分析及建模；

　　2、进行大数据核心算法的编写；

　　3、参与项目的需求分析、系统设计、编码工作；

　　4、参与开发过程中相关新技术的研究和验证。

　　5、协助承担架构性的体系设计和改造工作，配合制定技术实施方案，按照总体设计组织子系统的设计和开发。

　　任职要求：

　　1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关经验；

　　2、具有丰富的`基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码的开发、优化改造及成功应用案例；

　　3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维经验；

　　4、具有对大型hadoop集群的硬件规划能力；

数据开发工程师岗位职责3

　　职责

　　1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜索引擎的产品研发；

　　2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的`关联关系，并与实际业务应用相结合开发；

　　3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。

　　任职要求：

　　1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先；

　　2、有搜索引擎全文检索开发经验，如：elasticsearch、solr；

　　3、熟悉python、R任意一门开发语言；

　　4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑；

　　5、本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验；

　　6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰；

　　7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验、

数据开发工程师岗位职责4

　　职责：

　　1、负责研发PAAS开放平台开发，完成需求分析详细设计，spring boot基础组件的使用和扩展开发工作;

　　2、负责研发PAAS平台业务中台，数据中台的研发工作，能够准确把握业务需求，参与系统设计，负责核心代码的`实现;

　　3、负责带领3-5人研发团队，实现系统规划需求。

　　【任职要求】

　　业务技能要求：

　　1、精通Java语言，深刻理解常用微服务组件，如Spring,

　　Spring Boot, Spring Cloud, Mybatis;

　　2、熟悉Shell或者Python脚本并能在Linux环境进行开发;

　　3、了解常用中间件系统，如RabbitMQ，RocketMq，Redis，ZooKeeper系统等;

　　4、熟悉Mysql数据库以及常见的NoSQL DB，如MongoDB等;

　　5、了解常用工具如Git , Jenkins, Maven 等。

数据开发工程师岗位职责5

　　职责：

　　1、根据设计方案，完成相关模块代码编写和测试;

　　2、负责相关项目的'维护和技术支持工作;

　　3、配合项目组其他成员完成项目相关开发工作;

　　4、协助完成项目的系统交付工作，对项目实施提供支持。

　　任职资格：

　　1、培训过JAVA或有半年以上JAVA项目开发经验;

　　2、计算机相关专业优先考虑，有1-2年开发工作经验;

　　3、熟悉使用oracle/sqlserver/mysql至少一种数据库，熟练使用sql开发;

　　4、性格开朗、具有良好的学习能力;

　　5、工作责任心强，能承受工作压力。

数据开发工程师岗位职责6

　　职责：

　　1、负责大数据统计平台建设与优化;

　　2、负责广告效果分析，反作弊平台建设;

　　3、负责移动广告平台相关系统的`设计研发及持续优化。

　　职位要求：

　　1、计算机或相关专业本科学历及以上，2年工作经验;

　　2、精通大数据采集、处理、存储、查询相关技术;

　　3、熟悉Hadoop/Hbase/Hive/Spark/Storm/Kafka相关技术;

　　4、至少熟练掌握Java/Scala/Python中一门语言;

　　5、有做过大数据量查询优化的优先;

　　6、有大数据服务运维、性能调优者优先;

　　7、熟悉常用的设计模式，对MVC框架有了解;

　　8、强烈的责任心，对技术充满热情，高效率，良好的沟通能力。

数据开发工程师岗位职责7

　　职责：

　　1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发；

　　2、针对部门大数据业务进行大数据分析、挖掘等产品应用的`开发；

　　3、大数据平台各类数据业务抽象及模型化；

　　4、参与大数据管理平台的开发及维护；

　　5、负责大数据平台数据及相关的应用开发，调优及维护；

　　6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题；

　　7、良好的团队合作与沟通能力。

　　任职要求：

　　1、本科及以上学历，2年以上大数据应用开发经验；

　　2、具备Java、Python、Scala其中两种语言的开发经验；

　　3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先；

　　4、具备ETL开发与运维能力，有Flume、kettle经验优先；

　　5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先；

　　6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先；

　　7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句；

　　8、熟悉Yarn，Kubernetes，Azkaban等资源调度框架者优先；

　　9、熟悉Datax的二次开发，并有实际开发经验优先。

数据开发工程师岗位职责8

　　职责：

　　1、规划及建设大数据平台;

　　2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;

　　3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;

　　4、参与项目的系统设计和核心代码开发，指导和培训其他工程师;

　　5、整理和提交技术文档，负责核心功能模块的.代码编写和测试工作。

　　岗位要求：

　　1、计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验;

　　2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala等一种以上语言;

　　3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理;

　　4、精通MapReduce设计方法或Spark计算框架、对NoSQL，Hadoop、Hbase、Spark、Hive等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂问题;

　　5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

　　6、研读过Hadoop、Hbase、Hive源代码者，能够在特定业务中进行定制改造者优先;

　　7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。

数据开发工程师岗位职责9

　　1. 建立和维护公司IT项目建设管理的规章制度;

　　2. 项目进度跟踪和控制，风险识别，里程碑监控、项目成本管理;

　　3. 根据公司IT系统需求和系统设计要求，进行详细分析、设计，编写设计文档，进行功能模块的'代码编写工作;

　　4. 协助进行公司IT系统架构设计，技术规划及技术可行性分析，对公司IT系统架构方案提出优化改进建议，提高系统架构质量;

　　5. 根据开发规范编写各种开发文档及项目文档;

　　6. 评估项目交付件，对系统质量负责。

　　7. 对于开发外包项目，作为开发接口人与供应商进行系统开发对接，对开发进度进行管理控制，修正开发偏差。

　　8. 上级领导安排的其他工作。

数据开发工程师岗位职责10

　　1.参与大数据精准学平台设计与研发，在大数据采集、存储、分析及应用领域都会有所涉及。

　　2.参与需求分析、系统架构设计、并完成需求设计相应文档的'编写。

　　3.参与核心代码实现、系统性能优化。

　　4.保质保量地完成项目组分配的开发任务。

　　5.协助项目经理进行技术支持工作，共同解决产品研发过程遇到的技术难题。

数据开发工程师岗位职责11

　　职责：

　　1.进行产品需求分析和系统架构设计，负责公司核心业务模块开发，能独立攻关系统难点问题。

　　2.编写系统架构文档、接口说明文档及主要业务流程图等开发文档。

　　3.进行团队技术管理，为每个版本制定准确的开发计划并分配给下属人员进行开发。

　　4.代码审计，指导初中级开发人员编码，协助参与代码设计、审核和检查。

　　5.参与系统稳定性、性能和扩展性调试。

　　任职要求：

　　1.计算机、电子、通信、信息处理、电子商务、办公自动化等相关专业大专以上学历，有5年以上相关软件开发经验;

　　2.精通web mvc框架、Java、JavaScript，熟悉JSP/Servlet、JavaScript、Ajax、Jquery等WEB技术，至少精通Struts、Spring、Hibernate、iBatis等主流的'开源框架之一;

　　3.有分布式、高可用、高并发系统开发经验，熟悉Dubbo等分布式框架并有应用经验;

　　4.熟练使用Oracle、MySQL、SQL Server数据库之一，有数据库性能问题诊断及SQL语句调优经验;

　　5.熟悉Linux操作系统，熟悉Shell脚本，熟练使用SVN或Git版本管理工具;

　　6.熟练使用WebLogic、Tomcat、WebSphere等web应用服务器之一，熟悉nginx、Apache等的安装、配置;

　　7.参与过大型项目软件的开发，有团队精神和敬业精神，具备良好的自我学习能力和独立的解决问题能力，能够带领小团队在指定时间内完成高质量程序;

数据开发工程师岗位职责12

　　职责：

　　1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。

　　2.负责日志大数据平台的搭建和规划;

　　3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的.编写与维护;

　　4.参与业务日志的大数据分析;

　　5.及时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务

　　任职资格:

　　1、计算机等相关专业本科以上学历，2年以上开发经验;

　　2、熟悉linux操作系统，熟悉shell脚本语言，精通Java，有较强的开发能力;

　　2、熟练使用SQL，熟悉Mysql、MongoDB、Hive等数据库技术的基本操作及原理;

　　3、熟悉Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发经验;

　　4、熟悉Elastic产品线(如Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟悉Elasticsearch部署、监控及性能调优;

　　5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;

数据开发工程师岗位职责13

　　职责：

　　1、负责公司项目应用监测数据，分析软件大数据平台的代码开发;

　　2、负责大数据体系架构设计和应用产品的研究;

　　3、负责大数据平台及应用场景的构建、部署、测试;

　　4、编写软件研发相关技术文档;

　　5、编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库;

　　6、Spark程序的研发，sqoop脚本开发和商家用户行为等离线分析数据;

　　7、kudu，kylin等技术调研，编写软件研发相关技术文档;

　　8、SUNMI数仓设计架构以及ETL流程开发;

　　9、建立多维度，多体系的'用户标签体系以及用户行为数据库。

　　岗位要求：

　　1、本科以上学历，4年以上?工作经验，2年以上Hadoop平台的相关研发经验，具有良好的需求分析，方案设计，架构设计，程序编写、测试能力;

　　2、熟悉J2EE或Python平台开发，有良好的Java或Python语言功底;

　　3、了解Linux/Unix操作系统，了解脚本编程(Shell/Python其中一种);

　　4、具备数据中心资源管理(YARN)、监控(ClouderaManage)、调度(Azkaban)等系统研发经验者优先，具备分布式系统研发经验者优先;

　　5、熟悉hadoop以及其?生态圈系统上的hive、hbase、sqoop、spark、spark-streaming等技

　　术，懂hadoop源码者优先;

　　6、熟悉Kylin有OLAP平台设计和开发经验优先;

　　7、具有应用大数据技术处理TB级以上数据的项目开发经验者优先;

　　8、有较清晰的代码编写规范，逻辑性强，工作态度认真，良好沟通能力和团队合作精神。

数据开发工程师岗位职责14

　　职位描述：

　　工作职责：

　　1、基于海量数据，支持业务对数据的分析和使用；

　　2、支持业务处理数据的流式处理、分析客户行为等。

　　任职要求：

　　1、精通至少一门编程语言，熟练运用各种常用算法和数据结构，有独立的实现能力；

　　2、熟悉常用的.开源组件：hadoop/hive/spark/storm，并了解其特性和使用场景优先；

　　3、熟悉机器学习、数据挖掘、数据分析、分布式计算至少某一方面，有较深的理论研究和实践经验优先；

　　4、数据分析、推荐、机器学习、数据挖掘相关的开发工作优先。

数据开发工程师岗位职责15

　　1.基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

　　2.根据业务用户需要分析数据，提供数据支持

　　3.参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

【数据开发工程师岗位职责】相关文章：

数据库开发工程师的岗位职责15篇02-25

数据库开发工程师的岗位职责(15篇)03-10

数据库开发工程师的岗位职责通用15篇03-19

数据开发岗位职责（精选43篇）04-12

数据开发岗位职责(15篇)04-05