数据工程岗位职责

数据工程岗位职责15篇

　　随着社会不断地进步，我们都跟岗位职责有着直接或间接的联系，制定岗位职责可以减少违章行为和违章事故的发生。制定岗位职责的注意事项有许多，你确定会写吗？以下是小编整理的数据工程岗位职责，希望对大家有所帮助。

数据工程岗位职责1

　　职责：

　　1、利用数据挖掘、机器学习相关知识和算法，解决工厂业务需求，驱动业务数字化；

　　2、利用数据处理和挖掘相关知识实现工厂KPI要求，包括生产线IDC降低，预测性维护等数据挖掘的多方面应用场景实现；

　　3、负责数据挖掘项目管理，进度把控，同时针对工厂各方面需求推广数据挖掘和机器学习的`主流应用算法和工具，并制定相关的规范和标准；

　　4、针对数据挖掘涉及的数据库和业务相关硬件网络架构的搭建和日常运维支持；

　　岗位要求：

　　1、本科或以上学历，数学、计算机或者信息工程等相关专业。

　　2、有工业领域或AI领域数据分析处理或者相关行业一年及以上工作经验。

　　3、熟悉运用各种常用算法和数据结构，有聚类、分类、回归等数据挖掘工作经验优先考虑；

　　3、熟悉Linux平台上的编程环境，至少掌握R/Python/C#一门编程语言，有项目应用优先考虑

　　4、至少掌握SQL Server/Oracle/MySQL一种数据库，有项目实践者优先考虑

　　5、熟悉Hadoop架构、网络通信和数据平台架构设计知识者优先考虑

数据工程岗位职责2

　　职责：

　　1、负责数据仓库建设、设计、优化和落地

　　2、负责数据ETL任务开发及日常维护

　　3、对数据ETL任务进行性能调优及性能瓶颈分析

　　4、学习新技术，提高整个平台的计算能力和效率

　　任职要求：

　　1、计算机相关专业，全日制本科及以上学历，2—5年工作经验

　　2、熟悉数据仓库理论基础，对数据模型建设、应用层建设有比较丰富的经验

　　3、熟练使用SHELL或PYTHON

　　4、熟悉HADOOP相关的大数据技术：HDFS，MAPREDUCE，HIVE

　　5、能对HIVE进行性能分析及调优

　　6、有MAPREDUCE开发经验优先

　　7、良好的'沟通能力、组织协调能力、应变能力，极强的责任心、学习能力。

数据工程岗位职责3

　　职责：

　　1、负责公司大数据平台建设;

　　2、根据业务需求，制定数据仓库和数据分析平台的实施和持续更新;

　　3、攻克技术难关，保证大数据系统的稳定运行;

　　4、完成大数据产品的`开发。

　　职位要求：

　　1、计算机相关专业全日制专科及以上学历，大数据相关经验;

　　2、熟悉Java或Scala语言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大数据相关技术;

　　3、精通SQL语句并对Redis，Mongodb等NoSQL数据库有一定经验;

　　4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品经验者优先;

　　5、责任心强，工作踏实，有团队协作精神，沟通能力强者优先。

数据工程岗位职责4

　　职责：

　　1、负责制定数据仓库平台技术体系架构、数据架构及规范;

　　2、负责设计和实施公司业务数据的实时/离线数据ETL架构方案;

　　3、负责调度架构设计与开发;

　　4、负责数据仓库平台运维以及日常数据运营等管理;

　　5、负责关键技术攻关;

　　岗位要求：

　　1、计算机、数学、统计等相关专业本科及以上学历，3年以上数据仓库项目开发经验，参与过数据仓库架构设计，对ETL开发流程、调度架构有深入理解;

　　2、精通mysql等数据库，丰富的SQL性能调优经验;

　　3、熟练使用Java、Shell等脚本语言;

　　4、熟悉数据治理理论，数据质量、元数据管理流程和方法;

　　5、了解Hadoop/Hive/HBase/Spark/Storm等技术及其生态圈;

　　6、沟通能力好、责任心强，具有良好的`团队合作精神和敬业精神;

数据工程岗位职责5

　　职责：

　　深入研究业内领先的技术思路，输出具有创新价值的预研项目可行性分析报告以及相关实验数据;

　　负责产品、销售、供应链、电商等公司数据的海量挖掘，并建立和优化用户标签、特征模型、产品精准匹配、异常预警等;

　　负责大数据下传统机器学习算法的.并行化实现及应用，并提出改进方法和思路;

　　参与公司大数据架构，负责BI实施中的数据挖掘模块算法研究、模型建立和优化，帮助实现数据挖掘和分析平台的建设;

　　负责相关数据挖掘项目的需求收集、项目建立、项目设计开发和结果输出质量把控，通过数据挖掘结果驱动业务执行;

　　配合技术进行数据挖掘模型开发和模型封装，例如决策规则模型、预警模型、流失模型、效果标杆模型、客户生命周期管理模型等;

　　任职要求：

　　大学本科及以上学历，统计学、计算机、信息技术、数学相关专业;

　　两年以上数据建模经验;

　　数据主流数据库，mysql、oracle、DB2等传统结构化数据仓库，熟悉HBase、MongoDB等非结构化数据库;

　　熟悉常用的聚类、分类、回归、关联、时间序列等监督式和非监督式学习算法;

　　熟悉R、Python、MLlib等数据挖掘工具中至少一种。

　　熟悉spark、storm等大数据计算框架者优先。

数据工程岗位职责6

　　职责：

　　1、负责对海量文本内容进行要素提取，精分类别、关联挖掘等技术的'研发工作；

　　2、负责实现文本挖掘技术的产品化，并且结合招标领域开展应用与优化；

　　3、能指导较低职位的工程师完成工作；

　　4、能与高校科研机构进行协同创新。

　　任职资格：

　　1、模式识别/人工智能/计算机相关专业，本科或以上学历；3年以上工作经验；

　　2、正直、诚信、敬业、有激情、有良好团队交流能力；

　　3、精通Java、Python语言，熟悉linux基本开发环境；

　　4、精通NLP相关领域知识，拥有较为丰富的文本处理经验：精准分词、实体抽取、属性抽取、关系抽取、分类聚类、主题挖掘、POI挖掘等；

　　5、具有NLP实战经验，参与过相关项目，有知识图谱/深度学习研发经验者优先；熟悉Hadoop、Spark、Storm等分布式处理框架者更佳；

　　6、熟悉Git，SVN等通用工具；

　　7、对自然语言处理、知识图谱构建、人工智能等具有浓厚的兴趣。

数据工程岗位职责7

　　职责：

　　1、负责所分管团队的团队建设和日常管理工作；

　　2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务；

　　3、承担城市数据标准编制和数据模型的设计；

　　4、承担项目中数据相关方案设计及数据团队管理；

　　5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。

　　任职资格：

　　1、1年以上数据开发工作经验，熟练使用SQL查询引擎；

　　2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具

　　3、具备良好的编程语言基础如：java/python/scala/c++/shell等

　　4、二本以上学历，计算机相关专业或者有相关培训经历者优先

　　5、个人素质要求：目光长远、态度诚恳、岗位有稳定性，能够长期培养、具备很强的.自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划，优秀的学习能力和团队沟通协作能力，对新技术有浓厚兴趣并有钻研精神。

数据工程岗位职责8

　　岗位职责：

　　负责团队现有算法的优化，代码实现以及移植

　　负责算法计算性能优化，并推动其上线应用

　　基于大规模用户数据，以效果为目标，建立并优化系统的基础算法和策略

　　应用机器学习等尖端技术，针对海量信息建模，挖掘潜在价值跟踪新技术发展，并将其应用于产品中；

　　跟踪新技术发展，并将其应用于产品中

　　协助其它技术人员解决业务及技术问题

　　任职资格：

　　熟练使用Java、python、scala语言（至少一门），熟悉面向对象思想和设计模式

　　具备一年以上机器学习理论、算法的研究和实践经验

　　擅长大规模分布式系统。海量数据处理。实时分析等方面的算法设计。优化

　　熟悉Hadoop、spark等大数据处理框架

　　具备分布式相关项目研发经验（如分布式存储/分布式计算/高性能并行计算/分布式cache等）

　　熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，并具备多年的实际工作经验

　　对数据结构和算法设计有深刻的理解

　　具有良好的分析问题和解决问题的能力，有一定数学功底，能针对实际问题进行数学建模

　　良好的逻辑思维能力，和数据敏感度，能能够从海量数据中发现有价值的规律

　　优秀的分析和解决问题的'能力，对挑战性问题充满激情

　　良好的团队合作精神，较强的沟通能力

数据工程岗位职责9

　　职责：

　　1、利用数据挖掘、机器学习相关算法，解决业务需求，提高产品的用户体验；

　　2、对海量的业务数据、用户数据进行挖掘分析，发现数据和业务背后的'规律；

　　3、针对业务流程进行分析调研，探索提升转化率效果的思路和方案并推动转化、

　　岗位要求：

　　1、熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，能熟练使用聚类、回归、分类等算法并调优；

　　2、熟悉Linux环境开发，至少熟悉java/PHP/Python/Scala/Go/C/C++等语言中一种或一种以上；

　　3、熟悉基于Spark、ElasticSearch、hbase等大数据平台的相关开发；

　　4、有深度学习实践经验者优先，有sparkmlib经验者优先。

数据工程岗位职责10

　　岗位职责

　　1.从事GIS数据制作、分析、数据管理等工作；

　　2.编写工作总结和作业流程等文件；

　　3.通过已经完成的`矢量化成果和表格数据库入库和检查工作；

　　4.利用软件对图形和属性进行检查，并进行错误修改；

　　5.其他数据制作处理工作。

　　职位信息

　　1、空间数据采集、内业处理；

　　2、电子地图制作、配图以及地图服务发布；

　　3、编制空间数据建库工作文档；

　　4、对成果数据的分类整理、归档；

　　5、领导安排的其他工作任务。

数据工程岗位职责11

　　1、负责构建体系框架，公开数据等进行分析，挖掘特征；

　　2、负责大数据产品的规划，需求分析和产品设计和定义；

　　3、基于现有真实用户行为数据，能够从数据中发现能源的需求和业务场景；

　　4、参与业务部门临时数据分析需求的`调研、分析及实现；

　　5、监测分析产品运营状况，持续优化产品功能改造和业务拓展方向，提出和落实产品优化改造方案。

　　6、撰写专题大数据分析报告。

数据工程岗位职责12

　　职责：

　　1、负责公司项目应用监测数据，分析软件大数据平台的代码开发;

　　2、负责大数据体系架构设计和应用产品的研究;

　　3、负责大数据平台及应用场景的构建、部署、测试;

　　4、编写软件研发相关技术文档;

　　5、编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库;

　　6、Spark程序的研发，sqoop脚本开发和商家用户行为等离线分析数据;

　　7、kudu，kylin等技术调研，编写软件研发相关技术文档;

　　8、SUNMI数仓设计架构以及ETL流程开发;

　　9、建立多维度，多体系的'用户标签体系以及用户行为数据库。

　　岗位要求：

　　1、本科以上学历，4年以上?工作经验，2年以上Hadoop平台的相关研发经验，具有良好的需求分析，方案设计，架构设计，程序编写、测试能力;

　　2、熟悉J2EE或Python平台开发，有良好的Java或Python语言功底;

　　3、了解Linux/Unix操作系统，了解脚本编程(Shell/Python其中一种);

　　4、具备数据中心资源管理(YARN)、监控(ClouderaManage)、调度(Azkaban)等系统研发经验者优先，具备分布式系统研发经验者优先;

　　5、熟悉hadoop以及其?生态圈系统上的hive、hbase、sqoop、spark、spark-streaming等技

　　术，懂hadoop源码者优先;

　　6、熟悉Kylin有OLAP平台设计和开发经验优先;

　　7、具有应用大数据技术处理TB级以上数据的项目开发经验者优先;

　　8、有较清晰的代码编写规范，逻辑性强，工作态度认真，良好沟通能力和团队合作精神。

数据工程岗位职责13

　　职责：

　　1、负责数据库业务程序开发（包括脚本、函数、存储过程等），编写数据库设计文档，进行SQL代码规范审核；

　　2、负责数据库库表模型设计，数据库架构搭建和优化策略，和开发人员SQL代码开发技能提升；

　　3、协助进行数据提取和数据分析，负责BI系统后端ETL数据抽取；

　　4、利用相关建模软件（数据分析软件）进行数据建模工作。

　　任职要求：

　　1、有电商行业工作经验，熟悉电商业务优先；

　　2、工作经验2—5年；

　　3、本科及以上学历，计算机相关专业；

　　4、熟悉Oracle，mysql等主流数据库，精通SQL各种查询汇聚，具有BI/数据仓库经验者优先；

　　5、善于与人沟通，为人正直、诚信，有较强的事业心，对工作认真负责。

数据工程岗位职责14

　　1.高质量地完成集团内外各类数据生产集成、数据分析应用建设工作，涉及投研、市场、ERP、全球金融资讯等四个业务领域方向;

　　2.需求及源系统数据分析，完成数据仓库/EDM等系统数据模型及应用模型设计、数据Mapping规则文档撰写、开发、自测及上线部署;

　　3.数据质量稽核、问题分析及处理,优化数据处理程序;

　　4.洞察数据、满足业务场景需求。

数据工程岗位职责15

　　1、负责数据仓库（HADOOP）ETL工作以及数据运营；

　　2、负责数据产品的业务需求梳理、数据开发以及维护；

　　3、负责数据仓库的维度建模以及设计相关的脚本调度；

　　4、负责维度模型的`数据处理的脚本开发，程序开发以及接口对接。