大数据开发工程师岗位的主要职责概述

大数据开发工程师岗位的主要职责概述（精选19篇）

大数据开发工程师岗位的主要职责概述 篇1

　　职责：

　　1、参与大数据架构的规划设计，参与业务建模及数据化运营平台的搭建、运维，对业务流程与大数据的结合提出建议和解决方案;

　　2、完成基于大数据平台的业务项目的开发、实施和维护工作;

　　3、负责解决大数据平台建设过程中的技术难点和性能调优工作;

　　4、参与数据仓库设计，根据业务需求实现高效率高灵活性的查询，数据分析，数据挖掘;

　　5、负责高吞吐高可用数据实时和离线采集，高并发的大数据业务架构设计

　　6、负责研发技术发展方向，新技术领域的探索，引入并验证数据平台领域新技术，提供系统效能

　　7、对大数据技术及开源框架充满热情，具有钻研精神，能自我学习。

　　任职资格：

　　1、具有5年Java开发经验，熟悉Spring生态，掌握Hibernate、Mybatis任意一种ORM框架，掌握Oracle、Mysql数据库。

　　2、具有2年以上的大数据开发经验，熟悉大数据、数据仓库，分布式架构技术理论，具有大数据整体系统架构设计和实战经验，熟悉CDH、HDP、TDH至少一款大数据产品，有从无到有建设大数据平台经验者优先;

　　3、熟悉大数据组件的开发、搭建、维护以及性能优化;

　　4、较强的开发能力，必须熟练使用相关开发语言(Java/Python/Scala/Shell等)，熟悉大数据生态、关系数据库和NOSQL数据库、Linux等相关知识，能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;

　　5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等组件或技术，能阅读源码跟踪问题。

　　6、熟练掌握Spark、flink任意一种计算框架，掌握MapReduce计算框架原理，并有实际项目开发经验。

　　7、熟练掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技术和组件，熟练应用开发，必须熟悉复杂数据查询性能调优，包括实时查询和离线批处理查询，服务器和生态组件的参数优化。

　　8、精通高级算法并有与业务结合落地优先;

　　9、扎实的独立分析问题、解决问题的能力，具备良好的需求理解能力、沟通协调能力和团队合作精神;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径，并且擅于跟业务团队就业务问题进行良好的沟通，能推动业务的指标化、量化;

　　10、有较好的学习能力、团队协作精神，认真细心，有强烈的责任心，爱岗敬业，有较高抗压能力，有较好的工作稳定性。

大数据开发工程师岗位的主要职责概述 篇2

　　职责：

　　1. 对数据进行结构化、标准化处理，对处理流程进行自动化搭建

　　2. 通过ETL/Cube数据建模，构建基于数据仓库的分析工具;

　　3. 参与数据与公司软件产品及第三软件的API对接;

　　4. 搭建与优化，数据采集、处理、可视化流程中所需的框架与模块开发;

　　5. 协同内外部力量完成需求的表达与技术攻关。

　　任职要求：

　　1. 熟悉数据库的设计和开发如：Oracle/Mysql/MSSQL/Redis等，有处理大量数据经验的优先;

　　3. 熟练使用ETL工具进行数据抽取，清洗，转换，关联等操作;

　　4. 熟练使用Linux操作系统,具备编写shell的能力;

　　5. 熟练使用主流的开发框架，掌握以下语言：Java、Python;了解过源码的优先;

　　6. 具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验;

　　7. 了解可视化及BI工具者优先;

大数据开发工程师岗位的主要职责概述 篇3

　　职责：

　　1、 规划及建设大数据平台;

　　2、 负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;

　　3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;

　　4、 参与项目的系统设计和核心代码开发，指导和培训其他工程师;

　　5、 整理和提交技术文档，负责核心功能模块的代码编写和测试工作。

　　岗位要求：

　　1、 计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验;

　　2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala等一种以上语言;

　　3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理;

　　4、精通MapReduce设计方法或Spark计算框架、对NoSQL，Hadoop、Hbase、Spark、Hive等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂问题;

　　5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

　　6、研读过Hadoop、Hbase、Hive源代码者，能够在特定业务中进行定制改造者优先;

　　7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。

大数据开发工程师岗位的主要职责概述 篇4

　　职责：

　　1、参与大规模数据快速查询系统的架构设计和开发;

　　2、大规模数据挖掘和机器学习算法的实现;

　　3、在线和离线海量数据分析平台的开发;

　　4、研究大数据前沿技术，提升系统的运维效率;

　　5、实现大数据基础架构平台的自动化运维。

　　【任职要求】：

　　1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux;

　　2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先

　　3、熟练地处理数据模型、数据ETL以及存储管理;

　　4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先;

　　5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;

　　6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。

大数据开发工程师岗位的主要职责概述 篇5

　　职责：

　　1、 负责大数据平台架构的整体设计，承担数据抽取、清洗、转化等数据处理程序开发;

　　2、 为业务运营提供技术支持，完成应用系统的搭建、优化、升级工作，保证平台稳定运行;

　　3、 编写系统的需求分析、设计、开发和部署文档等。

　　岗位要求：

　　1、硕士及以上学历，计算机、自动化、通信等相关专业;

　　2、熟练掌握Java语言，并熟悉Python语言，熟悉分布式系统架构，有hadoop，spark系统架构经验;

　　3、熟悉实时计算框架storm，flink，spark streaming其中之一;

　　4、熟练使用SQL，熟悉数据库原理，熟练使用至少一种主流关系型数据库;

　　5、熟悉软件开发流程，能够根据需求编写需求、设计、开发手册等项目过程文档;

　　6、具有良好的沟通能力和主动性，抗压能力强。

大数据开发工程师岗位的主要职责概述 篇6

　　职责：

　　1、根据公司技术文档规范编写软件详细设计文档，编写软件说明书，编写测试用例文档;

　　2、负责数据表结构设计，编写数据库脚本，数据库性能优化(SQL脚本优化);

　　3、负责功能界面设计，编码实现，代码检查(编码规范、代码性能等)，对外软件接口功能实现，完成项目的集成;

　　4、负责功能自测(白盒测试)，测试环境搭建，协助测试人员测试，并对测试结果跟进;

　　5、负责功能数据维护(数据跟踪、数据清查)，功能结构调整、Bug修改，为用户提供系统及技术支持。

　　任职要求：

　　1、大专及以上学历，通信、电子工程、自动化、计算机及其相关专业;

　　2、1年以上JVAV开发工作经验，金融行业优先;

　　3、精通J2EE技术，包括Servlet/JSP、JDBC等，对各种开源框架如Spring、spring boot、hibernate、ibatis等有实际的应用经验;

　　4、精通Java编程、Java语言基础扎实，熟练使用junit进行白盒测试，有实际项目实施经验优先;

　　5、具备编码和撰写文档的能力，熟悉软件版本控制、软件开发流程、设计模式、体系结构，熟练使用easyui、jquery等前端技术，有相关项目经验优先;

　　6、熟悉MySQL等主流数据库，熟练掌握SQL，对各种互联网协议有一定的理解，如HTTPHTTPS等;

　　7、具备自我管理、团队精神、客户服务、沟通能力、学习能力、逻辑分析及解决问题的能力。

大数据开发工程师岗位的主要职责概述 篇7

　　职责：

　　1、参与系统需求分析、架构设计和概要设计;

　　2、独立进行系统功能模块的分析设计和核心功能的开发;

　　3、负责解决开发过程中的技术问题;

　　4、有能力参与需求分析、软件设计、计划制定与一些技术文档的编写工作;

　　5、定期向上级主管汇报工作情况。

　　任职要求：

　　1、有扎实的Java开发经验，具有3年及以上Java开发经验，计算机相关专业;

　　2、具备良好的面向对象编程经验，具有较强的分析设计能力;

　　3、熟练HTML/CSS/Javascript/JQuery等前端开发;

　　4、精通MySQL，Oracle，熟练掌握SQL，存储过程编写等;

　　5、熟悉SpringMVC等Java框架，精通Springboot,MyBatis,Hibernate,Netty,Mina优先;

　　6、有开发系统接口经验;

　　7、有客户现场开发经验;

　　8、善于学习与沟通，具有团队精神;

大数据开发工程师岗位的主要职责概述 篇8

　　职责：

　　1、负责进行用户需求收集和分析;

　　2、运用SQL数据库语法，进行系统的二次开发和运维;

　　3、软件安装，调试，数据导入，用户权限设定;

　　4、培训甲方公司系统操作人员，使其掌握系统操作方法。

　　【任职要求】

　　1、具有良好的SQL Server或Oracle数据库编程基础;

　　2、具有较强的学习能力和良好的沟通能力;

　　3、工作积极主动、具有团队合作精神;

　　4、具有数据库开发相关经验，或软件实施、运维经验优先。

大数据开发工程师岗位的主要职责概述 篇9

　　职责：

　　1.充分理解业务需求，根据产品开发计划安排，高效高质地完成开发和自测工作;

　　2.参与公司C端产品接口和管理后台的设计和开发，包括学习平台、知识库等;

　　3.维护现有营销系统、中枢系统、教务系统等;

　　4.具有系统优化和监控意识，能及时排查线上用户反馈问题，保障系统稳定运行。

　　任职要求：

　　1、拥有拼搏、服务、创新、开放、协作的价值观，有强烈责任心和团队合作沟通能力;

　　2、具备2-4年JAVA开发经验，熟悉微服务设计和前后端分离开发，有互联网产品开发经验优先;

　　3、熟悉spring boot/spring+mybatis+redis开发框架，有dubbo分布式开发经验优先;

　　4、熟悉mysql数据库,了解分库分表，使用过消息队列;

　　5、逻辑思维能力强，熟悉业务抽象和数据模型设计和接口协议设计等，有重构优化代码的能力;

　　6、了解zookeeper注册中心，统一配置中心等。

大数据开发工程师岗位的主要职责概述 篇10

　　职责：

　　1、在上级指导和监督下定期完成量化的工作任务;

　　2、参与需求分析、设计、评审;

　　3、执行上级主管安排的工作任务，对负责模块进行设计和开发测试;

　　4、对自己负责的工作质量进行把关，主动进行技术与业务知识总结;

　　5、负责项目的日常开发维护工作等。

　　入职要求：

　　1、计算机、通信类等相关专业，一年以上软件项目开发实施经验;

　　2、熟练掌握Java面向对象编程、Socket编程、多线程编程、I/O流编程、XML文档解析;熟悉基本(工厂，单例)等设计模式;

　　3、熟悉SQL语法，熟悉JAVA语言，熟悉开发环境;

　　4、熟悉Linux系统的基本操作以及相关命令行的使用;

　　5、熟练使用至少一种大型关系型数据库;

　　6、良好的表达沟通能力，极强的团队合作精神，能够承受一定工作压力。

大数据开发工程师岗位的主要职责概述 篇11

　　职责：

　　1、参与银行、支付、保险等系统的开发工作;

　　2、参与需求分析，系统设计和开发等各项工作;

　　3、能按时、独立、高质量的完成工作，对自己的代码严格要求;

　　4、能指导初级程序员工作，并负责CodeReview;

　　5、能解决复杂的技术问题;

　　任职要求：

　　1、3-5年JAVA实际开发经验，计算机相关专业大专以上学历(硬性要求：学历必须学信网可查)

　　2、熟悉Java主流框架，能够独立完成功能模块设计和开发;

　　3、掌握HTML、JavaScript、CSS、Ajax、JQuery等前端技术;

　　4、熟悉Oracle、MySql等主流数据库的使用，熟悉存储过程及SQL的性能优化;

　　5、熟悉Tomcat、JBoss等应用服务器的应用部署和配置，有Linux操作经验;

　　6、具备良好的表达和沟通能力，能很好的融入团队工作;

　　7、有银行、支付、保险等相关系统开发经验优先;

大数据开发工程师岗位的主要职责概述 篇12

　　职责：

　　1、负责公司在线平台系统的设计、评审、编码等开发和迭代升级工作，确保相关系统稳定可靠运行;

　　2、完成系统架构设计、数据库结构设计、业务逻辑抽象、组件封装等编码工作;

　　3、与产品经理、前端开发工程师保持良好沟通，能快速理解、消化各方需求，并落实为具体的开发工作;

　　4、对自己开发的模块的性能、稳定、安全等方面的监测和调优承担

　　任职要求

　　1、3年以上的PHP项目开发工作经验，熟练掌握各种API接口研发;

　　2、精通PHP，深入理解MVC模式，精通OOP开发，熟练运用常用设计模式开发;

　　3、熟悉html5/CSS3/javascript/AJAX等前端技术，熟悉jQuery/Bootstrap等前端类库/框架;

　　4、熟悉MySQL数据库设计，熟悉分布式储存者优先;熟悉LNMP/LAMP架构的搭建、配置和优化;

　　5、熟悉redis/memcached底层缓存技术，有高并发开发经验者优先;

　　6、有中大型电商系统、ERP系统等项目开发及维护经验者优先;

　　7、精通一种或多种PHP开发框架，熟悉Laravel/Magento者优先;

　　8、具备较强的独立开发能力和学习能力，同时需要较强的团队协作精神、良好的表达能力和沟通能力;

　　9、工作认真负责，思路清晰，思维敏捷，能承担较大的工作压力，能适应创业型公司的成长速度和挑战，具有较强的自我驱动力;

大数据开发工程师岗位的主要职责概述 篇13

　　1、 负责医疗器械设备的机械方案设计、项目评估;现有仪器设备的改进设计;

　　2、 完成相关图纸绘制、3D模型及加工图纸的转化、设计数据的输出;机械相关零部件的选型、采购清单的编制与输出;

　　3、 制作设备的机械BOM表;

　　4、 产品的安装、调试及验证。

大数据开发工程师岗位的主要职责概述 篇14

　　职责：

　　1. 根据客户需求，负责产品设计和开发工作;

　　2. 根据公司的质量要求，对所负责开发的产品进行单元测试;

　　3. 承担部分新技术试验和研究，并应用到公司产品中;

　　4. 能够高效解决项目开发中遇到的问题;

　　5. 保质保量及时的完成公司下达的任务;

　　岗位要求：

　　1. 熟练使用PHP,熟悉ThinkPHP框架者优先;

　　2. 熟练使用Web前端技术，例如HTML/HTML5、JS、JQuery、CSS等;

　　3. 熟悉SQL语言，熟悉MySQL等数据库的应用开发;

　　4. 具备良好的代码编程习惯及较强的文档编写能力;

　　5. 具备良好的团队协作精神，极强的责任心;

　　6. 具有大型互联网应用开发经验者优先。

大数据开发工程师岗位的主要职责概述 篇15

　　职责：

　　1.负责公司互联网产品的部分功能设计，功能研发;

　　2.负责模块代码的编写以及代码质量控制;

　　3.负责与其他业务单位的技术对接工作。

　　任职要求：

　　1.计算机相关专业，本科或本科以上学历，接受应届生;

　　2.扎实全面的计算机基础知识(算法、数据结构、数据库系统、网络安全等)，强大的编码能力;

　　3.扎实的Java语言基础，熟悉Spring、Spring MVC、Spring Boot、MyBatis等开发框架技术，熟悉主流的设计模式，会使用maven构建工具;

　　4.熟悉mysql或MariaDB，精通SQL语法，熟悉Redis缓存数据库;

　　5.具有微信平台(公众号、支付、小程序)和支付宝平台(生活号、支付)相关开发经验的优先;

　　6.具体较强的学习能力，对未知技术和领域能快速掌握并实践;

　　7.正直诚实，热爱互联网开发，有较强的沟通和团队协作能力;

大数据开发工程师岗位的主要职责概述 篇16

　　职责：

　　1、 根据开发进度和任务分配，完成相应模块软件的设计、开发任务;

　　2、 参与软件产品及项目的规划工作，制定具体项目实施方案;

　　3、参与新技术的预研和应用工作;

　　4、 参与产品核心功能设计、开发。

　　任职要求：

　　1、至少2年以上的J2EE实际开发经验;

　　2、精通Java语言，掌握IO、多线程、集合及JVM原理和性能调优;

　　3、熟悉spring+mybatis架构以及spring security安全策略;

　　4、 熟悉HTML5/CSS3/JQuery等相关技术，熟悉HTML/XHTML/CSS等网页制作技术，熟悉页面架构和布局;

　　5、熟悉主流WEB服务器之一，如TOMCAT，JBOSS等;

　　6、熟悉WebService的接口开发;

　　7、具有较强的责任心，良好的团队精神和敬业精神;

　　8、具有较强的学习能力、沟通能力，乐于接受有挑战性的工作;

　　9、 有工作流相关项目经验者优先。

大数据开发工程师岗位的主要职责概述 篇17

　　负责公司电商平台、内部管理系统架构设计及优化;

　　与产品经理和业务部门协调合作，参与设计方案，确定实现方案并最终实现代码;

　　主要用php开发，但不限于php，会涉及JavaScript，CSS，HTML，Shell等;

　　领导或参与技术问题的攻关，解决技术上遇到的瓶颈问题;

　　参与技术规范的建立、维护、审核(代码规范、数据库命名、使用规范等);

　　对代码质量负责，参与代码评审，保证代码的精简，无错和执行效率;

　　每月在自己负责的模块上，尽可能重构代码，优化设计;

大数据开发工程师岗位的主要职责概述 篇18

　　职责：

　　1、参与大型JAVA应用系统产品研发和支持;

　　2、参与大型JAVA 应用项目开发，实施，维护工作;

　　3、参与需求分析和设计;

　　4、按照公司规范编制高质量代码;

　　5、按照公司规范对于代码进行测试，保证交付代码质量;

　　6、编写相关技术文档;

　　7、协助架构师做好相关研发工作。

　　8、参与产品的用户调研和需求分析，将用户需求转化为软件需求规格(高级工程师);

　　9、参与公司产品及应用架构设计及核心编码(高级工程师);

　　10、负责公司团队技术培养(高级工程师);

　　任职要求：

　　1、编程基础扎实，有3-5年的开发经验;

　　2、会用Git、SVN、Maven等项目管理工具;

　　3、熟练使用Mybatis,Hibernate,Spring MVC,Spring,Spring Boot,redis;

　　4、熟悉工作流引擎(Activity)和Java 规则引擎;

　　5、熟练使用Oracle，SQLServer，MySQL中至少一种数据库系统;熟练运用Sql语句;

　　6、熟练使用css、JS,Jquery，EasyUI前端开发;

　　7、精通eclipse 开发工具使用;

　　8、对工作有很强的责任感和很高的热情，适应在压力下的工作、良好的团队协作精神;

　　9、具备一定的软件设计能力和文档编写能力，在编码方面对自身有较高的要求，对于新的技术有较高的学习热情;

　　10、编程基础扎实，有5年以上的java开发经验(高级工程师);

　　11、精通MybatisHibernateSpring MVCSpringSpring Boot(高级工程师);

　　12、精通工作流引擎(Activity)、规则引擎，Restful接口开发(高级工程师);

　　13、了解分布式框架duboo(高级工程师);

　　14、熟练使用MySql、Oracle数据库，对内存数据库、大数据量处理、数据库性能优化有一定经验(高级工程师);

　　15、有责任心，有较好的计划与执行能力, 具备良好的沟通能力和优秀的团队管理能力(高级工程师);

　　16、有大型成功上线产品(高级工程师)。

　　微服务架构师要求：

　　17. 精通分布式、大流量系统的设计与开发，具有丰富的架构设计经验，精通基于Spring boot、Spring Cloud的微服务架构。

　　18. 对各种开源的框架如spring cloud、dubbo等有深入的了解，对框架本身有过开发或重构者优先;

　　19. 熟悉docker、mesos、rancher等容器技术并有实际使用经验。在服务治理，服务监控方面有相关开发经验;

大数据开发工程师岗位的主要职责概述 篇19

　　职责：

　　1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作

　　2、与交易员对接，制定切实可行的的策略测试计划，开展新策略模型的开发和验证

　　3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化

　　4、上级交办的其他工作

　　任职要求：

　　1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础

　　2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先

　　3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验;

　　4、对数字货币领域感兴趣，结果导向;

　　5、有网页抓取和爬虫程序编写经验者优先。

大数据开发工程师岗位的主要职责概述相关文章：