作文档>范文大全>文秘知识>岗位职责

大数据架构师工作的岗位职责

更新时间:

大数据架构师工作的岗位职责(精选12篇)

大数据架构师工作的岗位职责 篇1

  职责:

  1、负责spark, hadoop, flink等开发和优化。

  2、参与前期需求沟通和分析,以产品化开发的思维,完成需求分解和数据架构设计。

  3、与研发和数据科学家合作保证产品定义清晰,按时完成产品上线。

  4、能够洞察市场状况,与各部门合作转化为基于大数据挖掘的新策略或方案.

  5、主动创造和发掘新的基于大数据挖掘产品商业模式.

  任职要求:

  1、全日制本科及以上学历,计算机软件相关专业,5年以上开发经验,3年以上架构经验

  2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理,流式计算开发,有开源二次开发经验者优先。

  3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。

  4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;

  5、良好的跨部门沟通合作能力,解决不同观点能力并取得结果。具备敏锐的互联网产品理解力,学习能力和逻辑思维能力强;

  6、较强的自我驱动力、推动和协调能力,强烈的责任心和团队合作精神;

大数据架构师工作的岗位职责 篇2

  职责:

  1、负责大数据平台技术框架的技术选型和搭建;

  2、负责核心技术问题公关,建设高可靠性,扩展性及高性能大数据/数据应用平台;

  3、负责规划数据挖掘的整体流程,负责大数据开发团队业务需求开发;

  4、与其他团队密切配合,寻求数据层面的业务价值,利用数据分析结论推动产品优化;

  5、研究和分享大数据架构领域新技术。

  任职要求:

  1、计算机相关专业全日制统招本科及以上;

  2、5年以上工作经验,至少3年以上大数据项目相关工作经验,能够设计大型大数据系统的架构和技术方案;

  3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

  4、熟悉数据挖掘,了解典型大数据算法和策略;

  5、熟悉主流Java技术框架,精通关系型数据库及SQL语言,熟悉NoSQL/JSON/XML;

  6、有较强的学习能力和问题解决能力,逻辑严密、思路清晰;

  7、有数据仓库经验者优先,有金融行业项目经验者优先。

大数据架构师工作的岗位职责 篇3

  职责:

  1. 负责大数据平台的基础技术规划,编制相关规范文档。

  2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。

  3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

  4. 负责大数据相关技术发展方向的预研。

  5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

  6. 制定大数据平台中数据质量,业务质量监控及管理办法。

  岗位要求:

  1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。

  2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

  3. 精通大型数据库Oracle、SqlServer等的开发。

  4. 精通java,Python中的一种或多种语言。

  5. 熟悉容器、虚拟化、微服务框架等相关技术。

  6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。

  7. 熟悉R,Python,SAS、SPSS等数据挖掘经验者优先。

  8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。

  9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。

大数据架构师工作的岗位职责 篇4

  职责

  1、负责大数据架构设计,包括定义数据的存储、集成(ETL)、应用,支撑业务运营和数据分析类需求实现;

  2、制定数据治理领域的数据体系化管理措施,包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作,确保数据可信与安全;

  3、基于行业数据积累,满足业务的数据挖掘需求,实现从数据到资产的转变,根据目标行业建立具有前瞻性的数据模型;

  4、对各产品的数据安全负责,主导制定和实施数据库系统安全策略,保证整体方案数据安全;

  岗位要求

  业务技能要求:

  1、深入理解云化、数据仓库,在参与过的系统设计中,必须涉及这两项关键技术;

  n2、精通或者熟悉Hadoop体系架构,以及HDFS/HBase/Hive/MapReduce/Spark等技术,了解体系架构各组件的优缺点,有直接的产品设计与开发、部署、调优的经验;

  3、精通或熟悉常见RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及开发,了解各数据库优缺点, 熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有相关项目经验尤佳;

  4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,具有数据分析或数据挖掘相关经验者优先;

  n5、熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等。

  专业知识要求:

  1、具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论;

  2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别,将业务需求转化为数据的需求,完成数据用例的设计和开发;

  3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。

大数据架构师工作的岗位职责 篇5

  职责:

  1、负责DMP技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;

  2、负责设计构建DMP数据采集、存储及分析框架,设计数据处理的技术流程和规范;

  3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;

  4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

  岗位要求:

  1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;

  2、精通大数据处理技术,熟悉Hadoop/Storm技术体系,有Hadoop、Hive、Hbase项目经验;

  3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

  4、对数据敏感,洞察力强,了解国内外广告发展趋势;

  5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;

  6、熟悉DMP/RTB技术原理,了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。

大数据架构师工作的岗位职责 篇6

  职责:

  1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

  2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

  3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

  4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

  任职资格:

  1、计算机或相关专业本科及以上学历;

  2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

  3、良好的编程开发能力,精通PHP及其他开发语言;

  4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

  5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;

  6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

  7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

大数据架构师工作的岗位职责 篇7

  职责:

  1、负责公司大数据平台架构的技术选型和技术难点攻关工作;

  2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;

  3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;

  4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;

  5、参与公司大数据项目前期的架构设计工作;

  任职要求:

  1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;

  2、精通大数据生态圈的技术,包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;

  3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;

  4、精通ORACLE、DB2、mySql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;

  5. 熟练掌握java、R、python等1-2门数据挖掘开发语言;

  6. 熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;

  7、有烟草或制造行业大数据解决方案售前经验者优先;

  8、能适应售前支持和项目实施需要的短期出差;

大数据架构师工作的岗位职责 篇8

  职责:

  负责公司大数据产品架构的设计与实现;

  配合大数据产品经理完成产品的快速研发与交付;

  负责大数据产品架构的持续优化设计;

  负责大数据产品核心组件设计;

  负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

  为应用开发团队提供技术支撑。

  任职要求:

  本科及以上学历,3年以上的大数据开发经验、

  2年以上大数据架构设计经验;

  丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

  熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

  精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

  有数据挖掘、机器学习相关应用或研究背景;

  沟通能力较好,积极主动意识较强,责任心较强。

大数据架构师工作的岗位职责 篇9

  职责:

  1、数据分析软件平台架构搭建

  2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

  3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

  4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

  任职要求:

  1、硕士以上,计算机或先关专业;

  2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

  3、 具备良好的组件级建模能力,熟悉HTTP、TCP等协议

  4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.

  5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署

  6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师工作的岗位职责 篇10

  职责:

  1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;

  2、负责掌握第三方接口的调用和功能实现,持续优化服务性能和容量,并保证产品的兼容性和执行效率;

  3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护,确保项目进度和质量;

  4、协助制定测试计划,及时发现并修复BUG,实现服务端的性能优化。

  任职资格:

  1、大学本科3年以上工作经验,计算机相关专业;

  2、熟悉软件项目开发流程,具有良好编码风格及文档编写能力;

  3、熟悉Linux服务器相关技术,能够独立完成服务器部署,具有相关经验;

  4、熟悉Hadoop/Spark框架,JAVA基础扎实;

  5、熟练使用Mysql数据库,了解MongoDB或neo4j等分布式数据库;

  6、熟悉SpringCloud,SSM,Docker,redis开发者优先;

  7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;

  8、了解Socket网络编程、MQTT等,有相应实践经验者优先;

  9、有智能语音语义、知识图谱服务端开发经验者优先。

大数据架构师工作的岗位职责 篇11

  职责:

  1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

  2.梳理公司各业务线常用的指标和维度,统一指标定义口径

  3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

  4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

  5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

  岗位要求:

  1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

  2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具

  3.精通一种主流关系数据库(如mysql等),熟悉Hive开发

  4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

  5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构师工作的岗位职责 篇12

  职责:

  1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

  2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

  3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

  4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

  任职要求:

  1、本科及以上计算机相关专业毕业;

  2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括Storm、SparkStreaming等;

  3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;

  4、掌握常见数据流接入工具,包括Flume、kafka等;

  5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

  6、掌握一种或以上实时处理语言,如JAVA、SCALA、PYTHON等,有SCALA经验者优先;

  7、有实际大规模数据(TB级以上)处理经验优先;


大数据架构师工作的岗位职责相关文章:

大数据架构师工作的岗位职责

大数据架构师工作的岗位职责(精选12篇)大数据架构师工作的岗位职责篇1职责:1、负责spark,hadoop,flink等开发和优化。2、参与前期需求沟通和分析...
推荐度:
点击下载文档文档为doc格式

精选图文

  • 环保局实习总结15篇
    环保局实习总结15篇

    环保局实习总结【15篇】实习过程中,通过实际操作和参与环境保护项目,可以研究到更多的环境保护知识和技能,包括环境监测、环...

  • 环境艺术设计实习总结15篇
    环境艺术设计实习总结15篇

    环境艺术设计实习总结【15篇】通过实习,可以将在学校学到的环境艺术设计理论知识应用到实际项目中,加深对设计理论的理解和掌...

  • 急诊科实习总结15篇
    急诊科实习总结15篇

    急诊科实习总结(15篇)熟练掌握各项急诊操作技能,以及各科专业的理论知识和急救操作,不断培养耐心、细心和爱心,还提升了自...

  • 急诊实习总结15篇
    急诊实习总结15篇

    急诊实习总结【15篇】急诊实习是在护理专业教育中非常重要的环节之一,可以让学生在实习中实际操作,从而提升其专业素养,通过...