大数据架构师工作的岗位职责

大数据架构师工作的岗位职责（精选12篇）

大数据架构师工作的岗位职责 篇1

　　职责：

　　1、负责spark, hadoop, flink等开发和优化。

　　2、参与前期需求沟通和分析，以产品化开发的思维，完成需求分解和数据架构设计。

　　3、与研发和数据科学家合作保证产品定义清晰，按时完成产品上线。

　　4、能够洞察市场状况，与各部门合作转化为基于大数据挖掘的新策略或方案.

　　5、主动创造和发掘新的基于大数据挖掘产品商业模式.

　　任职要求：

　　1、全日制本科及以上学历，计算机软件相关专业，5年以上开发经验，3年以上架构经验

　　2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理，流式计算开发，有开源二次开发经验者优先。

　　3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。

　　4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;

　　5、良好的跨部门沟通合作能力，解决不同观点能力并取得结果。具备敏锐的互联网产品理解力，学习能力和逻辑思维能力强;

　　6、较强的自我驱动力、推动和协调能力，强烈的责任心和团队合作精神;

大数据架构师工作的岗位职责 篇2

　　职责：

　　1、负责大数据平台技术框架的技术选型和搭建;

　　2、负责核心技术问题公关，建设高可靠性，扩展性及高性能大数据/数据应用平台;

　　3、负责规划数据挖掘的整体流程，负责大数据开发团队业务需求开发;

　　4、与其他团队密切配合，寻求数据层面的业务价值，利用数据分析结论推动产品优化;

　　5、研究和分享大数据架构领域新技术。

　　任职要求：

　　1、计算机相关专业全日制统招本科及以上;

　　2、5年以上工作经验，至少3年以上大数据项目相关工作经验，能够设计大型大数据系统的架构和技术方案;

　　3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

　　4、熟悉数据挖掘，了解典型大数据算法和策略;

　　5、熟悉主流Java技术框架，精通关系型数据库及SQL语言，熟悉NoSQL/JSON/XML;

　　6、有较强的学习能力和问题解决能力，逻辑严密、思路清晰;

　　7、有数据仓库经验者优先，有金融行业项目经验者优先。

大数据架构师工作的岗位职责 篇3

　　职责：

　　1. 负责大数据平台的基础技术规划，编制相关规范文档。

　　2. 负责大数据平台的数据采集，处理，存储以及挖掘分析的架构实现。

　　3. 负责大数据平台的实际规划建设，包括环境和框架的规划搭建以及部分核心编码工作。

　　4. 负责大数据相关技术发展方向的预研。

　　5. 参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

　　6. 制定大数据平台中数据质量，业务质量监控及管理办法。

　　岗位要求：

　　1. 全日制本科及以上学历，5年以上工作经验，4年及以上大数据架构设计经验，熟悉大数据解决方案，包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。

　　2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

　　3. 精通大型数据库Oracle、SqlServer等的开发。

　　4. 精通java，Python中的一种或多种语言。

　　5. 熟悉容器、虚拟化、微服务框架等相关技术。

　　6. 对数据敏感，有严谨的工作思路，良好的沟通能力和团队合作精神。

　　7. 熟悉R，Python，SAS、SPSS等数据挖掘经验者优先。

　　8. 高宽展性，高性能，和分布式系统的实践及运维经验者优先。

　　9. 有大型数据仓库实施、大数据平台数据开发经验，熟悉运营商业务者优先。

大数据架构师工作的岗位职责 篇4

　　职责

　　1、负责大数据架构设计，包括定义数据的存储、集成(ETL)、应用，支撑业务运营和数据分析类需求实现;

　　2、制定数据治理领域的数据体系化管理措施，包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作，确保数据可信与安全;

　　3、基于行业数据积累，满足业务的数据挖掘需求，实现从数据到资产的转变，根据目标行业建立具有前瞻性的数据模型;

　　4、对各产品的数据安全负责，主导制定和实施数据库系统安全策略，保证整体方案数据安全;

　　岗位要求

　　业务技能要求：

　　1、深入理解云化、数据仓库，在参与过的系统设计中，必须涉及这两项关键技术;

　　n2、精通或者熟悉Hadoop体系架构，以及HDFS/HBase/Hive/MapReduce/Spark等技术，了解体系架构各组件的优缺点，有直接的产品设计与开发、部署、调优的经验;

　　3、精通或熟悉常见RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及开发，了解各数据库优缺点， 熟悉与架构设计相关的数据存储、性能调优等相关领域知识，有相关项目经验尤佳;

　　4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案，具有数据分析或数据挖掘相关经验者优先;

　　n5、熟悉数据治理相关流程，包括数据接入、数据处理、数据治理、数据组织、数据服务等。

　　专业知识要求：

　　1、具备数据治理的知识与体系方案，包含政策、组织、角色、流程、规范等，以及规划相应的支撑方案。了解业界的数据管理方法论;

　　2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别，将业务需求转化为数据的需求，完成数据用例的设计和开发;

　　3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。

大数据架构师工作的岗位职责 篇5

　　职责：

　　1、负责DMP技术架构设计与构建，根据业务规划及技术规划制定应用架构方案;

　　2、负责设计构建DMP数据采集、存储及分析框架，设计数据处理的技术流程和规范;

　　3、负责核心功能的架构与代码模板编写，开发与维护系统公用核心模块;

　　4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

　　岗位要求：

　　1、计算机或相关专业本科以上学历，三年以上的开发经验，二年以上大数据相关软件架构的实际经验;

　　2、精通大数据处理技术，熟悉Hadoop/Storm技术体系，有Hadoop、Hive、Hbase项目经验;

　　3、具有较强的架构能力，具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

　　4、对数据敏感，洞察力强，了解国内外广告发展趋势;

　　5.、擅长系统分析与设计，精通常用的设计模式，擅长性能调优;

　　6、熟悉DMP/RTB技术原理，了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。

大数据架构师工作的岗位职责 篇6

　　职责：

　　1、负责大数据基础平台的整体规划和架构设计，参与需求分析、技术决策以及详细设计;

　　2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组，解决系统中的关键问题和技术难题;

　　3、把握基础业务复杂系统的设计，确保系统的架构质量，编写核心部分代码;

　　4、持续挑战新的技术方向，攻克大数据量，高并发，稳定性等各种技术难点。

　　任职资格:

　　1、计算机或相关专业本科及以上学历;

　　2、5年以上hadoop的应用开发经验，5年以上数据仓库开发实践经验，至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

　　3、良好的编程开发能力，精通PHP及其他开发语言;

　　4、熟悉mysql等数据库经验，具备优秀的SQL编写、调优能力;

　　5、熟练掌握Linux常规命令与工具，精通shell, perl, python等脚本语言至少一种;

　　6、软件基础理论知识扎实，具有良好的数据结构、算法功底;

　　7、对新技术敏感，学习能力强，乐于接受挑战，具有良好的团队合作精神;

大数据架构师工作的岗位职责 篇7

　　职责：

　　1、负责公司大数据平台架构的技术选型和技术难点攻关工作;

　　2、依据行业数据现状和客户需求，完成行业大数据的特定技术方案设计与撰写;

　　3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;

　　4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;

　　5、参与公司大数据项目前期的架构设计工作;

　　任职要求：

　　1、计算机及相关专业本科以上，5年以上数据类项目(数据仓库、商务智能)实施经验，至少2年以上大数据架构设计和开发经验，至少主导过一个大数据平台项目架构设计;

　　2、精通大数据生态圈的技术，包括但不限于MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;

　　3、优秀的方案撰写能力，思路清晰，逻辑思维强，能够根据业务需求设计合理的解决方案;

　　4、精通ORACLE、DB2、mySql等主流关系型数据库，熟悉数据仓库建设思路和数据分层架构思想;

　　5. 熟练掌握java、R、python等1-2门数据挖掘开发语言;

　　6. 熟悉云服务平台及微服务相关架构思想和技术路线，熟悉阿里云或腾讯云产品者优先;

　　7、有烟草或制造行业大数据解决方案售前经验者优先;

　　8、能适应售前支持和项目实施需要的短期出差;

大数据架构师工作的岗位职责 篇8

　　职责：

　　负责公司大数据产品架构的设计与实现;

　　配合大数据产品经理完成产品的快速研发与交付;

　　负责大数据产品架构的持续优化设计;

　　负责大数据产品核心组件设计;

　　负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

　　为应用开发团队提供技术支撑。

　　任职要求：

　　本科及以上学历，3年以上的大数据开发经验、

　　2年以上大数据架构设计经验;

　　丰富的JAVA研发经验，精通JAVA，熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础，熟悉分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

　　熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

　　精通各种大数据相关技术体系：Hadoop、Spark、Storm、ElasticSearch、Kafka;

　　有数据挖掘、机器学习相关应用或研究背景;

　　沟通能力较好，积极主动意识较强，责任心较强。

大数据架构师工作的岗位职责 篇9

　　职责：

　　1、数据分析软件平台架构搭建

　　2、负责深度学习核心框架或高性能后台服务系统的架构设计工作，包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

　　3、指导开发人员开发，并解决系统出现的问题，理解物业需求;

　　4、制定开发计划和控制开发进度，负责指导研发团队开展设计工作;

　　任职要求：

　　1、硕士以上，计算机或先关专业;

　　2、5年左右软件开发经验，含3年以上系统分析、设计经验，有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验，

　　3、 具备良好的组件级建模能力，熟悉HTTP、TCP等协议

　　4、熟练使用UML进行软件架构设计，至少精通EA，RATIONAL， VISIO等一种设计工具.

　　5、精通至少一种编程语言，熟悉 Linux 相关技术，能独立在上面进行开发、测试和部署

　　6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师工作的岗位职责 篇10

　　职责:

　　1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;

　　2、负责掌握第三方接口的调用和功能实现，持续优化服务性能和容量，并保证产品的兼容性和执行效率;

　　3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护，确保项目进度和质量;

　　4、协助制定测试计划，及时发现并修复BUG，实现服务端的性能优化。

　　任职资格:

　　1、大学本科3年以上工作经验，计算机相关专业;

　　2、熟悉软件项目开发流程，具有良好编码风格及文档编写能力;

　　3、熟悉Linux服务器相关技术，能够独立完成服务器部署，具有相关经验;

　　4、熟悉Hadoop/Spark框架，JAVA基础扎实;

　　5、熟练使用Mysql数据库，了解MongoDB或neo4j等分布式数据库;

　　6、熟悉SpringCloud,SSM,Docker,redis开发者优先;

　　7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;

　　8、了解Socket网络编程、MQTT等，有相应实践经验者优先;

　　9、有智能语音语义、知识图谱服务端开发经验者优先。

大数据架构师工作的岗位职责 篇11

　　职责：

　　1.负责企业数据中心建设，设计数据逻辑模型和物理模型，并完成相关开发

　　2.梳理公司各业务线常用的指标和维度，统一指标定义口径

　　3.根据数据应用开发和数据分析需求，设计数据仓库信息层模型，提高数据开发的效率

　　4.负责数据模型的运营和优化，及时响应业务逻辑变更，保证模型的数据质量和稳定性

　　5.负责公司数据标签体系的建设，并推动标签体系在实际业务场景中落地

　　岗位要求：

　　1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

　　2.有较强的数据分析能力，精通数据仓库架构，熟悉Erwin或PowerDesigner建模工具

　　3.精通一种主流关系数据库(如mysql等)，熟悉Hive开发

　　4.有电商业务经验，元数据管理，数据质量管理或标签体系搭建经验者优先

　　5.优秀的协调沟通与团队协作能力，极强的责任心，能承受一定的工作压力，认同企业文化和团队价值

大数据架构师工作的岗位职责 篇12

　　职责：

　　1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

　　2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

　　3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;

　　4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;

　　任职要求：

　　1、本科及以上计算机相关专业毕业;

　　2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等;

　　3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;

　　4、掌握常见数据流接入工具，包括Flume、kafka等;

　　5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

　　6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先;

　　7、有实际大规模数据(TB级以上)处理经验优先;

大数据架构师工作的岗位职责相关文章：