大数据运维工程师的工作职责

大数据运维工程师的工作职责（精选21篇）

大数据运维工程师的工作职责 篇1

　　职责：

　　1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

　　2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

　　3、负责和参与自动化运维系统及平台的建设;

　　4、负责优化部门运维流程提升运维效率。

　　任职要求：

　　1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;

　　2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

　　3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;

　　4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;

　　5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

　　6、具备较好的沟通能力、主动性和团队合作精神。

大数据运维工程师的工作职责 篇2

　　1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的稳定可用;

　　2.负责集群容量规划、扩容及性能优化;

　　3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

　　4.设计实现大规模分布式集群的运维、监控和管理平台;

　　5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

　　6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

　　7.参与例如服务器维护、项目维护、监控维护等常见运维事务

大数据运维工程师的工作职责 篇3

　　职责：

　　1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等开源组件;

　　2. 完成大数据自研平台工具运营，比如报表平台、调度平台和性能监控平台;

　　3. 提升系统可靠性，完善监控策略，优化运维流程，提升部门运维效率，保证7*24服务;

　　4. 参与开源社区建设，提升公司开源影响力;

　　任职条件：

　　1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等开源组件的搭建、维护以及问题定位;

　　2. 熟悉Linux操作系统，熟练掌握Linux常用命令,了解ansible/puppet;

　　3. 熟练掌握shell/python/java;

　　4. 熟悉hive/spark sql工作原理，熟悉SQL语法，掌握数据库的维护工作;

　　5. 对自动化运维有一定见解，使用过各种开源工具完成日常运维工作;

　　6. 有大数据平台维护经验优先;

　　7. 掌握dockerfile，了解大数据与k8s结合者优先;

　　8. 参与开源社区，有代码贡献或者高质量博客文章者优先;

大数据运维工程师的工作职责 篇4

　　职责：

　　1、负责大数据平台架构的规划、设计、搭建;

　　2、负责大数据平台的运维保障工作;

　　3、负责运维相关数据分析，以及报表产出;

　　4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

　　5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;

　　6、研究跟进大数据架构领域新技术并分享。

　　工作要求：

　　1、熟悉大数据产品生态圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

　　2、精通Linux/Unix系统;

　　3、有数据分析经验优先，精通一门以上脚本语言(shell/perl/python等)，熟悉java/C/C++/Golang等开发语言一种及以上;

　　4、有2年以上大数据平台相关运维开发经验，了解分布式平台运行的原理，并有实际部署维护经验;

　　5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;

　　6、良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强。

大数据运维工程师的工作职责 篇5

　　职责：

　　1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;

　　2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;

　　3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;

　　4、设计实现大规模分布式集群的运维、监控和管理平台;

　　5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

　　6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

　　岗位要求：

　　1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

　　2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;

　　3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

　　4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

　　5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;

　　6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;

大数据运维工程师的工作职责 篇6

　　1. 负责应用系统的管理与维护。部署、监控、扩容。

　　2. 负责平台故障的应急处理与跟踪解决。

　　3. 负责服务器的日常运维。

　　4. 参与运维工作的自动化建设。

大数据运维工程师的工作职责 篇7

　　职责：

　　1、负责公司应用等各种服务的部署、运维、优化等工作;

　　2、负责公司应用产品平台和项目的运维、优化等工作(操作系统、网络、存储、数据备份、日志管理等方面);

　　3、负责公司应用产品平台和项目，做到7*24快速响应;

　　4、负责处理系统方面日常变更、控制突发情况，对疑难问题进行分析并解决;

　　5、研究制定运维策略、预案和相关解决方案;

　　6、负责公司应用平台和项目的上线部署;

　　7、负责现网服务器规划与维护。

　　任职要求：

　　1、本科以上学历，计算机相关专业，5年以上工作经验，精通各种常用linux中间件使用及调优，如tomcat，nginx，apache，memcache,varnish等;

　　2、熟悉分布式文件系统，有应用实践案例，如GlusterFS,Mogilefs,GFS,FastDFS等;

　　3、熟练应用OpenStack，Xen，Kvm，vmware，有私有云搭建经验优先;

　　4、精通Shell编程，至少熟悉一门以下语言：Perl，python，php;

　　5、熟悉Nosql，如redis，MongoDB;

　　6、熟悉集群、负载均衡，LVS，Haproxy，corosync,keepalive;

　　7、熟练应用各种系统管理工具：ansible，puppet与saltstack;

　　8、具有良好的团队协作能力和服务意识，有一定的沟通、写作能力，可以独立撰写报告。

大数据运维工程师的工作职责 篇8

　　职责：

　　1.负责机房基础设施及服务器、交换机的日常维护巡检，保持机房运行环境的良好状态;

　　2.对数据中心机房服务器、网络等设备进行安装、硬件维护、故障处理等工作;

　　3.负责服务器系统、数据库安装与维护管理;

　　4.负责公司网络平台的运行监控与维护;

　　5.进行路由器等网络设备的维护管理，并对网络优化及办公室病毒查杀进行合理规划;

　　6.对公司电脑、及IT周边设备故障维护;

　　7.负责VPN网络、VOIP网络建设和维护，技术档案维护。

　　8.对泛微OA系统、SAP系统开发与维护

　　任职要求：

　　1.计算机相关专业，大专以上学历;

　　2.3年以上的网络管理、服务器管理、机房管理维护工作经验;

　　3.熟悉服务器系统、数据库安装与维护;

　　4.熟悉企业级路由器、交换机、防火墙设备的设置与维护管理;

　　5.精通windows，AD域 、DHCP、DNS搭建与管理，熟悉exchange邮箱服务器的管理

　　6.熟悉应用系统架构，对OA系统、ERP软件有维护经验

　　7.注重服务意识，责任心强，性格开朗，工作积极主动，能接受勤奋工作氛围，有一定的抗压能力，敢于承担。

大数据运维工程师的工作职责 篇9

　　职责：

　　1、负责公司云平台服务器、机房服务器的管理、维护;

　　2、负责对公司相关业务平台(APP、web 网站、数据库等)的网络规划、服务器规划;

　　3、负责对公司相关业务平台运行的安全性和稳定性，对服务器系统漏洞能及时发现和修补;使用脚本对服务器和项目的性能和资源进行监控;

　　4、负责网络服务器数据备份、安全策略、稳定运行。

　　5、负责相关系统运维文档的撰写、整理和更新。

　　岗位要求：

　　1、计算机等相关专业毕业，一年以上网络系统维护工作;

　　2、熟练掌握腾讯云、阿里云相关产品应用，包含但不限于云服务器、云数据库、负载均衡、CDN、文件存储、数据传输、服务器安全等应用的配置搭建和操作;

　　3、熟悉常用服务器系统软件的部署和调优，常用网络监控软件的部署和使用，具有良好的网络安全意识;

　　4、具备良好的沟通协调能力和团队协作能力，具备良好的职业道德和职业操守。

大数据运维工程师的工作职责 篇10

　　职责：

　　1、负责为用户提供相关核心业务系统的综合性运维服务工作;

　　2、负责处理解决系统及相关设备使用过程中所产生的各类技术和业务问题;

　　3、负责对客户现场紧急事件进行响应支持，按照规定时间到达客户现场;

　　4、熟悉客户业务及系统运行情况，定期检查客户系统运行情况，提前预防问题的发生;

　　5、完成上级主管分配的任务、及时向上级主管反馈工作进度情况;

　　任职要求：

　　1、计算机或财务相关专业，大专以上学历，年龄22～35岁;

　　2、具有表达能力和沟通能力，有良好的服务意识;

　　3、具有良好的学习能力，勤于钻研、团队意识强、抗压能力强;

　　4、专业基础扎实，能与技术开发人员进行技术逻辑方面的沟通;

　　6、会基本SQL语句，能从数据库中查找简单问题;

　　7、从事过软件实施、系统维护者优先考虑;

大数据运维工程师的工作职责 篇11

　　职责：

　　1、负责公司物流平台项目的实施和维护工作。

　　2、负责现有软件系统的运行维护及监控，提供IT软硬件方面的服务和支持，保证系统的稳定，包括但不限于日常巡检、问题排查、跟踪和统计;

　　3、负责用户终端电脑(操作系统、软件更新、杀毒、木马查杀等)、打印机的维护;

　　4、负责系统相关外设的资产管理和维护，包括但不限于手持终端、条码打印机、扫描枪、便携式打印机等;

　　5、完成领导布置的其他工作。

　　要求：

　　1、 计算机或电子商务相关专业，本科以上学历;

　　2、 熟悉TMS系统，有一定的编程能力为佳;

　　3、 具有良好的工作责任心和团队合作精神;

　　4、 语言表达清晰、善于沟通，有较好的文档编写能力;

　　5、 二年以上项目实施经验，有物流行业工作背景优先录用。

大数据运维工程师的工作职责 篇12

　　职责：

　　1、负责日常桌面维护，负责公司内部服务器的维护，包括公司电话系统，视频会议系统，安防系统，办公电脑，打印机、投影仪等周边设备;

　　2、负责网络的维护、管理、故障排除等日常工作，负责公司机房设备的日常巡检，确保网络日常的正常运作;

　　3、执行公司信息安全策略、日常操作规范和制度;

　　4、维护公司计算机、服务器系统软件和应用软件，同时为其他部门提供软硬件技术支持;

　　5、解决排除各种软硬件故障，编制汇总故障、问题，定期提交汇总报告;

　　6、数据数据库的常用操作和维护，并根据要求形成相关统计报告。

　　7、IT运维相关流程的规划、设计、推行、实施和持续改进。

　　任职资格：

　　1、通信、计算机等相关专业，本科或以上学历，有相关工作经验者优先;

　　2、善于维护网络的安全，可熟练进行网络设备的基本维护和故障处理;

　　3、英语良好;

　　4、较强的分析能力;

　　5、良好的沟通技巧及团队合作能力。

大数据运维工程师的工作职责 篇13

　　职责：

　　1. 负责完成数据中心日常运维，巡检，记录等工作

　　2. 负责完成数据中心相关硬件日常维护，包括网络、系统、存储、数据库、安全、云平台等

　　3. 负责完成数据中心沟通及配合业务上线

　　4. 负责完成领导交办的其他事项

　　任职资格：

　　1. 本科以上学历

　　2. 一年以上IT运维相关工作经验

　　3. 熟悉路由器、交换机、防火墙等网络设备(H3C，华为等)。

　　4. 熟练掌握常见DELL、浪潮等服务器基本操作。

　　5. 熟练运用常见操作系统，如Linux,windows

　　6. 基本了解浪潮等常见存储

　　7. 基本了解常见安全设备，如IPS、IDS、WAF、Soc等。

　　8. 基本了解常见数据库，如oracle Mysql

　　9. 熟练使用ppt、excel、word等office软件

　　10.工作认真负责，踏实稳重。

　　11.良好的理解能力，表达能力

大数据运维工程师的工作职责 篇14

　　职责：

　　1、 负责维护短信管理平台的系统部署、日志监控、应急响应、平台升级以及日常的维护等;

　　2、 负责linux服务器的日常维护及文件备份，保护文件安全和权限分配，维护系统的正常运作，Linux应用程序的配置，管理;

　　3、 负责对接落地资源、接入资源;配置客户数据，为客户提供技术支持;优化落地线路、资源调度，使客户质量指标达到。

　　4、 检测短信通道的运行情况，远程重启短信平台服务器，激活短信通道;

　　5、 用mysql进行各种业务的数据统计分析。

　　任职资格：

　　1、 计算机或相关专业大专以上学历，1年以上系统运维或相关工作经验;

　　2、 熟练使用VOS系统、linux、mysql、shell等脚本命令;

　　3、 对公有云产品(阿里云)有一定的经验和了解;

　　4、 丰富的IT平台监控、系统运维经验;

　　5、 熟悉Mysql、oracle数据库以及redis编程者优先;

　　6、 熟悉Java/Shell/PHP/Python等一种语言者优先;

　　7、 有团队精神，具有钻研精神、具有较强的自主学习性;

　　8、 沟通能力强，有强烈的客户服务意识;

　　9、 具有较强的责任心，能够在一定压力下工作，积极主动、认真踏实、独立解决问题的能力。

大数据运维工程师的工作职责 篇15

　　1、负责OA系统的实施与维护;

　　2、负责各类数据库系统的运维及数据备份,保障相关业务系统的正常运作;

　　3、对自开发系统的需求收集分析，实施培训，后期运维等工作;

　　4、对系统优化的内容进行汇总，优化后进行系统培训，以及发布优化后的操作文档;

　　5、执行上级领导交代的任务。

大数据运维工程师的工作职责 篇16

　　职责：

　　1、负责公司软硬件系统的日常维护及管理工作并及时解决相关技术问题，了解监控系统、综合布线、广播系统、门禁等;

　　2、负责集团网络的管理及维护，确保通讯顺畅、系统稳定;

　　3、负责局域网络搭建及维护，对用户终端提供相应的技术支持;

　　4、总部机房管理，日常服务器维护检查运维等。

　　任职资格：

　　1、电子信息，计算机等相关专业、可接受应届生 实习生;

　　2、掌握常用网络及通讯设备的安装及配置，具备良好的动手能力和排障能力，较强的学习能力。

　　3、具有较强的沟通协调能力、团队意识、吃苦精神以及责任心;

　　4、良好的语言表达能力，沟通能力，能够适应出差安排。

大数据运维工程师的工作职责 篇17

　　职责：

　　1、负责智能机器人后台服务系统的日常维护，保证用户正确、有效地使用系统。

　　2、负责对系统的运行状态进行监控，发现并排查系统出现的故障。

　　3、负责系统的维护工作进行收集、整理和深入分析，发现系统运营中存在的问题和隐患，及时提出系统优化建议。

　　4、负责开发、测试和生产环境版本发布。

　　5、公司日常信息系统的维护。

　　任职资格：

　　1、全日制本科及以上学历，计算机相关专业。

　　2、二年以上系统维护岗位工作经验，有互联网公司IT工作经验。

　　3、掌握Linux操作系统的常用命令及基本操作、熟悉MongoDB数据库的常用操作，熟悉数据库的Sql语句(Sql常用语法)、对J2EE架构有基本的了解，具备JAVA开发经验者优先。

　　4、理解负载均衡架构等领域技术工作原理及其异常诊断、调优，熟悉nginx，tomcat，keepalive，zookeeper等)。

　　5、做事有条理，对待工作认真负责，沟通能力强，有良好的服务意识

大数据运维工程师的工作职责 篇18

　　职责：

　　1、负责公司大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

　　2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;

　　3、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的Hadoop、Spark运维技术及发展方向;

　　4、具备ownership，故障排查能力，有很好的技术敏感度和风险识别能力;

　　5、良好的服务意识，主动思考，自我驱动力。

　　任职资格：

　　1、熟悉RedHat、CentOS、Ubuntu系列Linux系统的配置、管理、内核优化。能够独立编写(Shell/Python)脚本语言，脚本开展日常服务器的运维;

　　2、熟悉hadoop生态圈Hadoop, Kafka, Zookeeper, Hbase, Spark、YARN、Elasticsearch、Storm、Tomcat的安装、调试和运维经验; 熟悉分布式日志分析系统ELK及相关技术;

　　3、熟悉软硬件设备，网络原理，有丰富的大数据平台部署，性能优化和运维经验; 了解运维高容量、大流量、大并发Web系统的业务知识以及解决方案;

　　4、工作认真负责，有较强的学习能力，动手能力和分析解决问题的能力;

　　5、能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作任务;

　　6、mongodb、mysql等配置、调优和备份。

大数据运维工程师的工作职责 篇19

　　职责：

　　负责运维平台的开发，推进自动化运维体系建设

　　负责制定运维流程，负责运维技术文档编写

　　负责新技术架构测试研究，推动架构和部署优化

　　参与公司私有云建设规划

　　职位要求：

　　计算机相关专业，3年以上linux系统运维工作经验

　　熟练使用python，至少熟悉一种web框架flask/django/tornado框架

　　具有持续集成和持续交付经验，熟悉Jenkins等工具

　　熟悉saltstack,ansible等配置管理工具，并能进行二次封装开发

　　具有网络/系统/web安全等方面的理论基础，具备恶意代码检测、入侵检测，安全漏洞分析能力

　　具有良好的文档编写习惯和技术分享意识

　　熟悉容器技术虚拟化技术者优先

大数据运维工程师的工作职责 篇20

　　职责：

　　1、企微云平台的日常运行管理，处理各种运维事故及事件;

　　2、负责企微云应用的部署;

　　3、负责服务器的规划、调试优化、日常监控、故障处理、数据备份、日志分析等工作;

　　4、参与运维流程制定，确保任何突发情况都能高效响应;

　　5、整理各类运维文档，沉淀经验。

　　工作要求：

　　1、本科及其以上学历，3年以上互联网公司Linux运维相关经验;

　　2、精通zabbix监控系统的搭建和维护，能够开发自定义脚本;

　　3、熟悉Nginx/Apache/Tomcat等Web应用服务器部署、优化;

　　4、熟悉数据MySQL数据库集群的部署，监控，优化;

　　5、有Elastic Search、Mongodb、Hbase等部署、监控、优化经验的优先考虑。

大数据运维工程师的工作职责 篇21

　　职责：

　　1、负责综合经营管理系统的事件处理、问题解决、知识积累，配合执行变更发布、配置管理、数据维护;参与系统安装、交接测试等工作;

　　2、负责根据业务部门提出的优化(bug修订)、变更、改进、完善等新需求，在现有应用系统的基础上从事分析设计、编程开发、测试交付等工作。

　　任职要求：

　　1、大学本科以上学历，三年以上工作经验，至少一年.NET开发经验;

　　2、精通Asp.net(C#)、JQuery，XML、CSS、AJAX等语言或Web技术，能独立完成系统bug修订，系统优化，包含需求变更修改;

　　3、熟悉Windows Service、Web Service/WCF以及多线程编程技术;

　　4、理解.net多层机制， 熟练掌握B/S模式开发;

　　5、熟悉SQL20xx数据库系统，能使用SQL进行编程，能对数据库性能进行优化;

　　6、有较强的自学能力，有良好的职业素养;

　　7、熟悉Microsoft Dynamics CRM、Sharepoint20xx开发经验者优先考虑;

　　8、善于并乐于各式沟通，具备极强的团队精神和工作热情。