大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選
大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選
大數(shù)據(jù)運(yùn)維工程師負(fù)責(zé)大數(shù)據(jù)平臺的穩(wěn)定性和性能優(yōu)化。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選。
大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選1
職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)平臺Hawq數(shù)據(jù)庫運(yùn)維;
2、負(fù)責(zé)大數(shù)據(jù)平臺Tbase數(shù)據(jù)庫運(yùn)維;
3、負(fù)責(zé)傳統(tǒng)數(shù)據(jù)(Oracle、MySQL等數(shù)據(jù)庫)數(shù)據(jù)遷移、數(shù)據(jù)同步;
4、負(fù)責(zé)日常數(shù)據(jù)庫的監(jiān)控及問題分析排查;
5、負(fù)責(zé)OGG、Kafafa等組件數(shù)據(jù)傳輸同步日常運(yùn)維;
6、負(fù)責(zé)數(shù)據(jù)庫的優(yōu)化、SQL語句的優(yōu)化調(diào)優(yōu);
7、負(fù)責(zé)數(shù)據(jù)同步的檢驗(yàn)與異常處理，確保數(shù)據(jù)的一致性、完整性、及時(shí)性;
8、負(fù)責(zé)制定數(shù)據(jù)同步方案及實(shí)施。
任職要求：
1、大專或以上學(xué)歷，計(jì)算機(jī)或統(tǒng)計(jì)類相關(guān)專業(yè)
2、有3年以上技術(shù)類或數(shù)據(jù)類的開發(fā)經(jīng)驗(yàn);
3、熟練linux 系統(tǒng)操作及l(fā)inux 運(yùn)維監(jiān)控、軟件安裝配置;
4、熟悉大數(shù)據(jù)技術(shù)，如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流數(shù)據(jù)庫mysql/sql serverl/oracle/postgreSQL等，精通SQL語句，對復(fù)雜SQL能進(jìn)行優(yōu)化，能熟練編寫存儲過程;
6、熟練Linux SHELL，可以進(jìn)行運(yùn)維SHELL開發(fā);
7、學(xué)習(xí)能力強(qiáng)，責(zé)任心強(qiáng)，具有優(yōu)秀的溝通表達(dá)、理解能力與團(tuán)隊(duì)合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系統(tǒng)，有Shell腳本編寫經(jīng)驗(yàn)的優(yōu)先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數(shù)據(jù)倉庫的實(shí)際運(yùn)維經(jīng)驗(yàn)或3年以上 HIVE、SPARK 實(shí)際項(xiàng)目運(yùn)維經(jīng)驗(yàn)
10、在實(shí)際項(xiàng)目中，有異構(gòu)數(shù)據(jù)庫遷移經(jīng)驗(yàn)，從傳統(tǒng)ORACLE,MYSQL遷移至MPP數(shù)據(jù)倉庫的實(shí)戰(zhàn)經(jīng)驗(yàn).
大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選2
職責(zé):
1. 負(fù)責(zé)公司核心集群的運(yùn)維工作, 任務(wù)調(diào)度、監(jiān)控預(yù)警，持續(xù)完善大數(shù)據(jù)平臺，保證穩(wěn)定性、安全性;
2. 負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容及集群性能優(yōu)化;
3. 基于大數(shù)據(jù)應(yīng)用需求，持續(xù)優(yōu)化Hadoop框架及組件的配置，提升性能;
任職資格：
1.大專以上計(jì)算機(jī)，通信和網(wǎng)絡(luò)相關(guān)專業(yè);
2.3年以上中等規(guī)模集群環(huán)境下的Hadoop/Impala/Hive/Spark集群相關(guān)運(yùn)維經(jīng)驗(yàn);
3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關(guān)參數(shù)調(diào)優(yōu), 性能優(yōu)化等有實(shí)際經(jīng)驗(yàn);
4.有實(shí)際踩坑經(jīng)歷, 對于相關(guān)組件的版本跟進(jìn), 補(bǔ)丁跟蹤, bug追蹤等有相關(guān)經(jīng)驗(yàn);
5.實(shí)際處理過各種集群在線版本升級, 數(shù)據(jù)遷移, 集群擴(kuò)容, 穩(wěn)定性監(jiān)控等工作;
6.熟悉Kerberos安全認(rèn)證系統(tǒng)，實(shí)施過集群權(quán)限管理, 資源隔離方面的方案規(guī)劃或二次開發(fā)工作;
7.能維護(hù)Hadoop源碼，有Hadoop 源代碼BUG修復(fù)或者源代碼優(yōu)化經(jīng)驗(yàn)者優(yōu)先;
8.有Cloudera的CM使用經(jīng)驗(yàn)尤佳。
大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選3
職責(zé)：
1負(fù)責(zé)政務(wù)云平臺、政務(wù)應(yīng)用系統(tǒng)中數(shù)據(jù)庫業(yè)務(wù)的日常運(yùn)維，保障平臺及應(yīng)用系統(tǒng)服務(wù)7*24穩(wěn)定可靠高效運(yùn)行
2負(fù)責(zé)數(shù)據(jù)庫性能調(diào)優(yōu)，了解鎖與隔離機(jī)制，協(xié)助客戶解決數(shù)據(jù)庫性能瓶頸
3制定數(shù)據(jù)庫使用規(guī)范，制定數(shù)據(jù)庫備份、升級、遷移規(guī)劃并部署實(shí)施
4參與數(shù)據(jù)庫設(shè)計(jì)工作，提高數(shù)據(jù)庫維護(hù)自動(dòng)化水平
5熟悉Linux操作系統(tǒng)，熟練使用Python，Go，Shell等至少一種語言
崗位要求：
1) 5年以上 Oracle/MySQL DBA 從業(yè)經(jīng)驗(yàn);
2) 熟練掌握 Oracle/MySQL 數(shù)據(jù)庫的基礎(chǔ)理論知識、運(yùn)行機(jī)制、體系架構(gòu)、高可用方案、備份機(jī)制、容災(zāi)機(jī)制等;
3) 熟練掌握數(shù)據(jù)庫性能優(yōu)化，了解主流的分布式數(shù)據(jù)庫 Spanner/Cassandra;
4) 熟悉 Linux/Unix 操作系統(tǒng)，對服務(wù)器硬件有一定了解;
5) 熟練掌握 golang、Python、Java 等語言中的一種;
6) 熟悉阿里云產(chǎn)品線，具備ACP認(rèn)證者優(yōu)先考慮;
大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選4
職責(zé)：
- 負(fù)責(zé)局點(diǎn)大數(shù)據(jù)平臺的部署、管理、優(yōu)化、監(jiān)控報(bào)警，保障平臺服務(wù)7*24穩(wěn)定可靠高效運(yùn)行;
- 深入理解公司大數(shù)據(jù)平臺架構(gòu)，發(fā)現(xiàn)并解決性能瓶頸，支撐業(yè)務(wù)和數(shù)據(jù)量的快速增長;
- 開發(fā)大數(shù)據(jù)自動(dòng)化運(yùn)維、監(jiān)控報(bào)警、故障處理相關(guān)腳本和工具;
- 負(fù)責(zé)Hadoop/spark/Kafka等集群服務(wù)、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等。
要求：
- 4年以上運(yùn)維相關(guān)工作經(jīng)驗(yàn)，有大數(shù)據(jù)平臺運(yùn)維相關(guān)工作經(jīng)驗(yàn)優(yōu)先;
- 具備一定的故障排查能力，有良好的技術(shù)敏感度和風(fēng)險(xiǎn)識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協(xié)議;
- 熟悉Linux(redhat/centos)軟硬件環(huán)境、系統(tǒng)管理和優(yōu)化，熟練部署、優(yōu)化各種常用服務(wù)。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發(fā)工具;
- 熟悉Hadoop大數(shù)據(jù)生態(tài)圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;
- 熟悉Hadoop各組件的原理和實(shí)現(xiàn)，有實(shí)際部署維護(hù)、管理( 包括元數(shù)據(jù)管理)及優(yōu)化經(jīng)驗(yàn)。并擁有持續(xù)調(diào)優(yōu)能力，運(yùn)維管理過大規(guī)模數(shù)據(jù)平臺;
- 熟悉掌握常用的安全協(xié)議和組件服務(wù)，對hadoop各組件的權(quán)限、安全、kerberos進(jìn)行配置管理。熟悉SSL、ACL、kerberos等在大數(shù)據(jù)環(huán)境場景的使用;
- 熟悉常用運(yùn)維監(jiān)控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關(guān)插件的開發(fā)。比如郵件、短信、微信報(bào)警插件等;
- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優(yōu)化;
- 具備良好的服務(wù)意識，善于主動(dòng)思考，自我驅(qū)動(dòng)力強(qiáng)。有良好的溝通、協(xié)調(diào)能力，富有團(tuán)隊(duì)精神，有較強(qiáng)的文檔編寫能力;
- 有大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)和閱讀源碼能力者優(yōu)先
大數(shù)據(jù)運(yùn)維工程師的職責(zé)精選5
職責(zé)：
1、負(fù)責(zé)銀行各類應(yīng)用系統(tǒng)的運(yùn)維標(biāo)準(zhǔn)制定和運(yùn)維管理等工作;
2、負(fù)責(zé)銀行各類應(yīng)用系統(tǒng)的運(yùn)行情況及相關(guān)技術(shù)的整理、分析和總結(jié)等工作;
3、負(fù)責(zé)銀行各類應(yīng)用系統(tǒng)的應(yīng)用監(jiān)控、應(yīng)用運(yùn)維體系工具的建設(shè)和維護(hù)工作;
4、負(fù)責(zé)銀行各類應(yīng)用系統(tǒng)的自動(dòng)化腳本編寫和測試工作。
招聘要求：
1、全日制一本以及以上學(xué)歷，理工類專業(yè);
2、具備2年及以上應(yīng)用系統(tǒng)運(yùn)維或應(yīng)用系統(tǒng)開發(fā)經(jīng)驗(yàn)，有銀行應(yīng)用系統(tǒng)運(yùn)維或開發(fā)經(jīng)驗(yàn)者優(yōu)先;
3、具備較強(qiáng)的文檔編寫、英語文檔閱讀能力;
4、具備良好的溝通表達(dá)能力和團(tuán)隊(duì)合作精神，具有較強(qiáng)的工作責(zé)任心和主動(dòng)性;
5、至少具備以下二項(xiàng)技能：
(1)熟悉銀行應(yīng)用系統(tǒng)體系架構(gòu)、應(yīng)用運(yùn)維標(biāo)準(zhǔn)化流程;
(2)熟悉AIX、LInux操作系統(tǒng)相關(guān)運(yùn)維工作，具備熟練的SHELL腳本編程能力;
(3)熟悉應(yīng)用軟件持續(xù)集成和持續(xù)發(fā)布交付項(xiàng)目的整體流程，熟悉Jenkins、Nexus等相關(guān)Devops工具;
(4)熟練使用容器平臺相關(guān)技術(shù)，有容器平臺管理工作、應(yīng)用容器打包的相關(guān)經(jīng)驗(yàn);
(5)熟練使用Golang或者Python編程。
相關(guān)文章：