崗位職責:
1、負責公司大數據應用産品的平台搭建、架構優化、技(jì)術(shù)叠代和開(kāi)發維護,提供穩定的大數據平台服務;構建數據存儲、數據挖掘、數據計算(suàn)及數據服務于一(yī)體的大型分布式數據平台;
2、負責構建和維護算(suàn)法平台,對海量數據進行離線計算(suàn)、實時計算(suàn)等分析挖掘;協同數據分析師(shī),根據業(yè)務場景設計并實現數據模型和服務模型,并跟進和評估模型效果,确保算(suàn)法和模型的有效落地;
3、負責整理和沉澱技(jì)術(shù)文檔,指導下(xià)級開(kāi)發人員(yuán)。
任職要求:
1、計算(suàn)機(jī)或相(xiàng)關專業(yè)本科及以上(shàng)學曆,3年(nián)以上(shàng)相(xiàng)關工(gōng)作經驗;
2、掌握操作系統、網絡、數據結構和算(suàn)法等專業(yè)知識;
3、精通(tōng)Java/Scala/Python 其中一(yī)門(mén)語言,熟悉Linux/Unix開(kāi)發環境;
4、具備一(yī)定的大型分布式系統開(kāi)發經驗,精通(tōng)大數據平台技(jì)術(shù)架構設計和Hadoop體系相(xiàng)關技(jì)術(shù),掌握Hive、HBase、Spark、YARN、MapReduce等大數據開(kāi)發技(jì)術(shù);
5、掌握實時數據分析或離線數據挖掘技(jì)術(shù)框架,如:Spark Streaming,Kafka,Spark SQL等,熟練掌握常見(jiàn)的SQL/NoSQL數據庫原理、數據庫設計,尤其對數據存儲、查詢的原理及優化具備較深入的理解;
6、具備良好的團隊協作能(néng)力和分享精神,具有較強的問題分析能(néng)力和解決能(néng)力。