Data Engineer

Job description

مهندس داده (Data Engineer) شخصی است که وظایف شغلی آن شامل تهیه داده‌ها برای استفاده‌های تحلیلی یا عملیاتی است. وظایف اصلی مهندس داده معمولا شامل ساخت خطوط داده برای جمع‌آوری اطلاعات از سیستم‌های منبع مختلف می‌باشد. ادغام، تثبیت و پاک کردن داده‌ها، و ساختار آن برای استفاده در برنامه‌های تجزیه و تحلیل فردی.

 

 
وظایف اصلی:
نصب و راه‌اندازی ابزارهای بیگ دیتا
طراحی dimension, fact های WareHouse
مطالعه و تحقیق بر روی مسائل جدید و چالش‌های به وجود آمده
 

 

Job requirements

مهارت های تخصصی
تسلط به زبان برنامه‌نویس پایتون
آشنایی با معماری سیستم‌های داده‌های حجیم
آشنایی با فریم ورک هدوپ
آشنایی با ابزارهای هوش تجاری و kafka,sqoop,spark,hive
آشنایی با پایگاه داده‌های (postgres, mongodb, cassandra)
آشنایی با T-SQL
آشنایی با مفاهیم ETL,ELT,Data Warehouse
آشنایی با Linux
 
امتیاز:
آشنایی با docker
آشنایی با scala