קורס Python Big Data Engineer

הקורס אורך כ-9 חודשים

1. בסיסי נתונים
   1. מבוא לבסיסי נתונים – PostgreSQL
   2. טבלאות
   3. אינדקסים וסוגיהם
   4. סוגי משתנים – Data Types
   5. חוקיות – Constraints – וסוגיהם
   6. טריגרים – Triggers
   7. מהם Views ו materialised Views
   8. פיתוח SQL
      1. יצירת טבלאות ואובייקטים בבסיס הנתונים – DDL
      2. כתיבת שאילתות – SELECT
      3. כתיבת עדכונים והכנסת נתונים לבסיס הנתונים   – DML
      4. כתיבת שאילתות אנליטיות מורכבות
      5. כללי אצבע ואופטימיזציה לשאילתות SQL
   9. פיתוח Stored procedures
2. ארכיטקטורה של בסיסי נתונים
   1. יוזרים והרשאות
   2. מבנה קבצים
   3. מהי הארכיטקטורה של בסיס נתונים – הרכיבים תשתיתיים ממנו הוא בנוי והתהליכים
   4. מהי רפלקציה וקלסטר
   5. כיצד מבצעים גיבויים ושחזורים
3. מבוא ל-Python
   1. לוגיקה
   2. מהי שפת מכונה
   3. מהם היתרונות של Python על שפות אחרות
   4. תוכנית ראשונה – Hello World
   5. סוגי משתנים – Data Types
   6. מערכים – Lists
   7. אופרטורים – Operators
   8. מחרוזות –  Strings Formatting
   9. אופרטורים על מחרוזות – String Operators
   10. תנאים – Conditions
   11. לולאות – Loops
   12. פונקציות – Functions
   13. Dictionaries
4. Python למתקדמים
   1. מה זה שפת מונחית עצמים?
   2. Classes and Objects
   3. Modules and packages
   4. Data Science and Data engineering Modules
      1. Numpy Arrays
      2. Panda Basics
   5. Web Services Development – Using Flask
   6. Generators
   7. List Comprehensions
   8. Lambda functions
   9. Multiple Function Arguments
   10. Regular Expressions
   11. Exception Handling
   12. Sets
   13. Serialization
   14. Partial functions
5. Code Introspection
6. Closures
7. Decorators
8. Map, Filter, Reduce
9. ETL and Data Pipelines Development
   1. ETL best Practice
   2. ETL tools
   3. Data Pipeline Development Using Python
   4. Data pipeline Development Using Apache Air Flow
   5. Introduction to Apache Spark
   6. Data Pipeline Stream Development Using Spark
10. Working with Linux
    1. היכרות עם מערכת ההפעלה של לינוקס והשימוש הרחב שלה בעולם
    2. פקודות חשובות
    3. עריכת קבצים עם VIM Editor
    4. כתיבת shell script והרצת תהליכים בסביבת לינוקס
    5. כיצד לנטר את השרת והאפליקציה
    6. הגדרת תזמונים – job scheduler / crontab
    7. מבנה ספריות
    8. לוגים חשובים
    9. תיקשורת
    10. דיסקים
11. NoSQL Databases
    1. מה זה בסיס נתונים NoSQL  ומתי נשתמש בכזה
    2. ארכיטקטורה של בסיס נתונים NoSQL
    3. Developing Data Pipeline With Elasticsearch
    4. Developing Data Pipeline With Cassandra
12. Cloud Services
    1. מה זה cloud? מתי נעשה בו שימוש ומדוע הוא כה נפוץ?
    2. AWS – Amazon Cloud
       הסבר + הקמה + תחזוקה
       1. EC2
       2. RDS
       3. S3
       4. SDK
    3. GCP – Google Cloud
       הסבר + הקמה + תחזוקה
       1. Compute Engine
       2. Cloud SQL
       3. GCS
       4. SDK
13. Big Data Platforms
    1. Hadoop and its services
    2. Cloud Services – Google Big Query , Amazon Athena , redshift
    3. Kafka
    4. Developing Data Pipeline with Big Data Platform