Data Engineer Data Engineer’s role, responsibilities, skills , and what is the background they come from? More and
Data Warehouse is a data platform where organisations store all their information from external or internal sources .
MySQL 8 Galera Cluster High Availability In MySQL 8 Galera Cluster Installation we described how to set up
MySQL Galera Cluster Introduction MySQL Galera cluster is the common solution for MySQL high availability and bring
DBA אחראי על מאגרי הנתונים של הארגון. מהרגע בו נכנסים הנתונים אל מאגרי המידע, יש לדאוג שהם יכתבו בצורה מהירה, ישמרו באופן קבוע, המידע יהיה אמין ללא כפילויות וחוסרים כדי שניתן יהיה להריץ שאילתות ולחקור את הנתונים בצורה מהירה על ידי המערכות והמשתמשים השונים.
בעולמנו היום קיימים מספר רב של בסיסי נתונים עם טכנולוגיות שונות. זה יכול להיות בסיסי נתונים רלציונים RDBMS כגון Oracle, MySQL, SQL Server-ו-PostgreSQL, בסיסי נתונים NoSQL או פלטפורמות BigData.
כך ש-DBA נדרש למומחיות גבוהה בשביל להכיר ולנהל בצורה מיטבית את הפלטפורמות האלה כדי שמערכות הארגון יתנהלו בצורה נאותה ללא בעיות ביצועים, נפילות של סביבות ה data ותקלות שונות של איבוד מידע או רפלקציות לא מתפקדות. התפקיד הזה נקרא היום dataops.
ה-DBA בארגון אחראי על פלטפורמות הדאטה שיתפקדו כראוי, שתהיה להם שרידות גבוהה כך שבסיסי הנתונים ימשיכו לתפקד גם כאשר יש תקלה באחד מהשרתים או שה Data center הראשי נפל. כמו כן, ה-DBA אמור לדאוג לגבות את בסיסי הנתונים השונים ובמידת הצורך לשחזר את המידע בשל כשל תשתיתי, באג באחד המערכות שהכניסה/עדכנה דאטה באופן שגוי או תקלת אנוש.
מעבר לצד התשתיתי שצריך להיות עם הביצועים הטובים ביותר, על ה-DBA לדאוג שגם התוכן של הדאטה נשמר כראוי בבסיס הנתונים. ה-DBA אחראי על ה-schema design לוודא שמבנה הסכימה של בסיס הנתונים הוא נכון ואופטימלי, שהשדות מוגדרים עם ה-data types והגודל הנכון. לוודא שיש אינדקסים על השדות הנדרשים, כך ששאילות ירוצו בצורה מהירה, ליצור partitions על הטבלאות הגדולות ועוד.
על ה-DBA לוודא באופן שוטף ששאילתות ה-SQL רצות באופן תקין ואופטימלי, כך שלא ייווצר מצב בו קיימת שאילתא אפילו אחת שרצה הרבה זמן ולוקחת משאבים מהמכונה של בסיס הנתונים, הגורמת לאיטיות כללית לכלל המערכת.
לנטר אחר שרתי בסיסי נתונים לוודא שהם אינם צורכים משאבי מעבד, זיכרון או דיסק גבוהים, נתח את הסיבה ולפתור אותה.
כל בסיסי הנתונים RDBMS תומכים גם ב-stored procedures ,functions ו-triggers, המאפשרים לכתוב את קוד ולהוסיף לוגיקה לשכבת בסיס הנתונים. ה-DBA אחראי על הקוד הזה לכתוב אותו או לוודא שהמפתחים השונים כותבים את הקוד בצורה יעילה.
בימינו, כאשר נעשה שימוש גדול יותר בבסיסי נתונים מבוססי קוד פתוח, NoSQL וכן פלטפורמות BigData ה-DBA, חלק נכבד בתפקיד של ה-DBA הוא לשמש גם כ-Data Engineer ולכתוב תהליכי Data pipelines ב-python כדי למשוך מידע ממקורות שונים לעבד אותו ולכתוב את הדאטה בצורה אופטימלית לבסיס הנתונים הנדרש (ETL) יכול להיות Data lake או Data warehouse.
בעידן הענן כאשר הרבה מבסיסי הנתונים רצים ב cloud על ה-DBA להכיר ולשלוט היטב את סביבות ה cloud הפופולריות כגון Google Cloud ו-Amazon AWS בכל השירותים הקשורים לבסיס הנתונים כדי לדעת לנהל אותם בצורה מיטבית גם בצד התשתיתי וגם האפליקטיבי.
כיום ארגונים מחפשים: DBA Oracle, DBA MySQL, DBA SQL Server DBA שעושה הכל או Big Data DBA
ארגון שכמות הדאטה שלו גדולה עם כמות גבוהה של כתיבות וקריאות לשנייה צריך מומחה DBA כדי שסביבות הדאטה ירוצו בצורה אופטימלית ולהימנע מתקלות באופן פרואקטיבי.
בעיות ביצועים ותקלות עולות הרבה כסף לארגון DBA מומחה או database expert יכול לחסוך הרבה תקלות, לצמצם את כמות המשאבים והמכונות הנדרשת באמצעות אופטימיזציה של בסיסי הנתונים, לחסוך זמן פיתוח וטיפול בתקלות חוזרות על ידי צוותי ה-DevOps
חברת SeaData כאן לסייע.
