BI ואנליטיקה 101
בינה עסקית מאפשרת לארגונים להחליט החלטות טובות יותר באמצעות איסוף נתונים ממגוון מערכות מידע פנים וחוץ ארגוניות, עיבוד הנתונים והצגתם בהקשר המתאים והנכון לצופה. שילוב של רכיבי למידת מכונה שכבר מיושם במערכות המתקדמות בשוק מאפשר להציג את הנתונים במהירות ובדיוק גבוהים יותר, ומהווה עזר של ממש המשלב בין חוכמת המכונה לבין חוכמת האדם. כיום בישראל יש אלפי ארגונים בכל סדר גודל שמשלבים מרכיבים של בינה עסקית, מערכות אלו מתוחזקות באופן שוטף על ידי מפתחי BI שכותבים קוד, משפרים את אופן החזיית הנתונים ושומרים על התפקוד התקין של המערכת.
החשיבות וההשפעה של הבינה העסקית על הארגונים
חשיבותה והשפעתה של הבינה העסקית על הארגונים היא קריטית. מנהלים מסתמכים על הבנת הנתונים בכל צומת החלטה: כאשר הם בוחנים את המצב הקיים, כאשר הם מתכננים קדימה, וכאשר הם רוצים להבין מגמות על סמך נתוני העבר. מערכות ה-BI אוספות נתונים מאינספור מקורות כולל נתונים במחסני נתונים או במאגרי נתונים, במערכות אלו ישנם רכיבים התומכים בניתוח ובדיווח, כמו כן ישנה אפשרות לבצע החזיית נתונים (הדמיה) וכריית נתונים סטטיסטיים ולהציג את ההקשרים הנסתרים בדאטה, שלרוב לא ניתן להגיע אליהם באותה המהירות ובאותה היעילות באמצעות מחקר ידני שמבוצע מחוץ למערכת.
תחום ה- BIרחב ונותן מענה לעולמות עסקיים רבים: ייצור, מכירות, רכש, פיננסיים, ניהול מלאי, שיווק, פרסום, ניהול איכות ועוד, באמצעותו אפשר למדוד את הביצועים העסקיים ולעקוב אחר קצב התקדמות העמידה ביעדים – כך עסקים מקדמים יעילות עסקית ומובילים תהליכים שמייצרים עבורם הכנסות חדשות. הטכנולוגיה של היום מאפשרת חופש פעולה שלא היכרנו בעבר, חופש שמתבטא גם בפיתוחים מורכבים באמצעות קוד פשוט יחסית וממשק API פתוח המאפשר להציג כל נתון בכל דרך – בהתאם להקשר הנכון. התצוגה הגמישה ויכולת הפיתוח המהירה מאפשרת לבצע השוואות בין ביצועי הארגון בעבר לבין אלו כיום וכן בין הארגון עצמו לבין מתחריו בשוק.
אילו כישורים נדרשים כדי להפוך למפתח BI?
תחום ה-BI שייך לעולם ההייטק. אבל בשונה מתחומים טכניים מאוד, שמצריכים היכרות עמוקה עם שפות תכנות וניסיון רב, מפתח ה-BI יכול להתחיל לעבוד באופן מעשי כבר לאחר הכשרה קצרה יחסית שכוללת את הצד הטכני לרבות למידה ותרגול של שפות פיתוח ובניית מודל ביישום ה-BI ואת הצד העסקי יותר – שמצריך בין היתר רקע עסקי, הבנת סביבות ארגוניות, יכולת עבודה בצוות, עמידה בלחצים, למידה עצמית ויכולת לתקשר מספרים בצורה בהירה וברורה.
המועמדים לקורס BI הם בוגרי תארים בכלכלה, הנדסה תעשייה וניהול או תארים כלליים, בעלי רקע בסטטיסטיקה שצברו ניסיון עסקי בתחומי המכירות, ההדרכה והתפעול. כמפתחי BI הם מיישמים את הידע וההבנה הטכנית יחד עם הניסיון המעשי-עסקי שלהם, וכך מצליחים לתרגם את הדרישות העסקיות לשפה הטכנולוגית. מלבד פיתוחים של מודלים, דוחות, תצוגות ועוד מפתח ה-BI נדרש לתחזק באופן שוטף את מערכת ה-BI לטעון נתונים למערכת ולהפיק שאילתות ב-SQL. כמו-כן הוא יידרש להתאים את המערכת למציאות העסקית המשתנה, להטמיע כלים חדשים, להתממשק למקורות מידע נוספים ולהמשיך לפתח את המערכת בהתאם לבקשות המשתמשים.
ידע בתהליך ETL
תהליך ה ETL (Extract, Transform, Load) הוא אחד המרכזיים והחשובים במערכת הבינה העסקית הארגונית. ראשית, תהליך זה מאפשר לאחד נתונים ממגוון מקורות ביעד אחד, ושנית לטייב את נתונים מתבניות שונות ולבצע מניפולציה על הנתונים שתומכת בלוגיקה העסקית של הארגון. לדוגמא ביצוע העמסת עלויות קבועות על עלות הפריט הבודד על מנת לחשב את הרווחיות בצורה נכונה יותר.
כלי ה-ETL משמש ליצירת אוטומציה לתהליך ידני ולבצע אינטגרציה בין מספר מערכות. שתי פעולות אלו יחסכו זמן פיתוח יקר, ימנעו הקלדות חוזרות וכפועל יוצא מכך יצמצמו טעויות אנוש. האינטגרציה בין המערכות תיצור "אמת ארגונית" אחת שבה איש המכירות מדבר באותה השפה ובאותם המושגים כמו איש הייצור. כפי שהוצג, תהליך ה-ETL פועל בשלושה שלבים – גזירה (Extract) משיכת נתונים ממערכות תפעוליות לטבלאות ביניים לצורך בדיקת תקינות הנתונים, העברה (Transform) מיפוי ושינוי נתונים בהתאם להגדרות יעד האחסון וטעינה (Load) העברת הנתונים מטבלאות הביניים אל טבלאות ייעודיות בשרת האחסון, הוספה, מיזוג ומחיקת רשומות.
לא רק טכנולוגיה
קורס פיתוח BI מאפשר גם לאקדמאים ללא השכלה הנדסאית להשתלב בתפקידי מפתח בתעשיית ההייטק הישראלית והעולמית ולעסוק בתפקיד טכנולוגי, משתנה, מאתגר ומעניין. במסגרת ההכשרה הסטודנטים לומדים על עולמות הדאטה והפיתוח אך גם מתרגלים את כישוריהם העסקיים באמצעות דוגמאות חיות מהשוק. לכן הניסיון הניהולי והידע התפעולי שהמועמד צבר במקצועות אחרים משמשים אותו כמנוף להצלחה בתפקיד החדש. כיום ניתן לראות בוגרי קורס פיתוח BI מעולמות המכירות, ההדרכה, הניהול הלוגיסטי, שירות הלקוחות, הייצור ומעולמות עסקיים נוספים – שצברו ניסיון תפעולי וניהולי בתחומים ומעוניינים לתעל את הידע שלהם לתחום שנמצא בהתפתחות מתמדת.
הנה מספר דוגמאות מעשיות ליישום ידע מקצועי בתחומי עשייה אחרים בעולמות ה-BI: אם יש לכם רקע במכירות, הרי שהתנסיתם בעבודה עם קהלים שונים, הייתם צריכים לתרגם רצונות למוצרים ולשירותים, הייתם צריכים להתאים את עצמכם לשפת הלקוח ולסגנונו – הייתם אנשים של אנשים. אף שמפתח ה BI- עובד "מאחורי הקלעים" בחלק עיקרי של הזמן הוא לומד את הצרכים העסקיים, מתרגם אותם ומפתח אותם בכלים טכנולוגיים. כדי שיצליח בתפקידו יהיה עליו לשלב מיומנויות תקשורתיות גבוהות המבוססות על יכולת תשאול, הכוונה, הדרכה ותודעת שירות.
דוגמה נוספת ורווחת לא פחות היא הסבה של אנשים מתחומי ההדרכה או אנשי צוות תמיכה טכנית לעולם ה-BI. כמדריכים וכתומכים נדרשתם להקשיב למשתמשי המערכת, לעקוב אחר אופן ביצוע התהליכים העסקיים ולאתר את שורש הבעיה – כמפתחי BI תדרשו ליכולות אלו כדי להבין איזו מיומנות יש לחזק בקרב המשתמשים ומה מצריך פיתוח. בדרך זו תוכלו ליצור תצוגות נכונות ומותאמות יותר ואף ללמד את המשתמשים לחקור את הנתונים בכוחות עצמם ולהגיע לתובנות שיקדמו פעולות עסקיות.
שפת SQL
SQL ("שפת שאילתות מובנית") היא שפת מחשב המבוססת במקור על אלגברה רלציונית. השימוש בשפה נעשה בתצורה של כתיבת שאילתות, ומטרת השאילתות היא לאחזר נתונים מסד הנתונים, ליצור טבלאות ולבצע בהן שינויים. השימוש בשפת SQL רווח מאוד בקרב מפתחי מערכות בינה עסקית ומבוצע בתצורה של הצהרות – מה לבצע ולא כיצד לבצע – לדוגמה: כתיבת שליפה המציגה את כמות הזמנות הרכש לתקופה לפי ספק – כלומר המפתח נדרש לכתוב הצהרה שמהותה הוא לבצע חיתוך על פי מאפיינים מסוימים. SQLלא תלוי במבנה נתונים, ולכן אפשר להשתמש בשליפות ממספר בסיסי נתונים. כיוון שמדובר בשפה פשוטה יחסית עם רציונל מובנה, אפשר ללמוד וליישם אותה בפרק זמן קצר לצורך פיתוח מערכות שונות ביניהן BI.
לדעת לעבוד עם big data
ביג דאטה הוא מושג בתחום פיתוח ה-BI המיוחס למאגר רחב היקף של נתונים ממגוון מקורות שמתמזגים אל מסדי ואגמי נתונים אותם הארגון מנהל. נתונים אלו יכולים להגיע במגוון תבניות – טקסט, שמע, תמונה – מאתרי אינטרנט או מקבצים ותיקיות ברשת הארגון, ארכיון, תיבות דואר, מסעות פרסום, חנויות אינטרנטיות, מפות ועוד.
הארגון מבצע שימוש במאגרי ביג דאטה כדי לחבר קצוות במסד הנתונים, כדי לאתר חוקיות ומגמות וכדי להצביע על אירועי קיצון ולהעריך סיכונים, כאשר מאגר הביג דאטה מתחבר אל פלטפורמת ה-BI שאוספת, מעבדת, מנתחת, מסננת ומציגה את הנתון בהקשר הנכון לגורם המתאים. לרוב באפיון ביג הדאטה הארגוני תהיה התייחסות לנפח מקום האחסון, מהירות הטעינה, גיוון המקורות המתממשקים למערכת, אמינות הדאטה והערך המוסף לתהליכי קבלת ההחלטות.
באילו טכנולוגיות משתמשים מפתחי bi
מפתחי ה-BI משתמשים במגוון כלים טכנולוגיים ביניהם שפות תכנות, ניהול מחסני ואגמי נתונים ומידול נתונים לצורך בניית מודלים.
שפות תכנות
SQLהיא שפת התכנות המרכזית בפיתוח BI, כאשר במסגרת קורס פיתוח BI נלמד הרקע לשפה, תחומי השפה (Select, DMA, DDL, DCL), אילוצים ומפתחות, סוגי דאטה, פסוקיות וסדר כתיבה, שימוש בפקודות join ליצירת קישורים במסד הנתונים ומשתנים שונים המשפיעים על אכלוס הטבלאות.
מחסני נתונים -data warehouse
מחסן הנתונים משמש כמאגר נתונים ארגוני המאחסן נתונים היסטוריים ונתונים יום יומיים שנצברים במערכות המידע הארגוניות לרבות תנועות במלאי, תנועות כספיות, פעולות שיווקית מול לקוחות, מעקב אחר שירות הלקוחות, נתוני מכירות, נתוני מסעות פרסום ועוד. מחסן הנתונים הוא התשתית המרכזית של מערכת ה-BI ונחשב כמערכת תומכת החלטה.
אגמי נתונים
אגם נתונים משמש לאחסון ולשימור נתונים בהתאמה לביג דאטה, באמצעותו ניתן לאחסן נתונים לאורך שנים בעלות נמוכה יחסית. אגם הנתונים משלים את המגבלה הקיימת במחסני הנתונים, שכן אין כל צורך לטייב נתונים כדי לשמר אותם, ולמעשה אפשר לשמור באגם הנתונים כל נתון מכל תבנית בתצורתם הגולמית (תהליך זה נקרא "איגום"), מבנהו הפשוט של אגם הנתונים מביא לחיסכון בתהליכי .ETL מפתח ה-BI יבצע שימוש באגם הנתונים כדי להבטיח זרימת נתונים מהירה ללא צורך בקיבוצם לקבוצות (בשונה ממחסני נתונים). התאמות הנתונים בתוך האגם יכולות לבצע באמצעות לוגיקה פשוטה המבוססת על המרת קבצי JSON או על ידי יצירת טבלאות מקשרות.
מידול נתונים
מידול נתונים או מבנה הנתונים הוא הבסיס לתכנון אופן השימוש במסך – לדוגמה: אילו נתונים יוצגו, לאילו תהליכים יש לקשר אותם, איזה מידע יוצג בהתאם לשאלה העסקית במודל, אילו נתונים יאוחסנו, מהיכן כדאי לשלוף אותם במהרה וכיצד בפועל ייראה המסך.
במודל הנתונים השדות החיוניים יופיעו בתצורה טבלאית או בתצוגות אחרות – לדוגמה: אם מדובר על מודל מכירות הרי שסניפים, מוכרנים, סוג וכמות הפריטים הנמכרים, מדידת יעדים ומידע דמוגרפי על הרוכש יכולים להיות שדות אפשריים למודל זה. מודל הנתונים משפיע גם על אחסון הנתונים במסד הנתונים, כאשר הישויות מקושרות זו לזו באמצעות טבלאות ומציגות את הקשר ממספר נקודות מבט – נקודת מבט הפריט, נקודת מבט המוכרן, נקודת מבט הסניף וכן הלאה. ישנם סוגים נוספים של מבני נתונים – עליהם לומדים במסגרת קורס פיתוח BI.
שלבי העבודה של מפתח ה-BI
אפיון המערכת
שלב האפיון הוא השלב הראשוני בדרך להקמת מערכת BI ארגונית. בשלב האפיון מפתח ה-BI משוחח עם גורמים שונים בארגון ומבין מה הצרכים העסקיים הקיימים. לעיתים יהיה עליו לשדרג מערכת קיימת שפותחה בטכנולוגיה ישנה יותר למערכת חדשה, במקרה זה הוא נדרש לבחון את הדוחות, השאילתות והמבנה הקיים ולשקלל נתונים אלו יחד עם צורכי הארגון והפערים הקיימים. שלב האפיון כולל כתיבת מסמכי אפיון, הערכת זמנים ויצירת מודל ראשוני למערכת.
עבודה על מסד הנתונים
לאחר שמפתח ה-BI יצר את המתווה הראשוני למבנה המערכת, יהיה עליו לעבוד עם צוות פיתוח טכני לצורך הקמת בסיס נתונים מהימן, שניתן יהיה לתרגל ולבחון תרחישים על בסיסו לפני "העלייה לאוויר" (השלב שבו המערכת משמשת את הארגון ביום יום, נקרא גם שלב הייצור). כעת יהיה עליו לטייב נתונים קיימים בהתאם לטבלאות במסד הנתונים, לאסוף מידע, להקים טבלאות וליצור את הבסיס שעליו יתבסס הניתוח. בשלב זה נבחנת אפשרות להתממשק למקורות שונים כדי למשוך מידע, זהו שלב טכני, שמטרתו לתרגם את הצורך העסקי לכלי הטכנולוגי בפועל.
בניית המודלים
שלב בניית המודלים משמש כהליך היזון חוזר הבוחן אם המודל העסקי אכן משיב על השאלה העסקית שנשאלה. בשלב זה מפתח ה-BI יביא את הנתונים המקושרים לשאלה העסקית, יקשר נתונים באמצעות חיבור טבלאות, יבחן את המודל לאורך זמן ואל מול היקף נרחב של נתונים גם כדי לבדוק אם יש האטות עקב ריבוי משתמשים וגם כדי להעריך את שרידות המודל (לאתר את נקודת הקריסה שלו ולתת לה מענה מבעוד מועד). זה הוא שלב משמעותי שמתמקד בבדיקת תרחישים במערכת ובטיוב החיבור בין הנתונים.
טיוב המודל
שלב זה מהווה המשך ישיר לשלב בניית המודלים ומשמש אף הוא כהיזון חוזר המאפשר לבחון אם המערכת אכן מתאימה לצרכים העסקיים ולמשתמשים. המנהלים כבר יכולים לתרגל על המודל ולכן יכולים לדייק את הבקשות העסקיות או להוסיף בקשות אחרות על אלו שכבר קיימות. מפתח ה-BI מטייב את המודל בהתאם לדרישות העסקיות, מרחיב או מעבה אותו, מקשר עולמות תוכן נוספים, מוסיף מדדים ומחבר בין טבלאות ומודלים.
ויזואליזציה של הדאטה
כעת שכלל המודלים נבחנו, הדרישות העסקיות הודקו, יש ליצור את הפלטפורמה, כלומר את הצד האפליקטיבי של המערכת. בשלב זה הופכים את הדאטה לתצוגה חזותית של נתונים באמצעות סננים, טבלאות, גרפים, ותרשימים (שנוצרו בממשק API פתוח, או באמצעות תרשימים הקיימים בספריית המערכת), בניית דוחות קלים לצריכה, שבהם הנתון המבוקש "קופץ" לעין, שילוב של מפות, ניתוח על פני מספר ממדים ועוד. שלב זה משמש אף הוא להיזון חוזר ולבדיקות, כאשר בסופו המערכת "תעלה לאוויר".
קשיים ודרכי ההתמודדות של מפתח ה bi
כל שלב ושלב מביא אתגרים חדשים, שכן בניית מערכת התומכת בתהליכי קבלת החלטות נדרשת לתהליך מסודר ושיטתי הכרוך באתגרים טכנולוגיים, אתגרים עסקיים וניתוח נתונים. לרוב, עיקר הקשיים יסובו סביב הבנת צרכי המשתמשים ופערי ידע שקיימים אצל הלקוח בהקשר לנתונים שלו. בנוסף ישנו האתגר של שילוב הנתונים ממגוון נתונים, שלא ניתן לסדר בטבלאות בעיקר מידע המגיע מרשתות חברתיות או תיבות דואר.
קורס פיתוח BIבאמצעות קליק
קורס פיתוח bi באמצעות קליק הוא תוכנית לימודים מקיפה וחדשנית המכינה את המועמד לעבודה מעשית. הקורס יישומי וכולל בניית מודל עסקי מלא, משוב מקצועי ותרגול עם תרחישים הרווחים במציאות העסקית. במסגרת הקורס לומדים על מסדי נתונים, קשר לתהליכים פנימיים וחיצוניים, מנגנון ה-ETL הייחודי של ,Qlik שפת ,SQL היכרות עם כלי SQL שונים, סוגי נתונים, כתיבת פקודות ושאילתות, היכרות עם מושגים מהתחום, בדיקת תרחישים, יצירת מפתחות ועוד. במסגרת הקורס מוקדש פרק נפרד לסביבה העסקית, למבנה ארגוני, לאתגרים שאיתם נאלץ להתמודד מפתח ה-BI, הבנה של סיבה ותוצאה ועוד. המנחים הם אנשי מפתח בחברת Qlik בעלי ותק עשיר בניהול פרויקטים ובעלי ידע יקר ערך שנצבר לאורך השנים.
לפרטים נוספים צרו קשר.
