ניתוח נתונים, מידע ומה שביניהם – המדריך המלא

אם בעבר הגעה לתובנות עסקיות נעשתה במהירות יחסית והתבססה בעיקר על ניתוח נתונים באמצעות קובצי Excel, הרי שהיום המצב שונה. בשנים האחרונות עם התפתחות המדיה ויכולת מתקדמת להעברת מידע במהירות, ארגונים רבים נאלצים להתמודד עם מסות של נתונים המגיעים בתבניות שונות ובסוגים שונים של קבצים, ולכן תהליך איסוף הנתונים, ארגונם, ניתוחם והעברתם לכלים גרפיים דורש משאבים רבים. ארגונים מוצאים עצמם משקיעים תשומות רבות ליצירת הידע, ולכן הם פונים לפתרונות בינה מלאכותית מתקדמים, מהדור החדש.

פתרונות בינה מלאכותית מתקדמים מוטמעים בארגונים בסדר גודל בינוני ומעלה. ארגונים שמתמודדים עם מסה גדולה מאוד של מידע ונתונים, מקצים משאבים לתמיכה במערכת BI במטרה להבטיח את תקינות הנתונים המועברים למערכת, את הקשרם ואת איכות התשובות לשאלות עסקיות רווחות כמו: ניתוחי שוק ומתחרים, ביקורות לקוחות, ניתוח יעילות של מערכי השירות, ניתוח תהליכי מכירה, מחקרי מוצר ושיפור היכולות החזותיות של כלי זה, לצורך הסקת מסקנות והגעה לתובנות עסקיות מעשיות. בדרך זו הארגון מבסס את תהליכי קבלת ההחלטות על מידע מגוון, שנאסף מאינספור מקורות, ממוין, מנותח ומוצג בכלים חזותיים מתקדמים.

צרו איתנו קשר כדי ללמוד על פלטפורמת מערכת ה BI שלנו לניתוח מידע והצגת נתונים.

גישות ושיטות לניתוח נתונים

הגישה המנחה לניתוח מידע במערכות מתקדמות מאפשרת למשתמש הקצה לשאול שאלות עסקיות מכל כיוון חקירה אפשרי ולקבל תוצאות של נתונים הקשורים במישרין או בעקיפין אל השאלה העסקית. קיימות מספר שיטות לניתוח נתונים: ניתוח נתונים כמותי, ניתוח נתונים איכותני, ניתוחי רגרסיה, ניתוח תיאורי, ניתוח מבחין, חיזוי אנליטי ומרשם לפעולה.

ניתוח נתונים כמותי

ניתוח זה מתמקד בכל ערך הניתן למדידה – כלומר בערך מספרי – כמו דרגה, עלות, אורך, משקל, גיל, ציון, מדד וכן הלאה, כאשר השימוש בנתונים אלו ממוקד לחישובי יחס, ונתונים אלו יוצגו בדרך כלל באמצעות גרפים ותרשימים, וינותחו בכלים סטטיסטיים. שיטה זו מתבססת על גישה בלתי-תלויה בחוקר, ולכן כל תופעה ניתנת למדידה באמצעות מודלים מתחום תורת המספרים, החשבון האינטגרלי והדיפרנציאלי, וכפי שצוין ניתוחים סטטיסטיים והסתברותיים של קיבוץ ידע למטרת חיזוי דפוסים או תופעות. יש להדגיש כי המחקר הכמותי מותנה במסה של נתונים, כלומר אם ישנן מעט תצפיות לא ניתן יהיה להפעיל מודלים מתמטיים כדי לנתח אותם, ולכן המחקר ייעשה בשיטות איכותניות.

עם זאת, כאשר נצברים די נתונים, ניתן לשבץ את הנתונים במודלים סטטיסטיים ולהסיק מסקנות כמותיות לדוגמה: כמות מכירות בחודש אחד בשנה לעומת החודש המקביל אליו בשנה הקודמת. באמצעות המחקר הכמותי ניתן לבצע התאמות בין תופעות, להשוות בין קבוצות ולהשוות בין משתנה בלתי תלוי לבין משתנה תלוי. בדרך זו ניתן לענות על שאלות שונות כגון האם סוג התאורה באולם התצוגה השפיע על הגידול המכירות?

ניתוח נתונים איכותני

המחקר האיכותני הוא מחקר מערכי, אשר מתבסס על תצפיות, תוצאות סקרים, שאלונים וחוות דעת כדי לבחון אמיתות שונות. לדוגמה: כיצד מצב נתון אחד מתפרש אצל גורמים שונים, כיצד לקוחות תופסים את העסק, אילו ערכים מזוהים עם המותג ועם הארגון. המחקר האיכותני משלים את המחקר הכמותי ואף עלול להצביע על בעייתיות מובנית בתוך המחקר הכמותי (שמבוסס על נתונים גולמיים).

המחקר האיכותני מתאים גם כאשר אין מספיק נתונים שניתן להציב במודלים סטטיסטיים, ומתאים במקרים בהם מעוניינים להעמיק את הידע על המשתנים השונים שהביאו לתופעה מסוימת מעבר להבנת המגמה שהובילה אליה. לא פעם המחקר האיכותני ישמש כמחקר מקדים למחקר הכמותי, במטרה להגדיר את המשתנים שירכיבו את המחקר הכמותי או לחילופין כדי להרחיב את המשמעויות "הנסתרות" בתוך הנתונים הכמותיים ואת הקשרם. מערכות בינה מלאכותית מהדור החדש משלבות בין שיטות מחקר כמותיות לבין שיטות מחקר איכותיות, במטרה להציג נתונים המקושרים לשאלה העסקית במישרין ובעקיפין. בדרך זו האדם שמתחקר את המידע מקבל תמונת מצב שלמה יותר ביחס לנתון גולמי מספרי.  

ניתוח רגרסיה

ניתוח רגרסיה תורם להערכת קשרים בין משתנים שונים. ניתוח המידע מבוצע באמצעות הצבת נתונים במודלים סטטיסטיים, כאשר אחד (או יותר) מהמשתנים הוא המשתנה התלוי (המוסבר) ואילו אחד (או יותר) מהמשתנים הוא המשתנה הבלתי-תלוי (המסביר או המנבא). המשתנה המסביר הוא המשתנה הקבוע, והמודל בוחן כיצד מגיבים המשתנים הבלתי תלויים אליו. יחד עם זאת, ניתוח רגרסיה הוא ניתוח מידע שנע על רצף ולכן לא ניתן להסביר באמצעותו את הסיבה שהובילה לתוצאה. כי לעיתים השינוי בערכו של המשתנה הבלתי-תלוי לא בהכרח גורם לשינוי בערכו של המשתנה התלוי. במילים אחרות באמצעות מודל זה ניתן ללמוד איך מדד מסוים משפיע על הביצועים.

מערכות מידע המבוססות על עקרון "המכונה הלומדת" פועלות על בסיס מודלים של רגרסיה המורכבת ממספר גורמים משתנים במטרה להציג תוצאות מדויקות יותר בהקשרים נכונים לשאלה, ולכן ככל שעובר הזמן לא רק שהמכונה לומדת להציג את מה שמצופה אלא מציגה את הנתונים במהירות גבוהה יותר.

ניתוח תיאורי

ניתוח תיאורי מבוצע בעיקר על נתוני העבר של המדדים העסקיים במטרה להבין מגמות עכשוויות. לדוגמה: הפקת דו"ח העוסק במאפיינים דמוגרפיים של לקוחות, תחומי עניין או התנהגות צרכנים בהתאם למדדי המכירות או לנתונים הכספיים. לא פעם הניתוח יכול להסיק מסקנות גם מנתונים שמקורם ברשתות החברתיות. לדוגמה: לאילו פוסטים הלקוחות סימנו "אהבתי", הסקת נתונים מתוך החשבונות הנמצאים במעקב על ידם ברשת "האינסטגרם" או מהפוסטים שהם בעצמם מעלים בכל רשת אחרת.

מציע שרשראות נשים פופולריות כגון תליונים, https://www.swisswatch.is/product-category/richard-mille/rm-069/ צ'וקרים ו.קנו תכשיטים במגוון מתכות ואבני חן שיתאימו לכל אירוע.

בניתוח תיאורי המערכת לא מנסה להבין את הקשר בין הסיבה לתוצאה אלא משווה בין מדדים ומסכמת אותם בכלי מדידה או הערכה שונים כמו טבלאות, גרפים, תרשימים וכן הלאה. באופן כללי, השימוש בסטטיסטיקה תיאורית נעשה להשגת שתי מטרות: האחת לספק מידע בסיסי על משתנים שונים במערך הנתונים והשנייה להדגיש את הקשרים האפשריים בין משתנים.

חברות מיישמות את הניתוח התיאורי לצורך מעקב אחר פעולות יומיומיות, לדוגמה: הפקת דוחות למעקב אחר שינויים במצבת המלאי, דוחות לבחינת יעילות רצפת הייצור (זרימת העבודה בקווים) , מעקב אחר היקף המכירות ואחר כמות ההכנסות. כל אלו הן דוגמאות לניתוח מידע תיאורי. דוגמאות אחרות עוסקות במדדי KPI ומדדים למדידת ביצועים.

ניתוח מבחין

נועד לקבוע מדוע אירוע כלשהו התרחש. רק כאשר לא ניתן היה להסביר אירוע באמצעות הניתוח התיאורי ,המערכת תעבור לבצע ניתוח מבחין. הנה מספר דוגמאות לשימוש בשיטת ניתוח מידע זו:

• בחינת רמת הביקוש בשוק – נניח וישנה חברה שמספקת ארוחות צהריים למספר חברות. במסגרת השירות היא אוספת מידע על מאפייני הצרכנים כמו: כתובת, מגדר, גיל ועוד. עם הזמן החברה מזהה דפוס רכישה קבוע שבו נשים בעשור החמישי לחייהם מעדיפות לרכוש לפחות ארבע פעמים בשבוע ארוחות טבעוניות. בשלב הבא אני מנסה להבין מה הוביל את המגמה, האם משום שישנם מחקרים שתזונה טבעונית מטיבה עם נשים אלו? האם משום שנשים אלו מתגוררות ליד אזורים כפריים אז הן נוטות לתזונה מן הטבע? וכן הלאה. לאחר התעמקות בסוגי הניתוח השונים החברה יכולה לזהות אם מדובר על מגמה קבועה או מגמה חולפת וכך לתכנן את קווי הייצור והמפרט שהיא מציעה.
• מניעה מקדימה של בעיות טכנולוגיות – מערכות מידע רבות פועלות כשברקע ישנה תוכנה "שרצה" ומבצעת פעולות. לא פעם תוכנות אלו "נופלות" ומתקילות את המערכת. כיום ניתן למנוע תקלות אלו באמצעות ניתוח מידע אבחנתי, שיודע לזהות מבעוד מועד את הכשלים (בעזרת זיהוי מאפיינים של בעיות ידועות ועריכת סריקה כדי לקבוע את הגורם לבעיה) ומציאת פתרונות מבעוד מועד לכשלים אלו.
• שיפור התרבות הארגונית – מאגרי מידע פנים ארגוניים הם משאבים יקרי ערך המאפשרים למחלקת משאבי האנוש לבצע ניתוח אבחנתי על סמך סקרים אנונימיים ושאלונים העוסקים ברווחת חייהם של עובדי החברה. כך הם יכולים להסיק מהי סביבת העבודה המיטבית ביותר עבורם, מה משמח אותם, מה מעורר את ההנעה הפנימית שלהם וכן הלאה. ניתוח מידע מאפשר להגיע לתובנות חדשות ולנתב את התרבות הארגונית למקום שמעלה את רמת שביעות הרצון, רמת הבטיחות ואת תחושת ההזדהות עם הארגון ולצמצם תופעות בלתי רצויות.
  
  

חיזוי אנליטי

היכולת לחזות אם אירועים שקרו בעבר צפויים לקרות גם בעתיד. הניתוח נעשה באמצעות מיפוי של גורמים המשפיעים על המודל, אם בעבר רק החברות הגדולות והעשירות יכלו להרשות לעצמן לבצע ניתוח מידע אנליטי, הרי שהיום גם חברות בסדר גודל בינוני ומעלה, שעובדות באמצעות מערכות בינה מלאכותית מהסוג החדש, יכולות לבצע חיזוי אנליטי ברמה גבוהה. מערכות מידע מהסוג החדש יכולות להתמודד עם אינספור נתונים שמגיעים ממקורות רבים במהירות רבה, המערכת מנתחת את הנתונים באמצעות מודלים סטטיסטיים ומתמטיים. באמצעות החיזוי האנליטי עסקים יכולים לחזות הישנות של אירועים שונים החל משינויים במזג האוויר ואירועים בריאותיים ועד לעניינים פנים-עסקיים כמו ניתוח מידע על התנהגות צרכנים ומאפייני צריכה.   

מרשם לפעולה

זהו השלב האחרון והמתקדם ביותר בניתוח הנתונים. מרשם לפעולה אוגד נתונים שנאספו באמצעות ניתוח החיזוי, ניתוח המבחן והניתוח התאורי ומציע תוכניות פעולה– ונותן מענה לשאלות אלו: מה צריך לעשות? כיצד ניתן להשפיע על העתיד באמצעות המשאבים העומדים לרשות הארגון? באיזו פעולה יש לנקוט כדי להשיג את התוצאה הרצויה? כאשר התשובות לשאלות אלו מומחשות בכלים ויזואליים כמו גרפים, תרחישים, מנועי המלצות, רשתות עיצוביות ומתאפשרים באמצעות תהליך של עיבוד אירועים מורכבים.

היכולת לחזות תומכת בתהליך קבלת החלטות יעיל יותר בענייני תמחור, איתור הזדמנויות עסקיות, ניהול ותחזוקה של תשומות ארגוניות, הערכת סיכונים (סוג ניתוח נתונים זה הכרחי לחברות ביטוח/אשראי לצורך תמחור) ושיפור רמת השירות (ניתוח זה נמצא בשימוש רווח בארגונים בריאותיים מרחבי העולם).

כיצד מתבצע תהליך ניתוח נתונים

הגדרת הבעיה

זהו השלב הראשוני והחשוב ביותר לתהליך ניתוח הנתונים, ובשונה מהשלבים הבאים, שלב זה אינו מצריך כל ידע טכנולוגי אלא ידע עסקי נרחב אודות השוק, המתחרים, התעשייה, תהליכי עבודה פנים ארגוניים, התנהגות צרכנים, הבנת המטרות הארגוניות, היכרות עם התרבות הארגונית והיכרות עם תהליכי קבלת ההחלטות בארגון. לדוגמה: חברה יצרנית מתקשה לעמוד בביקוש העולה למוצריה, ולכן מאבדת נתח שוק נכבד.

אנליסט הנתונים נדרש במקרה זה להבין את הגורמים לבעיה. האם ישנו כשל בתרבות הארגונית ובתהליכי שרשרת האספקה (לדוגמה: מחלקת המכירות לא מתקשרת עם מחלקת הייצור, או שמחלקת השיווק מקדמת מוצרים, שכרגע לא ניתן לייצר משום שאין מלאי של חומרי גלם או חלקי חילוף). בשלב הבא, האנליסט בוחן האם אפשר לראות מגמתיות כלשהי בהרגלי הצריכה של הלקוחות (רכישות עונתיות, רכישות של פריטים משלימים וכן הלאה).  לאחר מכן אנליסט הנתונים צריך להבין איפה המידע "נתקע", למי הוא לא מגיע, ואילו פעולות יש לבצע כדי לתקן את המצב. את החקירה הנרחבת הוא מבצע באמצעות תשאול עובדים מכל דרג, סקרים ובחינת נתוני העבר.

איסוף נתונים

ארגונים ניזונים מאינספור מקורות מידע – חלקם פנימיים כמו תיקיות, מסמכים, קבצי שמע, וידאו, תמונות וטקסט, קובצי EXCEL, תכתובת דואר אלקטרוניות, מערכות פנים ארגוניות (CRM, ERP, HR, ייצור וכן הלאה) וחלקן חוץ ארגוניות – פורטלים, אתר האינטרנט של החברה, רשתות חברתיות, מסעות פרסום וכן הלאה. מידע זה נגיש וזמין וניתן לאיסוף מתוך מסד הנתונים הארגוני, הענן והאינטרנט.

האיסוף יכול להיעשות בשתי דרכים – אם בארגון ישנה מערכת בינה מלאכותית מתקדמת, הרי שכל המידע כבר מנותב ומנותח ולכן כל שנדרש הוא להפיק דוחות, אך אם המידע לא מאורגן, אפשר יהיה לאסוף אותו ממקורות זמינים ועוד בשלב האיסוף ניתן יהיה לסנן, למיין ולבחון תרחישים שונים באמצעות שימוש בפקודות משפת ה-SQL  – בעיקר כאשר מקור הנתונים הוא פנים ארגוני – ושימוש בקובצים מסוג Json ובאמצעות שפת התכנות Python שמתאימה למערכות BIG DATA, כאשר מקור הנתונים הוא חוץ ארגוני.

סינון נתונים

שלב סינון הנתונים מיועד "לברור את המוץ מן התבן" ובמילים אחרות לנקות שגיאות מנתוני Raw Data (נתונים גולמיים), להשלים דאטה חסר, לתקן נתונים בהתאם לתבניות שהוגדרו (למשל תאריכים בפורמט מסוים) התאמת נתונים למבנה השדות במאגרי מידע (אורך, סוג שדה: לדוגמה אם יש נתון שמורכב מאותיות וממספרים, ובדאטה בייס זהו נתון מספרי בלבד, אז יש לתקן אותו). כאשר תוצר שלב הסינון הוא קובץ נתונים נקי משגיאות ומותאם להגדרות. התהליך נעשה באמצעות שתי שפות תכנות: SQL ו-Python וכן באמצעות כתיבת פקודות בתוכנת ה-Excel.

ניתוח הנתונים

ניתוח נתונים מבוצע במספר כלים שנקבעים בהתאם למספר מאפיינים: גודל הקובץ שיש לנתח, סוג הנתונים שנאספו ואופן הצגת הנתונים – האם על בסיס לוח מחוונים (דשבורד) שמציע כלי סינון וחקירה או באמצעות דוח משאילתה.

• ניתוח נתונים באמצעות תוכנת Excel – כל עוד מדובר בקובץ שמכיל נתונים המוצגים באמצעות טבלה, היקף הנתונים הוא בגדר הסביר והתוצר המבוקש הוא דוח שאילתה, אז תוכנת ה-Excel תוכל לתת מענה בסיסי לצורך. אפשר להיעזר בטבלאות ציר (Pivot) ובפקודות נוספות המאפשרות ניתוח מורחב יותר.
• ניתוח נתונים באמצעות כלי ה-BI – כאשר מדובר על מסות של נתונים, אשר יוצגו בדשבורד אינטראקטיבי הרי שלשם כך ישנם את כלי ה-BI הידועים והמוכרים – פלטפורמות מתקדמות, אשר מעבדות ומנתחות מידע במהירות. היתרון המעשי בכלים אלו הוא שכל שלבי הניתוח יכולים להיעשות בקלות יחסית. לדוגמה, ניתן בלחיצת כפתור לייבא נתונים מקבצים שונים וממגוון מקורות מידע (פנים וחוץ ארגוניים), כלים אלו מאפשרים לבנות מודל של נתונים התואם את השאלה העסקית. כמו כן אנליסט מידע יכול לבנות דשבורדים להצגת הנתונים לאחר הניתוח במגוון רחב של גרפיקות, תרשימים, גרפים, טבלאות ועוד.
  את כלי ה-BI ניתן להפעיל גם בסביבת הענן, לבנות באמצעותו דוחות בהתאמה אישית ולשלוח לגורמים פנים וחוץ ארגוניים בהתאם לרמת האבטחה והרשאות הצפיה שלהם. לרוב כלים אלו משמשים את הארגון לביצוע ניתוח נתונים באופן שגרתי ויומיומי. נוסף לכך גורמים שונים מתוך הארגון שאינם בקיאים בעבודה עם מערכות BI (אנשי שיווק, מכירה, ייצור, מחסנים, דרגי הנהלה) מפיקים תובנות נרחבות וחוקרים את הדאטה ממש כמו אנליסטים מומחים.
• ניתוח נתונים עם שפת Python – מתאים במקרים בהם יש די מאגרי מידע לחקירה.

פירוש התוצאות

התוצאות הסופיות שהתקבלו נסמכות על השאלה העסקית. אם התוצאות מוצגות בדו"ח סטטי, הרי שהוא מוגבל להגדרות שנקבעו מראש. אך אם התוצאות מוצגות באמצעות לוח מחוונים אינטראקטיבי, המשתמש יכול לחקור את הדאטה לעומק, להרחיב את השאלה העסקית ולהגיע לתובנות נרחבות יותר.

לדוגמה: מנהל המכירות של רשת בתי מרקחת גדולה רוצה לדעת כמה משחות שיניים נמכרו בחודש מסוים, היכן נמכרו יותר משחות ומה מותג המשחות האהוד ביותר על הצרכנים. פלטפורמת ה-BI תציג את כמות משחות השיניים שנמכרה, הסניפים בהם נמכרו משחות השיניים, המותגים שנמכרו (מסודרים בהתאם להיקף המכירות) ונוסף לכך באיזו אריזה נמכרו משחות אלו ( המידע הנוסף הוא מידע המקושר במאגרי מידע) בדרך זו ניתן להגיע לתובנות, להצליב מידע ולבחון אותו מכל כיוון והיבט ללא הגבלת שאילתה.

הדמיית נתונים

חקירה חופשית של מאגרי מידע מתאפשרת רק כאשר הנתונים מוצגים על בסיס לוח מחוונים/דשבורד אינטראקטיבי. לוח המחוונים נחלק למספר מסכים – המסך הראשי המציג את המידע הנחוץ ביותר למשתמש במגוון כלים גרפיים כמו טבלאות חום, מדרג של צבעים, גרפים צפים (לדוגמה הצגת מדדים או שינוי במגמה) טבלאות, תרשימי זרימה, "עוגות" ועוד. בדרך זו המשתמש יכול לצפות בנתונים רבים בזמן קצר ולזכור אותם היטב (המוח האנושי נוטה לזכור פי 80% מסר חזותי לעומת מסר מילולי). הנתונים "קופצים" לעין ומאפשרים להגיע למסקנות ולתובנות מהירות.

המסך השני – הוא מסך החקירה, במסך זה המשתמש יכול להקליד כל ערך שיבחר בשורת החיפוש (ממש בדומה למנועי חיפוש אינטרנטיים) ולקבל תוצאות המקושרות בדאטה בייס לאותו הערך. באמצעות הקלקה על הערך הוא יוכל לצפות בתוצאות נוספות ולהרחיב את החקירה ללא תלות בשאילתה או באנשי הפיתוח.

ישנם מסכים נוספים למנהלים המרכזים נתונים ממבט "על" לדוגמה: KPI's ארגוניים, עשרת המוצרים הנמכרים בארגון, עשרת המוכרנים הנמכרים ביותר, עשרת הסניפים הרווחיים ביותר, עשרת קווי הייצור המהירים ביותר וכן הלאה. כאמור רק באמצעות הדמיית הנתונים בכלים ויזואליים ניתן להגיע ליכולות מתקדמות אלו ולשנות לחלוטין את הדרך שבה הארגון מחליט החלטות.

אז למה עדיף ב Qlik

Qlik מציעה את פלטפורמת Qlik Sense מערכת ה- BI והאנליטיקה המובילה, אשר משלבת בין ניתוח מידע באמצעות פטנט ייחודי "המנוע האסוציאטיבי" לבין יכולות מתקדמות להצגת נתונים. המנוע האסוציאטיבי אוסף מידע מאינספור מקורות פנים וחוץ ארגוניים, מעבד, מסנן, ממיין, מקשר נתונים גולמיים בתוך בסיס הנתונים ומציג תוצאות נרחבות המעודדות חקירה פעילה.

בדרך זו משתמש ששואל שאלה עסקית יוכל לצפות בכל נתון המקושר לשאלה זו בקשר ישיר ובקשר עקיף – כאשר נתונים בקשר ישיר מוצגים בגוון לבן ונתונים בקשר עקיף מוצגים במסך אפור. הוא יכול ללחוץ על  כל נתון והמערכת תציג נתונים נוספים המקושרים אליו. בשונה ממערכות BI שפועלות כמחוללי דוחות – במערכת Qlik Sense המשתמש יכול לחקור את הדאטה ללא הגבלת שאילתה ולהגיע לתובנות מרחיקות לכת בזמן קצר, להפיק ולבנות דוחות בעצמו, להפיץ את הדוחות בהתאמה לקהל היעד וליהנות מיכולות תצוגה אינטראקטיבית ועשירה.