מה זה Big Data (ביג דאטה) ואיך להשתמש בו בצורה נכונה?

מדי יום עולים מאות אלפי תכנים לאינטרנט, דיווחים, כתבות, תחזיות, נתונים, מדידות, סרטונים, מאמרים ומודעות. תעבורת המידע הזאת זולגת גם לעולמות העסקיים, המבקשים להשתמש בידע הציבורי הרב שנצבר כדי לזהות מגמות בשוק, לדייק את מסעות הפרסום שלהם ולהוביל את התחרות. העולם משתנה, המידע זמין ונגיש יותר, אך מנגד דורש סינון גבוה וקיטלוג. כל אלו מביאים ארגונים לחפש פתרונות טכנולוגיים, שמחד מקצרים את תהליכי איסוף המידע ומנגד מאפשרים את רציפות העבודה ומנתחים היקפים נרחבים של נתונים. השימוש ב-Big Data  נותן מענה לצורך זה באמצעות מתן גישה למידע, ביצוע תהליך של עיבוד ראשוני, שימוש באלגוריתם המאפשר לאתר ולשלוף מגמות וקשרים וייצוא הניתוח ל"לוח מחוונים" (דשבורד) שעל בסיסו מתקבלות ההחלטות הניהוליות.

מה זה Big Data?

ביג דאטה הוא מושג רווח, המתאר מגוון רחב של מקורות נתונים מסוגים שונים: מקורות מידע פנים ארגוניים כמו מערכות מידע, תיקיות, ארכיון, תיבות דואר, נהלים ומסמכים ומקורות מידע חוץ ארגוניים כמו פורטלים, חנויות אינטרנטיות, מסעות פרסום, רשתות חברתיות, אתרי חדשות ואתרי נתונים כמו אתר הבורסה, ניתוחי מזג אוויר, מפות וכדומה. מאגר המידע העצום הזה מתממשק למערכת ה-BI הארגונית ובאמצעות אלגוריתם ומנוע רב עוצמה, ממיין, מעבד ומנתח את הנתונים בהתאם לדפוסים, הקשרים, תובנות, מגמות והעדפות ולאחר מכן מציג לארגון את התוצר המנותח באמצעות שאילתה מובנית או באמצעות דשבורד מבוסס מודל עסקי. חברות, מוסדות וארגונים גדולים, מבססים את תהליכי קבלת ההחלטות שלהם על בסיס הדאטה המנותחת, שנאספת ומוצגת להן במערכות ה-BI

היכנסו ללמוד על BI (בינה עסקית) כאן>>>

איך מאפיינים בסיס נתונים של ביג דאטה

את הביג דאטה ניתן לסווג למספר מאפיינים:

• נפח
• מהירות
• גיוון
• אמינות
• ערך

נפח

מנוע המערכת אוסף נתונים ממספר רב של מקורות, בהתאם להגדרות וצרכי הארגון. נפח המידע נקבע בהתאם להיקף הנתונים הנצבר, גודל הקבצים מהם הם נשאבים, וכיצד אלו משפיעים על מהירות התגובה ועל קצב ניתוח הנתונים. בין אם מדובר על נתונים מועתקים או נתוני Big Data – כמות הנתונים היא שקובעת את ערכם

מהירות

כמה זמן אורך תהליך האיסוף, העיבוד וניתוח הנתונים, והאם הדבר משפיע על קצב ורציפות העבודה עם המערכת. וכן כמה זמן נדרש למערכת להציג תשובות לשאילתות החיפוש של המשתמש, ובמילים אחרות – האם הנתונים זמינים בזמן אמת?

גיוון

נתונים מגיעים במגוון רחב של פורמטים ותפקידה של המערכת היא לאחד, ולקשר נתונים המגיעים מפורמטים שונים. מגוון הפורמטים רחב ונתונים נאספים מקבצי וידאו ושמע, קבצי וורד, אקסל, פאואר פוינט, אקסס, דפי אינטרנט, תמונות, קבצי טקסט ואף מידע לא מובנה – מיזוג הנתונים הוא זה שמשלים את המידע הדרוש לאנליסטים של המערכת כדי להפוך אותו למידע ארגוני מהותי.

אמינות

אמינות הנתונים נמדדת במידת ההתאמה לשאלה העסקית, האם באמצעות הנתונים ניתן להגיע למסקנות מהותיות, האם על סמך הנתונים ניתן לקבל החלטות, האם ניתן להסתמך על המידע המוצג כדי לדייק את ניתוח הנתונים? בהקשר זה האמינות נמדדת ביחס לרמת ההתאמה שלה לשאילתה העסקית ולתהליך החקירה בפרט.

ערך

ערך הנתונים נמדד בהתאמה לחשיבותם. האם ניתן לבצע בהם שימוש, האם המערכת מספקת תשובה רלוונטית לשאלה העסקית? האם הנתונים המוצגים נותנים תוספת חיובית למחקר שמבצע המשתמש? האם הם מעודדים אותו לשאול שאלות חדשות ולהתקדם בחקירה שלו? ובמילים אחרות, האם הנתונים המוצגים למשתמש הם בעלי חשיבות לפעילות העסקית.

לקריאה מורחבת על בסיסי נתונים היכנסו>>>

שימושים נפוצים לביג דאטה

• ניהול מוצרים
• פרסום
• מסחר
• התייעלות ארגונית
• חדשנות
• צבאית
• גילוי הונאות
• ביולוגיה
• פיזיקה
• לוחמת סייבר
• מטאורולוגיה

ניהול מוצרים

באמצעות Big Data ניתן לאסוף מידע ממגוון מקורות ולנהל את מחזור חייו של המוצר החל משלב הפיתוח ועד שלב הדעיכה. ניתן להגדיר  למנוע החיפוש מראש, לאסוף מידע אודות שוק הלקוחות של המוצר, זיהוי מגמות, שינויים בהעדפות. הכנסת שינויים במוצר או שינוי הגדרת המוצר בהתאם למידע המתקבל בזמן אמת. בנוסף ניתן לאסוף מידע אודות ניתוח ביצועי המוצר וחווית השימוש בו ביחד ולהגדיר ממדים שונים.

פרסום

תשתית טכנולוגית של Big Data במנועי פרסום בפורטלים צרכניים רחבי היקף, מספקת מידע על מאות אלפי עסקים ועוד מיליוני מבקרים, מתחקה אחר הרגלי הצריכה שלהם ומאפייני השימוש שלהם, מאתרת, מפלחת ומצליבה מידע בין גולשים לידע שצרכו ועל בסיס אותו ידע שנצבר מייצרת מסעות פרסום ושיווק, בהתאמה לצרכים המדויקים של הלקוחות.
מתאים: לחברות פרסום, פורטלים אינטרנטיים

לקריאה על איזיקליק מערכת לניהול קפיינים של Qlik>>>

מסחר

Big Data בעולם של מסחר בורסאי, וכן מסחר ממוחשב, הנשען על פקודות, הפעלת אלגוריתמים לכריית מידע, הנמצא במנועי החיפוש במטרה לגלות דפוסי צריכה והתנהגות מתוך אינספור תנועות במטרה לתמחר מוצרים ושירותים וכן לגלות הונאות. כמו כן, במידע הנצבר נעשה שימוש לצרכי סטטיסטיקה וכתיבת תחזיות שוק.  
מתאים: לפלטפורמות למסחר בבורסה

התייעלות ארגונית

ארגונים מתנהלים ומתעדים תהליכים עסקיים באמצעות מערכות מידע שונות, לעיתים מערכות אלו מקושרות באמצעות ממשקים ולעיתים לא. ברוב המקרים, לא קיים "חוט מקשר" בין מערכות אלו ולכן מידע רב הולך לאיבוד. באמצעות Big Data המידע נשאב אל מנוע עוצמתי אחד, שמעבד, מנתח ומזרים אותו בתצוגה חזותית קלה לקריאה ולניתוח ומאפשר לחבר את הקצוות, לזהות תהליכים נסתרים, לאתר דפוסים בתוך עולם הנתונים, לייצר תחזיות ולהציע כיווני פעולה – אילו פעולות יביאו לתוצאות מסוימות.

חדשנות

בעידן התחרותי ארגונים נאלצים להתמודד עם אתגר בניית נאמנות מצד הלקוחות, וכדי לתת מענה לצורך זה עליהם לדייק את מסעות הפרסום שלהם, לנתח איומים, לבחון את תמחור המוצרים ולהתבסס על ניבוי וחיזוי של התנהגויות עתידיות. מערכות מבוססות Big Data מאחסנות ושולפות מידע במהירות ונעזרות במודלים, המאפשרים לנבא את הצמיחה העסקית.

צבאית

מערכות צבאיות מבססות את חקר המודיעין שלהן על Big Data שאוסף, מרכז, ממיין, מקטלג, מנתח מידע ומזהה דפוסים התנהגותיים, איומים, מייצר מטרות, ומסייע למנהלים מכל דרג להתמודד עם מסה של נתונים, כמעט אין סופית, במהירות וביעילות  תוך שילוב יכולות "המכונה" עם ההבנה האנושית. כלומר, שימוש ב-Big Data באופן היברידי. למשל ניתן ללמד את המכונה מהי מטרה ולאתר אותה במפות טופוגרפיות, המכונה משמשת בעיקר כצינור של מידע.

גילוי הונאות

מעילות והונאות עלולות להיווצר בכל תהליך עסקי וכדי לצמצם אותן ולהתחקות אחר דפוסים נסתרים בתוך הדאטה, ניתן לבנות אלגוריתם, שלומד לזהות דפוסים אלו תוך עמידה במדדי תוכנית עבודה ייעודית, שנועדה למנוע הונאות.

ביולוגיה

שימוש ב-Big Data הפך לרווח גם בקרב מכונים ביולוגיים המעוניינים לבצע מיפוי של הגנום, מציאת דפוסים ותבניות, המסייעים לאתר פגמים גנטיים וכמו כן הסתייעות בחוכמת המכונה כדי לאסוף מידע הנוגע להשפעה של תרופות. בנוסף, בתחום הביולוגיה מבוצע שימוש בBig  Data- על מנת לאסוף, לרכז ולנתח שדות של מאות אלפי נתונים במטרה לחזות סיכויים לפגמים תפקודיים, אגרגרציות ו"קיפולים שגויים" בחלבון.

פיזיקה

מערכות מבוססות Big Data תופסות תאוצה גם בעולם האסטרונומיה המרתק, באמצעותן נאספים מאות אלפי נתונים מלוויינים ששוגרו לחלל. באמצעות בינה מלאכותית ניתן לזהות אותות חלשים, התעמעמות מחזוריות, המאפשרת לגלות כוכבים חדשים כמו הגילוי של כוכב חדש בגלקסיית Kepler-90 על ידי מערכת ה Big Data של גוגל.

לוחמת סייבר

איומי סייבר הם מנת חלקם של עסקים רבים מכל גודל, הן מסיבות ביטחוניות והן מסיבות של תאוות בצע. ארגונים מתמודדים עם אתגרי הסייבר באמצעות מערכי הגנה כמו חומת אש והקפדה על הצפנה. אך עדיין למרות מאמציהם הרבים – האקרים מוצאים פרצות ומאיימים לחשוף מידע רגיש ולפגוע במוניטין העסקי. עסקים נעזרים במערכות Big Data על מנת לגלות פרצות אבטחה, ביצוע הצפנה, מדידה, עמידה בנהלים, גילוי פריצות או ניסיונות פריצה, ומעקב אחר מקור התקיפה.

מטאורולוגיה

בתחום המטאורולוגיה מסתייעים ב-Big Data על מנת לנבא את תחזית מזג האוויר וזאת על סמך התממשקות למערכות מטאורולוגיות אחרות כמו חיישנים תת קרקעיים, מטוסים, קבצי וידאו, קבצי תמונה, קבצי טקסט וכן ניתוח מידע היסטורי. המכונה מרכזת את המידע, מתחקה אחר דפוסים ומספקת תחזיות מדויקות לאזורים נרחבים ברחבי העולם.

שימוש בביג דאטה בארגונים גדולים

ארגונים גדולים, בעלי מאות ואלפי משתמשים נעזרים ב-Big Data במגוון רחב של תחומים, החל מאיסוף מידע בנוגע לתפקוד העובדים והספקים מכל קצוות העולם, מעקב אחרי עמידה ביעדי מכירות, ספירות, ניהול, איתור כשלים ופערים במערך שרשרת האספקה, בתהליכי השיווק והמכירה ובתהליכי הייצור. ניהול עומסים – עובדים, מכונות. שליטה טובה יותר על תקציבים שונים על ידי הקצאתם מחדש ובחינת תועלת ההשקעה. השימוש ב-Big Data נוגע בכל עולמות התוכן הפנימיים בארגון אך רלוונטי לעולמות התוכן החיצוניים ובא לידי ביטוי באיסוף מידע על מתחרים, דפוסי התנהגות והרגלי הצריכה של לקוחות התואמים את הסגמנטים השונים. יצירת הצעות שיווקיות חדשות ללקוחות חדשים או ללקוחות קיימים על סמך חקירה חופשית של הדאטה. איסוף מידע מאינסוף מקורות – קבצים, פורטלים, רשתות חברתיות, כתבות, והתממשקות לכלים ברחבי הרשת, המספקים מידע מהותי לפעילות העסקית. אלו רק חלק מהשימושים שניתן לבצע באמצעות Big Data אך היתרון המרכזי בכל אלו – שניתן יהיה לקבל החלטות בעסק על סמך מידע עדכני, מהיר ורחב.

שימוש בביג דאטה לארגונים קטנים

ובכן, על אף ש-Big Data נקשר לארגונים גדולים, גם ארגונים בסדר גודל קטן עד בינוני יוכלו להפיק תועלת רבה מכלי זה. החל מאיסוף מידע על מתחרים, איתור מגמות שוק, בחינת שאלות עסקיות הנוגעות להתרחבות וצמיחה. ניהול צוותי עבודה העובדים במיקור חוץ ומרחוק – בהיבטים של משימות וניהול התקשורת, ניהול התקציבים השיווקיים המופנים למסעות פרסום, איתור פערי ביצוע, קבלת החלטה על בסיס ידע בנוגע ליעילות ההשקעה ואיתור אפיקים, המניבים תוצאות עסקיות טובות יותר. בנוסף, ניתן לחבר את ה-Big Data למספר מקורות מידע ולאפשר לבעל העסק לקבל "תמונה מלאה" על הפעילות העסקית "ממעוף הציפור" כך למשל ניתן לחבר את תיבת המייל למערכת העוקבת אחר משימות פתוחות, מערכת דיוור, תיבות דואר ברשתות החברתיות ואפילו קבוצות מידע ברשתות חברתיות מהן ניתן למשוך לידים והצעות עבודה, מסרוני וואטסאפ וכדומה. האפיון הוא ייחודי בהתאם לצרכי העסק ומטרתו להקל על תהליכים תפעוליים, לשלוט על הנעשה בעסק (מלאי, מכירות, שיווק, גביה) וכן למצות את התקציבים באופן יעיל.

סוגיות ואתגרים בניהול מאגרי Big Data

כאמור Big Data הוא מאגר נתונים אדיר בנפח וביכולת שלו להתממשק למגוון אינסופי של מקורות, לעבד מידע, לנתח אותו ולהציג אותו בתצוגה נגישה. יחד עם זאת כדי לנהל מאגר זה ביעילות, עסקים נדרשים לדון בסוגיות הנוגעות למקום אחסון, אופן הזנת הנתונים, אפיון תבניות וניתוחן, שליפת נתונים, פרטיות ואבטחת מידע

• מקום אחסון – הסוגייה המרכזית בתחום זה היא ביכולת לשלוף את המידע הנכון בזמן מהיר למאות ואלפי משתמשים במקביל (המתחקרים במקביל את המערכת בהתאם לתחום עיסוקם) בנוסף לכך, המערכת צריכה לבצע גיבוי ושחזור אמין ואוטומטי של מידע מבלי לפגוע בביצועי המהירות. פתרונות האחסון בתחום ניתנים על ידי חברות טכנולוגיות המספקות מערכי אחסון עם זיכרון מובנה רחב בתצורת SSD ובתצורת דיסק קשיח הכוללים מעבדים חזקים וקישוריות עורפיות או קישוריות NAS , בקרים כפולים וכן פתרונות אחסון היברידיים המשלבים תחנות אחסון פנים ארגוניות יחד עם אחסון בשרתי הענן. במטרה לנהל ולווסת את עומסי העבודה וליצור ממשקים למערכות ניהול ארגוניות כמו מעבדי תמלילים, מערכת ERP ועוד.
• הזנת נתונים – תהליך קבלת ההחלטות הארגוני מבוסס על נתונים, אך אם הנתונים אינם נכונים הדבר עלול לפגוע בתהליכים עסקיים ובמוניטין הארגוני. נתונים יכולים "להשתבש" מסיבות שונות: הן בשל תהליכי הסבת נתונים והן בשל מיזוג נתונים ממערכות שונות, כמו כן איסוף מידע ממקורות מידע לא מהימנים ולא עדכניים. על הפערים בנתונים מעידים צוותי התפעול והמכירה, שנמצאים בקשר ישיר עם לקוחות הקצה. בעיות בנתונים הן עניין נפוץ ורווח, שמעמיס על המערכת, מזין אותה בטעויות ולבסוף פוגע בתהליך קבלת ההחלטות. לעיתים המידע הקיים במערכת נפגע כתוצאה מהסבה או מיזוג של מידע ממערכות שונות. הדרך היחידה לטפל במידע היא על ידי איתור הבעיות והקצאת משאבים לתיקון כמו מינוי של אנשים, שכל תפקידם הוא להבטיח את איכות הנתונים בארגון .
• ניתוח ומציאת תבניות – בשלב שליפת המידע המהירה. זוהי סוגיה מכרעת בנוגע ליעילות המערכת ולאופן השימוש בה. בזמן העבודה, על המערכת לזהות דפוסים המעידים או מקושרים לתהליכי עבודה או נתונים דומים או קרובים בדאטה. הדפוס מוצג למשתמש כמידע חדש, שמאפשר לו להתקדם בתהליך החקירה שלו ולהגיע לתובנות. האתגר עולה כאשר מעוניינים במידע ספציפי מאוד .כך למשל רוצים לדעת מדוע יש מוצר שנמכר רק על ידי איש מכירות אחד. כלומר השאלה מכוונת מאוד ועל המערכת לעבור על סדרות של נתונים ופיסות מידע כדי לאתר את הדפוס הנחבא בדאטה. הפתרון במקרה זה הוא בהגדרת אלגוריתם, שידע לזהות דפוס ולהתחקות אחר תבניות, להיעזר בבינה המלאכותית כדי ללמוד את העדפות המשתמשים ולהציג להם את המידע הקרוב לעולמות התוכן שלהם במהירות, להשתמש באלגוריתמים המבוססים על אופטימיזציה ובאלגוריתמים המבוססים על הסתברויות.
• שליפת נתונים – במערכות ה-BI המתקדמות ניתן לבצע חקירה חופשית של הדאטה, כלומר המשתמש שואל כל שאלה, שעולה מתוך צורך עסקי ומעוניין לקבל עליה תשובה, שתקדם אותו ומהר. אם המשתמש יקבל מידע לא רלוונטי או לחילופין, אם המערכת לא תמצא תשובה לשאלתו, הוא יאבד אמון. שליפת הנתונים צריכה להיות מדויקת, נוגעת לעניין השאלה אך גם חושפת ערכים קרובים ומקושרים לשאלה. גם כאן בדומה לסוגיות הקודמות המערכת נדרשת "לרוץ" על פני אינספור רשומות, שלעיתים אין שום קשר ביניהן ולעמוד בעומס. הפתרונות במקרים אלו באים לידי ביטוי בבניית מודל עסקי, מבוסס על אלגוריתמים, שמלמד את המערכת לשלוף את המידע הנכון במהירות ולהציג אותו בתצורה מנותחת.
• אבטחת מידע – עידן הענן וחיבור לטאבלטים, מכשירים ניידים ויישומונים הרחיב את גבולות הארגון. אם בעבר כולנו התחברנו למחשבי הארגון מתוך הארגון ובאמצעות סיסמה מוצפנת, חומות אש והקפדה על סדרה של נהלי אבטחה מחמירים, היום בזכות עידן האינטרנט – הארגון נמצא בכל מקום. הן במסכי הטאבלט והמכשירים הסלולאריים והן במחשב הביתי. סוגיית הפרטיות באה לידי ביטוי בהיבט נוסף – הצורך לשתף גורמים שונים, פנים וחוץ ארגוניים, במידע, שלא בהכרח משמעותי להגדרות התפקיד שלהם. אחת הדרכים להתגבר על כך היא באמצעות מערכות להפקת דוחות, שמראש ממדרות את המידע המוצג בהתאם להגדרות התפקיד, כך שבלחיצת כפתור אחת אפשר לשלוח דו"ח רגיש גם לעשרות משתמשים – אך כל אחד מהם יהיה חשוף לחלק המידע המהותי הרלוונטי לתפקיד שלו. כך גם נכון הדבר לדיוור חיצוני ללקוחות ולספקי הארגון.
• פרטיות – סוגיית פרטיות המידע וזליגת מידע ממאגרים גדולים היא נושא רווח, שעולה לכותרות באופן תכוף, נהלי הגנת הפרטיות הקיימים כיום נוגעים למאגרי מידע מקומיים, קטנים או מוכווני מטרה. ולאו דווקא למאגרי נתוני עתק. הפתרון במקרה זה הוא בניסוח נהלים, ביצוע גיבויים תכופים והפעלת ה Big Data עצמה לאיתור פערים, פרצות לבעיות הקיימות. כמו כן התקשרות לספקי אחסון אמינים והתבססות על אחסון היברידי, הגדרת נהלי אבטחה, ואכיפתם.

איך מפיקים נתונים ממאגרי מידע של Big Data

הגוף המארח של ה-"ביג דאטה" הוא מערכת הבינה העסקית כלומר מערכת BI ארגונית. אם בעבר מערכת ה-BI שימשה בעיקר להפקת דוחות הרי שבשנים האחרונות מדובר על מערכת המאפשרת תחקור חופש על בסיס מודל עסקי ו"לוח מחוונים" (דשבורד) מובנה, המותאם לתחום הפעילות העסקית וניתן להתאמה פרטנית לכל משתמש ומשתמש. במערכת ה-BI הנתונים מרוכזים בטבלאות, גרפים ותרשימי זרימה. זוהי פלטפורמת חיפוש, בדומה לכל חיפוש שמבצעים במנועי חיפוש אינטרנטיים. בהקלדת ביטוי לחיפוש, המערכת שולפת את המידע המקושר לאותו ביטוי חיפוש – הן באופן ישיר והן באופן עקיף – כך שהמשתמש מקבל "תמונה רחבה ומלאה" על תחום החקירה שלו ויכול להמשיך לחקור בהקלה על ערך נוסף במסך.

במערכות ה-BI מהסוג החדש, כל משתמש, גם אם אינו מנוסה בתחקור מידע, יוכל להפוך לדאטה אנליסט. כאשר הוא לומד מיומנות חדשה, המסייעת לו להתקדם במחקר המקצועי שלו, להעמיק ולאתר מגמות, דפוסים ושינויים, שלא בהכרח נראים ממבט ראשון. לצורך כך הוא יידרש להדרכה ראשונית, שתלמד אותו כיצד לחקור את המידע וכיצד להיעזר במגוון הרחב של הכלים העומדים לרשותו, כדי שיוכל בהמשך לייצא מידע זה ואף להמחיש את התובנות, שהגיע אליהן באמצעות תרשים עסקי. במערכות ה-BI החדשות משתמשים הופכים לחוקרי מידע באופן עצמאי לחלוטין, ללא כל תלות בצוותי פיתוח או צורך ביצירת שאילתות חדשות, ויכולים להתחיל לחקור את הדאטה מכל כיוון שמעניין אותם.

אילו מערכות נפוצות קיימות לניהול מאגרי Big Data

בתחום ישנם מספר כלים ופלטפורמות לעיבוד מידע המאפשרות לנהל את מאגרי הנתונים בארגונים. בחרנו לסקור את המרכזים ביניהם:

• Hadoop – פרויקט קוד פתוח, המעבד היקפים נרחבים של מידע בהיקף של פטה-בתים. העבודה נעשית בעיקר על קבצי מידע גדולים (אקסלים למשל) תוך שימוש במודל תכנות על פני אשכולות מחשבים מנוהלים.
• Couchbase – שרת המשמש כמאגר מסמכי קוד פתוח התומך במסמכי JSON. בעל מטמון מנוהל המאפשר להפעיל נתונים באלפית השנייה. בנוסף בשרת ישנם מפרטים מובנים לשאילתות דמויות SQL.
• Cassandra – בסיס נתונים מסוג NoSQL  שנכתב על ידי פייסבוק ומ- 2010 מופץ כתוכנה חופשית המפותחת באפצ'י. השימוש העיקרי בו נעשה בעולמות ה-Big Data והוא נועד לעבד נתונים בהיקף טרה-בית, המגיעים ממגוון רחב של מקורות מידע.
• MongoDB – אחד מבסיסי הנתונים המובילים את קטגוריית NoSQL. זהו דאטה בייס לא רלאציוני, העובד עם טבלאות מקושרות, כיוון שהוא נשען על מסמך. ניתן לתכנת אתו בשלוש שפות תכנות והוא פועל תחת רישיון אפצ'י. נעזרים בו בעיקר כאשר מעוניינים לבצע חיפושי שדה, ביטויים רגולריים ושאילתות טווח וכן שאילתות המציגות מדגם תוצאות אקראי.

מדוע כדאי להשתמש ב Qlik?

המנוע האסוציאטיבי של Qlik הוא לב העניין בעיבוד נתוני Big Data . מנוע זה סורק במקביל ובזמן קצר אינספור נתונים ומגוון רחב של מקורות ומציג אותם על בסיס דשבורד מובנה ומותאם משתמש. אופן הצגת הנתונים במקרה זה שונה לחלוטין, שכן המנוע לומד את מאפייני השימוש של המשתמש ומשפר את הצגת התוצאות לאורך הזמן. בנוסף, התוצאות המוצגות למשתמש רחבות יותר מהשאלה העסקית שהוקלדה, שכן מנוע החיפוש העוצמתי, סורק את הדאטה המקושרת לערך שעליו המשתמש ביצע חיפוש, וזו מוצגת בגוון אפור למשתמש, כך שהוא יכול למעשה לקבל תמונה מלאה, שלא היה יכול להיחשף אליה בשום צורה אחרת. את החקירה יוכל המשתמש להמשיך באופן חופשי על בסיס כל ערך שיבחר, באופן אסוציאטיבי לחלוטין. ל-Qlik יש מספר פתרונות לניהול Big Data הכוללים את המנוע האסוציאטיבי, ארכיטקטורה מתקדמת ו-AI כלי בינה רבודה מתוחכם.