בשנים האחרונות אנחנו שומעים יותר ויותר את המושג ביג דטה, אולם מה באמת אנחנו יודעים על ביג דטה? איך ביג דטה יכול לסייע לשיפור הביצועים העסקיים של חברות וארגונים? במאמר זה אסקור בקצרה את המאפיינים והעקרונות של עולם הביג דטה
ואת היתרונות שהוא מעניק למנהלים המעוניינים להפיק יותר ערך מה-Data שלהם.
מה זה ביג דטה?
על פי הערכות שפרסמה IBM, מדי חודש במהלך שנת 2014 נצפו למעלה מארבעה מיליון שעות וידאו ב-YouTube. משתמשי Facebook העלו שלושים ביליון תכנים חדשים מדי חודש ואילו משתמשי Twitter צייצו לא פחות מארבע מאות מליון פעמים ביום. זוהי כמות אדירה של נתונים שנפחה הולך וגדל מדי יום. העלייה המתמשכת בנפחי ה-Data, לצד הגיוון הרב בסוגי ה-Data והגידול בקצב בו ה-Data זורמת, מציבה אתגרים חדשים בפני ארגונים המעוניינים להפיק ערך מהמידע אליו יש להם גישה.
אם בעבר היה המידע מגיע אל הארגונים באופן מרוכז וקל לשליטה, כיום, כאשר כל גולש הוא למעשה יצרן נתונים במגוון פורמטים, וכאשר נפחי אחסון הנתונים הולכים וגדלים, מערכות ניהול המידע הסטנדרטיות אינן מספיקות בכדי לאגור ולנתח את הנתונים המצטברים. טכנולוגיות ביג דטה הן טכנולוגיות חדשות יחסית שנועדו לאסוף לסנן ולעבד במהירות גבוהה, נתונים המגיעים ממספר רב של מקורות.
עקרונות הביג דטה
טכנולוגיות ביג דטה פותחו על מנת להתמודד עם ארבעה מאפיינים של נתונים אשר טכנולוגיות ניהול ועיבוד נתונים מסורתיות אינן מסוגלות לטפל בהם.
אלה הם ארבעת ה – Vים של ה- ביג דטה:
- נפח (Volume) – התמודדות עם נפחים חסרי תקדים של נתונים
- מהירות (Velocity) – טיפול בנתונים הנוצרים וזורמים לארגון במהירות גבוהה במיוחד
- מגוון (Variety) – נתונים המגיעים ממקורות שונים ובמבנים שונים
- אימות (Veracity) – יכולת לוודא את איכות הנתונים, שהרי ללא נתונים איכותיים כל תוצר עיסקי לא יהיה שווה הרבה.
אגב – יש המוסיפים V חמישי: ערך (Value) – המהות של פתרון ביג דטה היא לייצר לארגון ערך עיסקי, בעוד שרבים שוכחים זאת ומתמקדים באתגרים הטכנולוגיים (הרבים) ובנושאים אחרים. להערכתי, כיום האתגר הגדול ביותר בפתרונות ביג דטה הוא לייצר ערך עיסקי אמיתי, ולא "פיל לבן" שמעבד נתונים בנפח ובקצב גבוה אך לא תורם ל"שורה התחתונה".
מדיווחי תנועה ועד הורדות מוזיקה, מתיקים רפואיים ועד סטאטוסים ברשתות החברתיות, כמויות עצומות של נתונים נוצרים ונאגרים בעולם מדי יום. טכנולוגיות ביג דטה הן הדרך היעילה ביותר לאגור ולנתח את הנתונים הללו ובכך להפוך אותם לבעלי ערך עבור חברות וארגונים.
מי זקוק לטכנולוגיות ביג דטה?
לפני שכל אחד מאיתנו הפך להיות יצרן נתונים עצמאי, נשמר המידע אודות הלקוחות במערכות פנים ארגונית. מערכות CRM ו–ERP הספיקו בהחלט. כיום, כאשר הלקוחות משתפים מידע בפלטפורמות כמו Facebook, Twitter, LinkedIn ועוד, ארגונים רבים מבינים את הצורך לאגור ולנתח את המידע הזה ולהפיק ממנו תועלת עסקית. חברות ענק כמו Amazon ו-eBay דיווחו כי המעבר לשימוש בטכנולוגיות ביג דטה לצורך ניתוח התנהגות והעדפות של לקוחות, גרם לעלייה משמעותית הן במכירות שלהן והן ברווח התפעולי.
טכנולוגיות ביג דטה נפוצות:
טכנולוגיות ביג דטה מתפתחות ומשתנות במהירות. אלה הן כמה מהטכנולוגיות שכל מנהל חייב להכיר:
Hadoop
פרויקט קוד פתוח המאפשר עיבוד כמויות עצומות של מידע במקביל ואחסונן בזול יחסית, על גבי פלטפורמות שונות. הוא מאפשר מעבר חלק יחסית בין שרת אחד לבין אלפי שרתים מקבילים, תוך בקרה קפדנית על איכות הנתונים ולא מסתמך על איכות השרתים אלא על היכולות שלו לאתר תקלות ולטפל בהן.
NoSQL
זוהי קטגוריה של בסיסי נתונים המאפשרים לשמור ולאחזר כמויות גדולות במיוחד מידע שאינו נשמר במבנה הטבלאי המשמש בבסיסי הנתונים המסורתיים.
Amazon Redshift
בסיס נתונים אנליטי בענן, המאפשר ניתוח יעיל וחסכוני של נתונים בכמויות עצומות, באמצעות כלי BI ((Business Intelligence.
AWS Data Pipeline
פתרון המאפשר עיבוד והעברה של נתונים בין שרתים ופתרונות אחסון שונים בצורה קלה וזולה יחסית.
מה אפשר לעשות עם ביג דטה?
תחום הביג דטה מאפשר לא מעט שימושים בתחומים שונים, כמו למשל:
לראות את הלקוחות מכל הכיוונים
זהו השימוש הנפוץ ביותר של טכנולוגיות ביג דטה. חברות קמעונאיות הפועלות ברשת, מעוניינות לדעת מה בדיוק עושים הגולשים באתרים שלהם. באילו דפים הם צופים, היכן הם משתהים, כמה זמן הם צופים בדף ומתי הם עוזבים אותו. כאשר הנתונים הלא-מובנים הללו משולבים בנתונים מובנים כמו דו"ח ההכנסות ועם פעילויות מדיה חברתית הקשורות לאותן חברות, מתקבלת תמונת 360 מעלות של הלקוחות באתר, ממנה ניתן להפיק תובנות ומסקנות שיווקיות רבות ערך.
האינטרנט של הדברים (Internet of Things)
שימוש שני בפופולאריות שלו קשור לקישור עם יחידות חומרה, סנסורים, מכשירים ביתיים או מערכות אבטחה. המערכות הללו אוספות כמויות אדירות של נתונים אודות השימוש בהם, תקינותם או מצב האבטחה שלהם. לדוגמה: חברת NetApp העוסקת בניהול ואחסון מאגרי נתונים מעבדת מדי שבוע כמאה מיליון הודעות, המגיעות אליה ממקורות שונים.
תגובה מהירה לשינויים ואופטימיזציה
טכנולוגיות ביג דטה מאפשרות, במצבים מסויימים ועבור צרכים עיסקיים מסויימים, לתת אינדיקציות והתראות בזמן אמת – או כמעט בזמן אמת – לשינויים ולמצבים עיסקיים שיש בהם ערך אמיתי. התראות כאלה יכולות לחסוך בחשמל, להציע ללקוח הצעת ערך מותאמת אישית, וכיוב'.
אופטימיזציה של מאגרי נתונים
יישום זה שימושי במיוחד עבור חברות גדולות המעוניינות לשפר את יעילות מאגרי הנתונים שלהן, תוך כדי חיסכון בהוצאות. טכנולוגיות ביג דטה מאפשרות לחברות אלה, להקטין משמעותית את ההוצאות על החומרה, התוכנה והניהול השוטף של המידע הנצבר בהם.
לשאלות נוספות או התייעצות אני זמין כאן עבורכם,
אדר שומרון
