מהו איסוף מידע אינטרנטי

מהו איסוף אינטרנטי אוטומטי?

כאשר מדובר בפעולה חד פעמית, יומיומית, הרי שהפתרון הנכון הוא לפתוח את הדפדפן לחפש את המידע באופן ידני ובמידת הצורך לשמור אותו לשימוש בהמשך.

מנגד, כאשר הצורך הינו עסקי , גדול היקף או חוזר, הרי שאיסוף ידני הוא מייגע, גוזל זמן ולא יעיל.

על מנת לפתור בעיה זו, נולד פתרון "אוטומציית איסוף המידע".

ההבדל בין איסוף ידני לאוטומטי איננו רק במידת הנוחות ובמהירות שבו הוא מתבצע.

ההבדל הינו איכותי והוא מאפשר פיתוחים עסקיים, אשר בלעדיו היו דמיוניים בלבד.

איסוף אנושי הינו מוגבל בזמן ואיטי מאוד. גם האדם המיומן ביותר איננו מסוגל לעיין ביותר מ- 10-20 דפי אינטרנט לדקה ובוודאי שאיננו מסוגל להתמיד בקצב זה לאורך זמן.

מנגד, יכולות פלטפורמות האיסוף המקבילות, לסרוק להצליב ולהטמיע במסד נתונים מאות אלפי דפי אינטרנט ממספר רב של מקורות שונים. חישוב פשוט יראה, כי שעת מחשוב אחת יכולה להיות שווה לשנת עבודה שלמה של אדם.

ליכולות אלו, מתווספת טכנולוגיה חדשה אשר יוצרת בימינו מהפכה טכנולוגית בכל תחומי החיים. זוהי טכנולוגית למידת המכונה. באמצעות למידת מכונה, מסוגלת פלטפורמת האיסוף ללמוד להיכן להכווין את החיפוש וזאת בהתאם לכמות ואיכות התוצאות הרלוונטיות אליהן היא מגיעה.

בהמשך, מסוגלת מערכת עיבוד המידע, להסיק מסקנות בזמן אמת, לנתח, להצליב ולעבד את המידע והכל באופן גמיש ותוך כדי למידה הן מן המידע שנאסף והן מחיפושי עבר.

איך זה עובד?

לכלי אשר אוסף את המידע אנו קוראים "עכביש" (spider), כאשר בכל איסוף מידע מופעל עכביש אחד או יותר.

העכבישים מחלקים ביניהם את משימות החיפוש, מתקשרים ביניהם, משתפים "מסקנות" וחולקים ביניהם את משימות החיפוש השונות, כך שכל כתובת אינטרנט לא תסרק יותר מפעם אחת.

המידע אשר נאסף מעובד באופן ראשוני באמצעות העכבישים. תוצרי העיבוד מועברים למערכת ה- Back-End שהיא המוח המרכזי, שם נעשה העיבוד והניתוח. במידת הצורך, מעביר ה"מוח" בחזרה הוראות לעכבישים. כאשר המוח מבין כי מטרת החיפוש הושגה, הוא מורה לעכבישים לחדול מעבודתם.

רגע, אבל זה בדיוק מה שגוגל עושים, לא מספיק לחפש בגוגל?

מנוע החיפוש של גוגל הוא כלי טכנולוגי מרשים ומועיל מאין כמוהו. בכל רגע ורגע סורקת גוגל את האינטרנט ומקטלגת אותו כך שנוכל לחפש בו בקלות ובמיוחד במהירות. כך למשל ניתן לחפש בקלות ובמהירות "טיסה לאיטליה" ולקבל מספר רב של תוצאות רלוונטיות.

גוגל פועל באופן פשוט מאוד, בדומה לספרנית מיומנת, מסוגל גוגל לכוון את המחפש אל מראי המקום הרלוונטיים ביותר לחיפוש שלו. איסוף המידע האוטומטי שונה מגוגל בכך שהוא ממשיך היכן שמנוע החיפוש של גוגל מפסיק. 

איסוף המידע האוטומטי, מקביל לרשת של אלפי מידענים, אשר מחפשים ביחד מידע ברשת. מובן, כי תוכנת המחשב (עדיין) איננה מסוגלת לאסוף ולנתח מידע כמו אדם שזה מקצועו. אך מנגד, היכולת לסרוק ולנתח הרי מידע מטה את הכף לטובת המערכת הממוחשבת.

עוד חשוב לזכור, כי חיפוש בגוגל לעולם יחזיר תוצאה בתוך עשיריות שניה בודדות. כך בנוי מנוע החיפוש, כאשר מהירות התשובה מוגדרת מראש והיא באה על חשבון עומק ניתוח הנתונים.

כתוצאה מכך, החיפוש בגוגל לעולם יעלה רק את קצה קצהו של הקרחון, כאשר הרי מידע קבורים "בתחתית האינטרנט" מתחת לתוצאות הממומנות ומתחת לאתרים הפופולריים. 

מערכת איסוף המידע האוטומטית שונה בתכלית השינוי. החיפוש נעשה לאורך זמן (שעות/ימים ולפעמים גם שבועות וחודשים) ולכן היא מסוגלת להעמיק הרבה יותר ואף לבצע באופן אוטומטי את איסוף, ניתוח והנגשת המידע.

איסוף מידע אוטומטי – דוגמאות מעשיות

מעקב אחרי מחירים:

עשו מהפכה בצורה בה אתם מנהלים את העסק שלך ביום יום עם נתוני מוצרים ספציפיים, מדויקים ועדכניים והגדילו באופן דרמטי את התחרותיות של החברה. החל מפתרונות תמחור אוטומטיים ועד תובנות השקעות רווחיות. בעזרת נתונים כאלו, אפשר להזיז הרים.

• תמחור דינמי ואופטימיזציה של הכנסות
• ניטור מתחרים
• ניטור מגמות מוצר
• קבלת החלטות השקעה

מחקר שוק

מחקר שוק הוא קריטי – והוא אמור להיות מונע על ידי המידע המדויק ביותר הקיים. נתונים באיכות גבוהה, בהיקף גדול, אשר נאספים מהאינטרנט, הם הדלק המניע מחקרי השוק והמודיעין העסקי ברחבי העולם.

• ניתוח מגמות שוק בקטגוריות המסחריות השונות 

לדוגמה: ניתוח תחרות לפי קטגוריה עסקית ואיזור גיאוגרפי.

• בניית מודל תמחור שוק
• אופטימיזצית נקודת הכניסה
• מחקר ופיתוח
• ניטור מתחרים

 לדוגמה: האם המתחרים מחפשים עובדים חדשים? האם הם מפטרים עובדים?

• מעקב אחר אזכורים של מותג ברשת וברשתות החברתיות וניתוח המגמה (sentiment) של כל אזכור, כלומר האם האזכור הוא שלילי או חיובי.

נדל״ן

המהפך הדיגיטלי של הנדל״ן בעשרים השנים האחרונות מאיים לשבש את פעילותן של החברות המסורתיות וליצור שחקנים חדשים וחזקים בענף. על ידי שילוב נתוני מוצר הנאספים מהרשת ברמה היומית, סוכנים ומתווכים יכולים להגן על עצמם מפני תחרות אינטרנטית חזקה ולקבל החלטות מיידיות ומושכלות בשוק המודרני.

• הערכת שווי נכס
• ניטור אחוז היחידות הפנויות להשכרה
• אומדן תשואות השכרה
• הבנת כיוון השוק

ניטור חדשות ותוכן

המדיה המודרנית יכולה ליצור ערך יוצא מן הכלל או איום קיומי על העסק שלך. אם אתם חברה שתלויה בניתוחי חדשות מתוזמנים, או חברה המופיעה לעיתים קרובות בחדשות, איסוף מידע מאתרים רלוונטיים היא הפתרון האולטימטיבי לניטור, צבירה וניתוח של הסיפורים הקריטיים ביותר מהתעשייה שלכם.

• קבלת החלטות השקעה
• ניתוח הלך הרוח הציבורי ברשת
• ניטור מתחרים
• קמפיינים פוליטיים

אילו כמובן רק דוגמאות על קצה המזלג, היקף וטיב השימוש באיסוף האוטומטי מוגבל אך ורק על ידי הדמיון והיצירתיות שלך! 

יש לך פרויקט הדורש איסוף מידע אינטרנטי? רוצה שנבנה לך רשימת מידע? רשימת טלפונים? מאגר מידע?

צור איתנו קשר עם כל שאלה אשר עשויה להיות לך, ונוכל להתחיל ולבנות לכם את הכלי הרצוי לאיסוף המידע הנדרש.