מדוע גוגל לא סורק אתר שלם או חלק ממנו

 

במאמר זה ננסה לפרט מהן הסיבות שבגללן מנוע החיפוש גוגל לא סורק אתר אינטרנט שלם או חלק מדפיו.

שיווק אתר באינטרנט, או קידום אתר בתוצאות האורגניות (הטבעיות) של מנועי החיפוש, תלוי בראש ובראשונה בכך שמנועי החיפוש יסרקו אותו.

המאמר אמנם מתרכז בגוגל, בהיותו מנוע החיפוש הפופולארי ביותר כיום, אך ניתן להסיק את רוב המסקנות במאמר זה גם עבור מנועי חיפוש אחרים. סדר הפסקאות המופיע במאמר הוא מקרי ואיננו בא להצביע על רמת עדיפות כזו או אחרת.

ראשית לכל, כיצד ניתן לדעת אילו דפים באתר שלי נסרקו ואונדקסו ע"י גוגל ?  יש להיכנס לגוגל ולהקיש בתיבת החיפוש שלו את הפקודה הבאה, לדוגמא:

site:www.gidony.co.il

בדף התוצאות נראה את כל דפי האתר שנסרקו ע"י גוגל.

אם נבקש לדעת מתי בוצעה הסריקה האחרונה של דף ספציפי, נקיש בתיבת החיפוש של גוגל את הפקודה הבאה, לדוגמא:

cache:www.gidony.co.il/page2.html

בחלק העליון של דף התוצאה נראה את תאריך ושעת הסריקה (על פי שעון גריניץ').

 

אם גוגל עדיין לא סרק את הדף, להלן פירוט הסיבות האפשריות לכך:

  

בעיות קישורים

 

1. אין שום קישור המצביע לדף – דף חדש המועלה לרשת, לא ייסרק ע"י גוגל אלא אם כן יש דף אחד לפחות, שכבר מוכר לגוגל, המקשר לדף החדש. זוהי הפעולה הראשונה שיש לבצע כחלק מפעילות קידום אתר במנועי חיפוש. ישנן דרכים רבות להשיג קישורים חיצוניים המצביעים לדף. ניתן לראות פירוט באתר www.gidony.co.il ("השגת קישורים חיצוניים"). כמו כן, מומלץ להגיש את האתר החדש לגוגל בכתובת:  http://www.google.com/addurl.html. הערה חשובה בהקשר זה: ככל שאיכות וכמות הקישורים יהיו גבוהים יותר – כך יסרוק גוגל ויאנדקס את האתר החדש - מהר יותר.

 

2. רמת קינון קישורים גבוהה מדי – אם כדי להגיע לדף מסוים צריך לעבור דרך יותר מדי רמות של קישורים, עשוי גוגל שלא לסרוק את הדף. הצבת מפת אתר עשוייה לסייע בנקודה זו.

 

3. הקישור איננו רגיל – גוגל עשוי שלא לסרוק דף מסוים אם הקישור, החיצוני או הפנימי, המצביע לדף איננו רגיל (קישור ג'אווה, תמונה או אחר) או לא קיים כלל (דף "יתום" לא ייסרק). הקישורים הטובים ביותר הם קישורי טקסט סטטיים (href, src) המכילים מילות מפתח רלוונטיות לדף המדובר. למשל, אם הדף עוסק במכירת מכשירי טלויזיה, הקישור אליו יהיה כאמור סטטי, ויכיל טקסט כמו, לדוגמא: מכשירי טלויזיה במחירים נוחים.

 

 

בעיות במבנה האתר או בתוכנו

 

1. הוטל עונש על האתר – הדף או אף האתר כולו, "נענש" ע"י גוגל משום שעבר על כללי האתיקה, למשל, שימוש בטקסט או קישורים מוסתרים או כל מניפולציה אחרת. יש להשתמש בפקודה site על מנת לראות אלו דפים נסרקו (ראה למטה פרק "כלים ופקודות עזר"). ברוב המקרים העונש הוא זמני ואם הבעיה תוקנה ישוב האתר להיסרק.

 

2. דפים דינמיים - אמנם גוגל יודע לסרוק דפים דינמיים (דפים הנוצרים בשרת אוטומטית ברגע שהגולש נכנס לכתובת מסויימת ומוטענים למחשבו של הגולש) אך לא בכל המקרים, ועד כמות מסויימת (לא ברור עד כמה). כמו כן, אם כתובת הדף ארוכה מאד ויש בה יותר משני פרמטרים, הדף עלול  שלא להיסרק ע"י מנועי החיפוש. רצוי להשתמש כמה שפחות ב"&id="  כפרמטר בכתובות האתר.

 

3. קוד ה- html של הדף איננו תקני – במקרים מסויימים עשוי גוגל שלא לסרוק דף אינטרנט אם הקוד שלו מכיל שגיאות תקן רבות מדי. ניתן לבדוק את הדף באתר http://validator.w3.org .

 

4. מסגרות - מנועי החיפוש לא אוהבים שימוש במסגרות (Frames) ולכן חלק מדפים המשתמשים במסגרות עלולים שלא להיסרק.

 

5. אתר גדול מאד - גוגל אינם מבטיחים שיסרקו את כל דפי האתר שלך, אך מצהירים שהם מנסים להגדיל כל הזמן את מספר הדפים שנסרקו. לכן באתרים גדולים מאד יתכן שלא כל הדפים ייסרקו, לפחות לא מיד. שימוש במפת אתר מומלץ מאד במקרה זה.

 

6. אין מספיק טקסט בדף - רצוי להשתמש בדפדפן טקסט כגון Lynx על-מנת לבחון את האתר, היות שמרבית הרובוטים של מנועי החיפוש רואים את האתר כמו ש- Lynx רואה אותו, כלומר, רק את הטקסט המופיע בדף. אם תכונות מיוחדות דוגמת קבציJavaScript   cookies , מזהי הפעלה, מסגרות,  DHTML, Flash  או אלמנטים גרפיים אחרים, מונעים את הצגת כל האתר בדפדפן טקסט, או שאין כלל טקסט, אזי הרובוטים של מנועי החיפוש עלולים להתקשות בסריקת האתר. ניתן גם להשתמש בכלי של גוגל עצמו כתחליף ל- Lynx: כאשר משתמשים בפקודת cache שתוארה למעלה, אזי ברגע שמתקבל מסך התוצאה יש ללחוץ על הקישור:

לחץ כאן לקבלת הגרסה המוטמנת בלבד.

המלצה חמה: רצוי מאד שיהיה טקסט גם בתגים השונים, קרי, title, keywords, Description, Alt נוסף לטקסט בדף עצמו.

 

7. ניהול תוכן - אם אתה בונה אתר המכיל מערכת ניהול תוכן, ודא שהמערכת יכולה לייצא את התוכן שלך כך שרובוטי מנוע חיפוש יוכלו לסרוק את האתר.

 

8. מפת אתר – על פי המלצת גוגל, רצוי מאד להשתמש במפת אתר, במיוחד באתר גדול. מנועי החיפוש ינווטו טוב יותר באתר בעזרת מפת אתר.

 

 

הוראות אי סריקה ואי עקיבה

 

1. הוראות אי סריקה – יש לבדוק האם בקובץ robots.txt המוצב בשורש האתר מופיעות הוראות שלא לסרוק דפים מסוימים באתר, או אף את כולו (פקודת DISALLOW).  פרטים נוספים בקישור הבא:  http://www.robotstxt.org/wc/faq.html

 

2. הוראות אי עקיבה – יש לבדוק האם יש בקוד שימוש בפקודת NOFOLLOW למשל:

על-מנת למנוע מכל הרובוטים לכלול דף מהאתר שלך באינדקס, מציבים תג meta במקטע <HEAD> של הדף:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

על-מנת לאפשר לרובוטים אחרים לכלול את הדף באינדקס שלך, ולמנוע רק מהרובוטים של Google  לכלול את הדף באינדקס, משתמשים בתג הבא:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

כדי לאפשר לרובוטים לכלול את הדף באינדקס, אולם להורות להם שלא לעקוב אחרי קישורים יוצאים, משתמשים בתג הבא:

<META NAME="ROBOTS" CONTENT="NOFOLLOW

ניתן אף להורות לגוגל להסיר תמונה מחיפוש התמונות של גוגל.

הסבר מפורט מטעם גוגל אפשר לראות גם בקישור הבא:

http://www.google.co.il/intl/iw/webmasters/remove.html

 

 

שונות

 

1. אי זמינות או בעית ביצועים -  הרובוטים של מנועי החיפוש סורקים את הדפים באינטרנט במחזוריות מסויימת הנקבעת על פי פרמטרים רבים. אם בעת ביקור הרובוט בדף היתה בעיית של אי זמינות או בעיית ביצועים קשה – לא יסרוק הרובוט את הדף, אם כי ינסה לסרוק אותו בפעם הבאה.

 

2. מעקב אחר הרובוט – יש לאפשר לרובוטי חיפוש לסרוק את האתר ללא מזהי הפעלה או ארגומנטים העוקבים אחר התקדמותם באתר. שיטות אלו יעילות למעקב אחרי התנהגות של משתמש פרטני, אולם דפוס הגישה של רובוט שונה לחלוטין. גוגל מצהירים ששימוש בשיטות אלו עלול לגרום לרישום חסר של האתר באינדקס, שכן יתכן שהרובוטים לא יוכלו לסלק כתובות אתר הנראות שונות אך מצביעות למעשה על אותו הדף.

 

3. תמיכה בכותרת - כדאי לוודא ששרת האינטרנט שבו יושב האתר שלך תומך בכותרת ה-  HTTP If-Modified-Since . תכונה זו מאפשרת לשרת האינטרנט שלך ליידע את Google האם התוכן שלך השתנה מאז הסריקה האחרונה שנערכה באתר. תמיכה בתכונה זו חוסכת לך רוחב פס ותקורה.

 

4. פירוט נוסף -  http://www.google.co.il/intl/iw/webmasters/guidelines.html

 

 

כלים ופקודות עזר

 

1. להקשה בתיבת החיפוש של גוגל -

site:www.gidony.co.il  -  אילו דפים באתר זה נסרקו ע"י גוגל ?

cache: site:www.gidony.co.il/page2.html - האם דף זה נסרק ע"י גוגל ומתי ?  הפרטים יופיעו בחלק העליון של התוצאה.  כדי לקבל גרסת טקסט בלבד של הדף, כלומר כיצד גוגל רואה את הדף, יש ללחוץ על הקישור:

לחץ כאן לקבלת הגרסה המוטמנת בלבד

2. פורומים של גוגל –

http://groups.google.com/group/google.public.support.general/topics

3. משלוח אימייל לגוגל - http://www.google.co.il/support/bin/request.py?contact_type=webmaster&hl=en

 

צור קשר

שירותי קידום אתרים

חלופה זולה במיוחד לקידום אתרים