ردًا على سؤال حول سبب عدم عرض أدوات تحسين محركات البحث (SEO) جميع الروابط الخلفية ، قال جون مولر محامي البحث في Google إنه من المستحيل الزحف إلى الويب بالكامل.
جاء ذلك في تعليق على Reddit في سلسلة رسائل بدأها أحد محترفي تحسين محركات البحث المحبط.
يسألون لماذا لا يتم العثور على جميع الروابط التي تشير إلى موقع بواسطة أي أداة لتحسين محركات البحث يستخدمونها.
ما هي الأداة التي يستخدمها الشخص ليست مهمة. كما يخبرنا مولر ، هذا غير ممكن أي أداة لاكتشاف 100٪ من الروابط الواردة لموقع الويب.
إليكم السبب.
لا توجد طريقة للزحف على الويب “بشكل صحيح”
يقول Mueller أنه لا توجد طريقة موضوعية صحيحة للزحف إلى الويب لأنه يحتوي على عدد لا حصر له من عناوين URL.
لا يمتلك أي شخص الموارد اللازمة للاحتفاظ بكمية لا نهائية من عناوين URL في قاعدة بيانات ، لذلك تحاول برامج الزحف معرفة ما يستحق الزحف إليه.
كما يوضح مولر ، يؤدي هذا حتمًا إلى نادرًا ما يتم الزحف إلى عناوين URL أو عدم الزحف إليها على الإطلاق.
“لا توجد طريقة موضوعية لاستكشاف الويب بشكل صحيح.
من المستحيل نظريًا الزحف إلى كل شيء ، لأن عدد عناوين URL الفعلية غير محدود فعليًا. نظرًا لعدم قدرة أي شخص على الاحتفاظ بعدد لا حصر له من عناوين URL في قاعدة بيانات ، فإن جميع برامج زحف الويب تضع افتراضات وتبسيطًا وافتراضات حول ما يستحق الزحف بالفعل.
وحتى ذلك الحين ، لأسباب عملية ، لا يمكنك استكشافها طوال الوقت ، فليس للإنترنت اتصال ونطاق ترددي كافيين لذلك ، وهي مكلفة للغاية إذا كنت ترغب في الوصول إلى العديد من الصفحات. (للزاحف ولمالك الموقع).
بعد ذلك ، تتغير بعض الصفحات بسرعة ، والبعض الآخر لم يتغير منذ 10 سنوات. لذلك تحاول برامج الزحف توفير الجهد من خلال التركيز بشكل أكبر على الصفحات التي يتوقعون تغييرها ، بدلاً من الصفحات التي يتوقعون عدم تغييرها.
كيف تحدد برامج زحف الويب ما يستحق الزحف إليه
يشرح Mueller كيف تحدد برامج زحف الويب ، بما في ذلك محركات البحث وأدوات تحسين محركات البحث ، عناوين URL التي تستحق الزحف إليها.
“ثم نصل إلى الجزء حيث تحاول الروبوتات معرفة الصفحات المفيدة بالفعل.
تمتلئ شبكة الويب بالخردة التي لا يهتم بها أحد ، والصفحات التي تم إرسال محتوى غير مرغوب فيه إلى عديمة الفائدة. قد تظل هذه الصفحات تتغير بانتظام ، وقد تحتوي على عناوين URL معقولة ، لكنها مخصصة للإغراق فقط ، وأي محرك بحث يهتم بمستخدميها سيتجاهلها.
في بعض الأحيان لا يتعلق الأمر فقط بـ bric-a-brac أيضًا. المزيد والمزيد ، المواقع صحيحة تقنيًا ، ولكن ببساطة لا تصل إلى “الحد الأقصى” من وجهة نظر الجودة لتستحق المزيد من الاستكشاف.
تعمل برامج زحف الويب مع مجموعة محدودة من عناوين URL
يختتم Mueller إجابته بالقول إن جميع برامج زحف الويب تعمل على مجموعة “مبسطة” من عناوين URL.
نظرًا لعدم وجود طريقة صحيحة للزحف إلى الويب ، كما ذكرنا سابقًا ، فإن لكل أداة تحسين محركات البحث طريقتها الخاصة في تحديد عناوين URL التي تستحق الزحف إليها.
هذا هو السبب في أن الأداة يمكن أن تكتشف الروابط الخلفية التي لم تعثر عليها أداة أخرى.
“لذلك ، تعمل جميع برامج الزحف (بما في ذلك أدوات تحسين محركات البحث) على مجموعة مبسطة جدًا من عناوين URL ، وعليهم معرفة عدد مرات الزحف وعناوين URL التي يتم الزحف إليها كثيرًا وأي أجزاء من الويب يجب تجاهلها. لا توجد قواعد محددة لأي من هذا ، لذلك سيتعين على كل أداة اتخاذ قراراتها الخاصة على طول الطريق ، ولهذا السبب تقوم محركات البحث بفهرسة محتوى مختلف ، ولماذا تسرد أدوات تحسين محركات البحث روابط مختلفة ، ولماذا تختلف القياسات المبنية على هذه الروابط اختلافًا كبيرًا.
المصدر: رديت
الصورة المميزة: rangizzz / Shutterstock
#من #المستحيل #الزحف #إلى #الويب #بالكامل
المصدر
تعليقات
إرسال تعليق