كيف تعمل محركات البحث؟ لفهم SEO تقنيًا، لا تبدأ بالكلمات المفتاحية. ابدأ بمسار الصفحة داخل محرك البحث: يجب أن يكتشف URL، يستطيع الزحف إليها، يعالج ويرندر المحتوى، يقرر هل يفهرسها وما هو الـCanonical، ثم يختار هل ومتى يعرضها لاستعلام المستخدم.
الخلاصة السريعة: Google تصف عمل Search في ثلاث مراحل أساسية: Crawling → Indexing → Serving search results. الـRanking يحدث ضمن مرحلة تقديم النتائج، حيث تُختار الصفحات الأكثر صلة وجودة للاستعلام والسياق. ليس كل URL مكتشفًا يُزحف إليه، وليس كل URL تم الزحف إليه يُفهرس، وليس كل URL مفهرسًا يظهر لكل Query.
إذا كنت تبحث عن تعريف SEO نفسه وأنواعه، ابدأ من ما هو SEO؟. هذه الصفحة مخصصة لفهم Pipeline محرك البحث حتى تستطيع تشخيص مشاكل الظهور والفهرسة بصورة صحيحة.
المرحلة 0: كيف يعرف Google أن URL موجودة أصلًا؟
لا يوجد سجل مركزي لكل صفحات الويب. Google تكتشف URLs بطرق منها:
- روابط من صفحات تعرفها بالفعل.
- روابط داخلية من Hub أو Category.
- XML Sitemap.
- URLs سبق أن زارتها.
لهذا السبب، صفحة لا يربط إليها أي مكان ولا تظهر في Sitemap قد تتأخر في الاكتشاف. Internal Linking ليست فقط لتوزيع Authority؛ هي أيضًا Discovery path.
1. Crawling: الزحف إلى الصفحة
بعد اكتشاف URL، قد يطلبها Googlebot. الزحف يعني Fetch للموارد والمحتوى، لكنه ليس ضمانًا للفهرسة.
ما الذي قد يمنع الزحف؟
- robots.txt يمنع الطلب.
- Server/DNS/network errors.
- URL تتطلب Login.
- الموقع يعيد 5xx أو Timeout.
- Google يقرر عدم الزحف الآن بناءً على Scheduling وأولوية URLs.
إذا لم تُزحف الصفحة، لا تبدأ بتعديل Meta Description؛ عالج Access/Discovery أولًا.
2. Rendering: ماذا يرى Google بعد تشغيل الصفحة؟
المواقع الحديثة قد تعتمد على JavaScript لإضافة محتوى بعد وصول HTML. Google تستخدم Rendering بمتصفح Chrome حديث في عملية الزحف/المعالجة، لكن ذلك لا يعني أن كل تنفيذ JavaScript مضمون بنفس طريقة جلسة المستخدم.
افحص:
- هل النص الأساسي موجود بعد Rendering؟
- هل Links عبارة عن عناصر
<a href>قابلة للزحف؟ - هل API أو JS يفشل لGooglebot؟
- هل المحتوى يتطلب Click/Scroll لاكتشافه؟
- هل الموارد الضرورية محجوبة؟
Google تنبه المطورين إلى أن ما يراه Googlebot قد يختلف عما تراه أنت في المتصفح إذا كانت تقنية JavaScript غير قابلة للمعالجة كما تتوقع.
3. Indexing: فهم الصفحة وتخزين معلوماتها
بعد الزحف، تحلل Google النصوص والصور والفيديو والعناصر الرئيسية مثل Title وAlt وغيرها لفهم الصفحة. ثم تقرر هل الصفحة مناسبة للفهرسة.
الفهرسة ليست تلقائية
حتى إذا كانت الصفحة 200 وقابلة للزحف، قد لا تدخل Index بسبب:
- جودة أو قيمة محدودة.
- محتوى مكرر/شديد التشابه.
noindex.- مشاكل تصميم/Rendering تجعل فهم المحتوى صعبًا.
- اختيار URL أخرى كCanonical.
4. Canonicalization: أي URL تمثل المحتوى؟
أثناء Indexing تجمع Google الصفحات المتشابهة في Clusters وتختار URL ممثلة تُسمى Canonical. يمكنك إرسال إشارات عبر:
rel="canonical".- Redirects.
- Sitemap.
- Internal linking consistency.
لكن الـCanonical التي تحددها أنت إشارة وليست أمرًا مطلقًا؛ Google قد تختار URL مختلفة إذا رأت الإشارات الأخرى أقوى.
ولهذا فإن إنشاء عدة مقالات تجيب عن السؤال نفسه قد يجعل Search Engine يجمعها أو يختار واحدة مختلفة عما تتوقع. الأفضل حل التشابه من Architecture والمحتوى أولًا بدل الاعتماد على Canonical كمسكن.
5. Serving وRanking: متى تظهر الصفحة للمستخدم؟
عندما يكتب المستخدم Query، يبحث النظام في Index عن صفحات مناسبة ثم يرتب النتائج حسب الصلة والجودة ومجموعة كبيرة من الإشارات والسياق، مثل اللغة والموقع والجهاز عندما تكون ذات صلة.
وجود الصفحة في Index لا يعني أنها يجب أن تظهر لكل كلمة تراها أنت مناسبة. قد تكون:
- أقل صلة من المنافسين.
- أقل جودة/فائدة للسؤال.
- تستهدف Intent مختلفة.
- هناك URL أخرى من موقعك أنسب.
- النتائج نفسها تحتوي Features مختلفة حسب Query.
ما الفرق بين Discovery وCrawling وIndexing وRanking؟
| المرحلة | السؤال | أداة/إشارة تشخيص |
|---|---|---|
| Discovery | هل يعرف Google الـURL؟ | Internal links / Sitemap |
| Crawling | هل يستطيع طلبها؟ | URL Inspection / logs / robots |
| Rendering | هل يرى المحتوى والروابط؟ | Rendered HTML / JS debugging |
| Indexing | هل قرر تخزينها وما Canonical؟ | URL Inspection / Page indexing |
| Serving/Ranking | هل هي أفضل نتيجة لهذه Query؟ | Performance report / SERP analysis |
إذا الصفحة غير مفهرسة: شجرة تشخيص
- هل URL ترجع 200؟
- هل Googlebot يستطيع الوصول؟
- هل robots.txt يمنع Crawl؟
- هل يوجد noindex؟
- ما Canonical التي اختارتها Google؟
- هل المحتوى مختلف وقيم بما يكفي؟
- هل الصفحة مرتبطة داخليًا؟
- هل Rendering يظهر المحتوى الأساسي؟
لا تستخدم Indexing API كزر «أرشف كل مقالاتي». وثائق Google الحالية تقيد Indexing API لصفحات JobPosting أو BroadcastEvent ضمن VideoObject، بينما المواقع العامة تعتمد على الروابط وSitemaps وطلب إعادة الزحف عند الحاجة.
إذا الصفحة مفهرسة ولا تظهر: ماذا تفحص؟
انتقل من Technical Access إلى Search Relevance:
- هل Title/H1 والمحتوى يطابق Intent؟
- هل توجد صفحة أخرى من موقعك تنافسها؟
- هل المنافسون يجيبون بصورة أكثر اكتمالًا أو وضوحًا؟
- هل الصفحة لها Internal Links منطقية؟
- هل Query Commercial بينما صفحتك Informational؟
- هل هناك طلب فعلي على Query في السوق المستهدف؟
هنا يصبح دليل تحسين SEO خطوة بخطوة هو المرحلة التالية.
ما دور Sitemap؟
Sitemap تساعد محرك البحث على اكتشاف URLs جديدة أو محدثة، لكنها لا تجبر Google على فهرستها أو ترتيبها. أدرج URLs Canonical التي تريدها في البحث وتجنب ملء Sitemap بصفحات noindex أو نسخ Parameters غير مهمة.
ما دور Internal Links؟
Googlebot ينتقل من URL إلى URL عبر الروابط، وتؤكد إرشادات Google للمطورين أهمية Links القابلة للزحف. داخليًا:
- اربط الصفحات المهمة من Hubs ذات صلة.
- استخدم Anchor يصف الصفحة الهدف.
- أشر مباشرة إلى URL النهائية، لا Redirect.
- لا تترك المنتجات/المقالات المهمة متاحة فقط من Search box.
ما دور robots.txt وما دور noindex؟
الاثنان مختلفان:
- robots.txt: يتحكم في طلب Crawler لمسارات معينة.
- noindex: يطلب عدم فهرسة الصفحة، لكن يحتاج أن يستطيع Google الوصول إلى الصفحة ليرى الـrule.
حجب URL في robots.txt ليس الطريقة الصحيحة لضمان إخراجها من Index.
ما دور SEO في هذه المراحل؟
SEO يحسن احتمالية النجاح عبر كل Pipeline:
- Architecture تساعد Discovery.
- Technical SEO يحسن Crawl/Render.
- Canonicalization تقلل التكرار.
- Content/Search Intent تحسن Relevance.
- Internal Links توضح العلاقات والأهمية.
- Performance/UX تزيل احتكاك المستخدم.
للمراجعة التقنية الشاملة استخدم تحليل SEO تقني.
أسئلة شائعة
هل Google تزحف لكل صفحة تكتشفها؟
لا. Google توضح أن بعض URLs المكتشفة قد لا يتم الزحف إليها، ويمكن أن تتأثر العملية بإتاحة الخادم وقواعد robots والجدولة والأولوية.
هل كل صفحة يتم الزحف إليها تُفهرس؟
لا. Indexing غير مضمون، وقد تؤثر الجودة والتكرار وnoindex وCanonical وغيرها.
هل دفع المال يجعل Google تزحف أو ترتب الصفحة أعلى؟
لا. Google تنص بوضوح على أنها لا تقبل الدفع مقابل الزحف أكثر أو رفع الترتيب العضوي.
هل URL Inspection يرفع Ranking؟
لا. يمكن استخدامه للفحص وطلب Recrawl، لكنه لا يجعل الصفحة أكثر صلة أو جودة للاستعلام.
الخلاصة
فهم محركات البحث يبدأ بفصل المراحل: اكتشاف URL، Crawling، Rendering، Indexing/Canonicalization، ثم Serving/Ranking. عندما تعرف أين توقفت الصفحة، تختار العلاج الصحيح بدل تعديل الكلمات المفتاحية لمشكلة Server أو إرسال Indexing request لمحتوى مكرر.
