Sökmotorer som Google "Sök" inte på webben efter nya webbplatser på det sätt som en människa. Istället förlitar de sig på en kombination av metoder för att upptäcka och indexera nya webbplatser:
* Inlämningar: Webbplatsägare kan direkt skicka in sin webbplats -URL via Googles sökkonsol (eller motsvarande verktyg för andra sökmotorer). Detta är en ganska tillförlitlig, om än manuell metod.
* krypande befintliga webbplatser: Sökmotorspårare (även känd som bots eller spindlar) bläddrar ständigt på nätet efter länkar från en sida till en annan. När de möter en länk till en ny webbplats lägger de till den webbplatsen till sin kö för att kröp. Detta är en mycket effektiv passiv upptäcktsmetod. Detta är hur många nya webbplatser som finns; De är länkade från befintliga, redan indexerade webbplatser.
* Sitemaps: Webbplatsägare kan skapa XML Sitemaps som listar alla sidor på sin webbplats. Att skicka denna webbplatskarta till sökmotorn via sina webbansvariga verktyg hjälper crawler effektivt att upptäcka alla sidor, inklusive nya.
* Inlämningar från tredje part: Olika webbtjänster och kataloger indexerar webbplatser och kan dela den informationen med sökmotorer.
* Sociala medier: Även om det inte är en primär metod, kan den ökade synligheten för en ny webbplats på sociala medieplattformar ibland leda sökmotorer för att upptäcka det snabbare. Detta är mer ett indirekt inflytande.
* Backlinks: Andra webbplatser som länkar till den nya webbplatsen hjälper sökmotorer att upptäcka det. Ju fler bakåtlänkar en webbplats har, desto mer sannolikt är det att indexeras snabbt.
Processen följer i allmänhet dessa steg:
1. upptäckt: En ny webbplats upptäcks genom en av metoderna ovan.
2. hämtning: Crawler laddar ner webbplatsens HTML -kod.
3. Indexering: Crawler analyserar det nedladdade innehållet och extraherar nyckelinformation som nyckelord, länkar och metabeskrivningar. Denna information lagras sedan i sökmotorns index.
4. ranking: När de indexerat webbplatsens sidor rankas baserat på många faktorer, inklusive relevans, myndighet och användarupplevelse.
Det är viktigt att notera att även efter att en webbplats har upptäckts och indexeras kanske den inte omedelbart visas i sökresultaten. Rankningsprocessen tar tid och beror på olika faktorer. Inte alla sidor på en webbplats indexeras omedelbart. Frekvensen för en webbplats som kröp beror på flera faktorer inklusive dess innehåll, relevans och antalet bakåtlänkar den får.
