Robotar , i Internet sammanhang innebär programvara som skannar en webbplats för att samla in information . Dessa är inte virus - det ingen kod placeras på din maskin , och när roboten är klar med din hemsida , finns det inga bevis för att roboten var där . Informationen insamlingen är inte nödvändigtvis skadligt - du kan dra nytta av besöket . Robots Exclusion Protocol ( REP ) låter dig ha viss kontroll över processen . Historia
REP Idén startade 1994 med en robot läsargrupp ( robots-request@nestor.co.uk ) som ett sätt att styra robotar via webbplatser . Grundtanken var att installera en kort fil med kända namn och plats på instruerar roboten var du ska leta . Dessa riktningar skulle förmodligen ignoreras av illvilliga robotar , men kan användas av godartade robotar för att spara dem lite tid genom att undersöka endast en del av dina filer . Den grundläggande protokollet ökades under 2008 med ett stort antal av de stora Internet- företag, däribland Yahoo och Google . Addera Godartad Robotar
p Det finns några robotar du verkligen vill besöka din webbplats . Till exempel sökmotorer använder robotar indexerar Internet . Börjar med en enda webbadress , klassificerar roboten som webbplatsen och håller en lista över alla länkar som finns på hemsidan . Då roboten går ner i listan över insamlade webbadresser . Eftersom listan över nya webbplatser skapas varje månad är tillgängliga för allmänheten , det finns en eftersläpning av webbplatser för att kontrollera att håller robotarna arbetar dag och natt . Du vill att dessa robot besök eftersom du vill att sökmotorerna ska veta och klassificera din webbplats så att potentiella kunder kan hitta dig genom sökmotorer .
Malevolent Robotar
Robotar kan också användas för destruktiva syften . Till exempel , kan robotarna sammanställa en lista över e - postadresser indexeras av intressen . För att göra detta , de ser för något som har ett " @ " symbolen och ta snöre runt det som är bunden av mellanslag . Det är därför du kommer att se några datavetenskap professorer ger sin adress som Professor.Abc { snabel } University.edu - det är att omintetgöra onda robotar . Att klassificera din e - postadress efter intresse , ser roboten i META uttalande som är en del av koden bakom varje webbplats . Addera REP Syntax
Robotarna . txt fil installeras i en katalog . Om din webbplats är www.widgits.com , sökvägen till filen robots.txt blir www.widgits.com /robots.txt . Den första raden i filen kommer att vara " user - agent : " och nästa rad kommer att vara " Disallow : " - den första raden väljer populationen av robotar och den andra visar rad som kataloger är tabu . Använda " , " för att ange en radbrytning , " user - id : * ; /abc /" är de två linjer uttalanden som styr alla robotar för att undvika abc katalogen . För att möjliggöra sökrobot för att undersöka allt , men förbjuda alla andra robotar , skulle koden vara " user - id : sökrobot , underkänna : ; user - id : * ; disallow : /" - * betyder alla robotar , /: alla kataloger och en mellanslag betyder inga kataloger .
