Definizione di Spidering e Web Crawlers

E Spiders & Web Rasturare: Cosa Mustrà Sapete per Protegisce Data di Web

L'armi sò prugrammi (o scritturi automatizati) chì «caddarendu" in u Web chì circate e dati. L'armi vanu cù l'URL di u situ è ​​ponenu dati da e pagine web cum'è l'indirizzu email. L'armi hè ancu usatu per furnisce l'infurmazioni nantu à i siti web à i search engines.

L'armi, chì anu riferiti ancu «web crawlers» cercanu à a Web è micca tutte l'amichevole in u so intimu.

Spammers Spider Websites per cullà l'infurmazioni

Google, Yahoo!

e altri search engines ùn sò micca l'unichi interessate in siti rasturnata - per quessa scammori è spammers.

L'armi e autri uttimi automatizzati sò utilizati da i spammers per truvà indirizzu email (in Internet per questa pratica hè spessu invintata cum'è 'cugliera') in i siti di l'Internet è andate à usu di creà listimi.

L'armi hè ancu una stata utilizata da i mutori di ricerca per sapè da più infurmazione nantu à u vostru situ web, ma hè statu micca stimatu, un situ web senza esse infurmazioni (o, 'permessi') nantu à a cugliera di u vostru situ pò prisentà riscosi di sicurità per a maiò infurmazioni. L'armi vanu cù e seguenti ligami, è sò assai adepte à truvà ligami per i databases, schedari di u prugramma, è l'altra infurmazione à quale pudete micca vugliatu di fà accessu.

I webmasters ponu vede i logs per vede chì armi è autri roboti anu visitatu i so siti. Sta infurmazione à i webmasters cunnosci micca quale l'indexà u so situ, è cumu spessu.

Sta infurmazione hè d'utilità perchè permette à i webmasters fine à aghjurnà i so SEO è d'aghjurnà i mudelli di robot.txt per pruibisce bè robba di rastreu u so situ in u futuru.

Cunsiglii per a prutezzione di u vostru situ web da i Cuttughate Robot Ungheri

Ci hè un modu abbastante simplice per mantene un rossu indipendente da u vostru situ web. Ancu s'è ùn avete micca interessatu di i raggiunevuli malaccii chì rastrerenu u vostru situ (l'indirizzu email invitati ùn vi protettanu di a maiò parte di i crawler), avete averu bisognu di furnisce i search engines with important instructions.

Tutte e siti web averebbe possu un schedariu locatu in u cartulare di u racoltu chjamatu schedariu robots.txt. Stu schedariu permette di esse a struzzione di web crawlers induve ci vole à vede à i pagine di l'indices (altri ùn esse indicatu altri à a mette data di una pagina specifica per esse in indiziatu) si sò un search engine.

Sò cumu pudete sapè à i crawlers di ricerca induve vuleva à circà, pudete ancu dì riguardu ch'elli ùn vi mannanu e anchi bloquei di crawlers specificità di u vostru situ sanu sanu.

Hè impurtante cuntribuisce chì un puderà dumandatu u corpu robots.txt hà tremendu valuru per i mutori di ricerca è pò ancu esse un elementu chjave per a migliurà u funziunalità di u vostru situ web, ma certi robotici di ruteur seguiranu ignore a vostra urdinazione. Per questa mutivu, hè impurtante per guardà tutte e vostre software, plugins e appruvazioni in ghjornu.

Articuli e Articuli Related

A causa di a prevalenza di a cugliera di l'infurmazioni in ghjinirali (spamatori), a leghje hè stata aduprata in u 2003 per fà certe pratichi illegale. Sti lege di a prutezzione di u cunzumu fallenu sutta l'Attu CAN-SPAM di u 2003.

Hè impurtante chì pigliate u tempu di leghje nantu à l'attu CAN-SPAM se u vostru cummerciale impone in ogni missa o dispusizione d'infurmazioni.

Pudete sapere di più nantu à liggi anti-spam è cumu per trattà cù spammers, è ciò chì cum'è un patronu di a pruprietariu pò ùn fà micca, leghjendendu l'articuli seguenti: