Předvánoční slevová akce PHP týden
Pouze tento týden sleva až 80 % na PHP e-learning!
Využij předvánočních slev a získej od nás 20 % bodů zdarma! Více zde

Diskuze: Co se stane když můj robot stáhne web zakázaný souborem robots.txt

Aktivity (7)
Avatar
Matěj Strnad:9.6.2018 21:52

Mám robota na stahování webů ale neumí pracovat s robots.txt. Může se mně stát něco vážného když robot stáhne web zakázaný souborem robots.txt? Není to nelegální?

 
Odpovědět
9.6.2018 21:52
Avatar
Jindřich Máca
Tým ITnetwork
Avatar
Odpovídá na Matěj Strnad
Jindřich Máca:9.6.2018 22:01

Vyloženě nelegální to není, spíše je to otázka etiky. Když si nějaká stránka prostě nepřeje být procházená a indexovaná roboty, tak by jsi to neměl dělat. Co se Ti může stát nejhoršího, tak asi pokud tu stránku budeš zbytečně vytěžovat svým robotem, tak Tě zablokují. Standardně na úrovni blokace IP adresy, případně Tě hodí na nějaký globální blacklist, podle kterého Tě pak bude blokovat větší množství stránek.

Akceptované řešení
+20 Zkušeností
+1 bodů
Řešení problému
 
Nahoru Odpovědět
9.6.2018 22:01
Tento výukový obsah pomáhají rozvíjet následující firmy, které dost možná hledají právě tebe!
Avatar
Jindřich Máca
Tým ITnetwork
Avatar
Odpovídá na Matěj Strnad
Jindřich Máca:9.6.2018 22:06

Jinak řečeno, pokud Tvůj robot neumí pracovat s robots.txt, měl by jsi ho to rychle naučit. :-`

Editováno 9.6.2018 22:06
 
Nahoru Odpovědět
9.6.2018 22:06
Avatar
Peter Mlich
Člen
Avatar
Peter Mlich:15.6.2018 13:32

Pokud neco chces zablokovat, tak to udelas pres htaccess. Robots.txt vetsinou slouzi jen pro webove prohlizece.

 
Nahoru Odpovědět
15.6.2018 13:32
Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 4 zpráv z 4.