IT rekvalifikace s garancí práce. Seniorní programátoři vydělávají až 160 000 Kč/měsíc a rekvalifikace je prvním krokem. Zjisti, jak na to!
Hledáme nové posily do ITnetwork týmu. Podívej se na volné pozice a přidej se do nejagilnější firmy na trhu - Více informací.

Diskuze: Hodně automatizovaných requestů na web - porušuji něco?

Aktivity
Avatar
Lako
Člen
Avatar
Lako:5.6.2015 22:06

Ahoj.
Z nějakého důvodu potřebuji na cizí web automatizovaně posílat requesty.
Je takováto činnost legální? Požadavků není takové množství aby se dalo mluvit o nějakém DOS útoku (celkem asi 100 000). Je to web, který má návštěvnost tak 1500 denních unikátů..

(kdyby se někdo ptal proč to dělám - tak ano- sbírám z toho webu data, která pro mě mají hodnotu)

A ještě jedna věc: Kdyby ste chtěl někdo s něčím podobným pomoct, tak celou aplikaci vyvíjím v c# za pomoci htmlagilitypacku -( https://htmlagilitypack.codeplex.com/ ), takže můžu v lecčem poradit.

Děkuji za příspěvky.

 
Odpovědět
5.6.2015 22:06
Avatar
Richard
Člen
Avatar
Odpovídá na Lako
Richard:5.6.2015 22:19 
Požadavků není takové množství aby se dalo mluvit o nějakém DOS útoku

Pokud provozovatel webu ten provoz vyhodnotí jako útok, tak tvůj názor na to zda to útok byl či nebyl je až na posledním místě.

Proč se nedohodnout s provozovatlem? Prasit to přes parsování to největší zlo. Navíc pokud to děláš takto a jak píšeš stahuješ data která mají cenu, tak se dopouštíš dalších přečinů, + ve tvém příspěvku ještě vidím navádění ostatních (pokud bych to dotáhl ad absurdum).

100 000 requestů za jaký časový úsek? Hodina, den?

Nahoru Odpovědět
5.6.2015 22:19
$action = $_GET['Life']; | Když dáš mínus, napiš proč!
Avatar
Lako
Člen
Avatar
Odpovídá na Richard
Lako:5.6.2015 22:30

Těch 100 000 requestů je přibližně v jednom dni. Přičemž je to jednorázová záležitost. - tak se to dá i rozložit no.

Mám své dobré důvody, proč to dělám takto. Není to předmětem této diskuze.
(a nejsou to žádná choulostivá data, ani je nehodlám rozprodávat, či na nich provozovat nelegální činnosti)

 
Nahoru Odpovědět
5.6.2015 22:30
Avatar
Richard
Člen
Avatar
Odpovídá na Lako
Richard:5.6.2015 22:35

Tzn request za sekundu po dobu 24 hodin.. To je hodně.
Tvoje důvody jsou nepodstatné, stejně jako je nepodstatné to jak s těmi daty budeš nakládat.

Nahoru Odpovědět
5.6.2015 22:35
$action = $_GET['Life']; | Když dáš mínus, napiš proč!
Avatar
David Hartinger
Vlastník
Avatar
Odpovídá na Lako
David Hartinger:5.6.2015 22:46

V naší banánové republice, kde uloz.to nabízí volně ke stažení ilegální obsah ti nikdo asi nic neudělá. Právně je to IMHO ok, pokud ti neprokáže že jsi mu způsobil vyšší zátěží škodu nebo pokud tam nemají interní pravidla, která toto zakazují. Morálně to je fakt sviňárna a není problém si tě podle IP adresy najít (poskytovatel tvého připojení jim sdělí tvé údaje, protože od něj přišla enormní zátěž). Je to asi jako by jsi se ptal jestli něco porušuješ když se někomu vyspíš s ženskou...

Akceptované řešení
+20 Zkušeností
Řešení problému
Nahoru Odpovědět
5.6.2015 22:46
New kid back on the block with a R.I.P
Avatar
Lako
Člen
Avatar
Odpovídá na Richard
Lako:5.6.2015 22:53

Ok.
Důvody sem nepíšu, protože se hájím, ale protože ses ptal.
A samozřejmě chápu, že to není dobré řešení.

 
Nahoru Odpovědět
5.6.2015 22:53
Avatar
Martin Dráb
Tvůrce
Avatar
Odpovídá na Lako
Martin Dráb:6.6.2015 0:31

Před pár lety jsem přes wget zkoušel vytáhnout obsah mailing listů bugtraq a full-disclosure (myslím, že je to server seclists.org). Skončilo to na cca čtvrt roku zablokovanou IP adresou (nakonec jsem přiešel na to, že když wget stahuje každé 4 s jednu stránku, tak je to ještě OK, ale menší interval už ne).

Jinak celkem souhlasím s tím, co tady již bylo řečeno. Pokud svým počínáním nezpůsobíš škodu, tak se asi právně nemáš moc čeho bát (nepokoušíš-li se třeba o neautorizovaný přístup). Myslím, že situace by mohla být jiná, pokud bys např. systematicky vykradl obsah eshopu. Ale moc se v těchto otázkách nevyznám.

Nahoru Odpovědět
6.6.2015 0:31
2 + 2 = 5 for extremely large values of 2
Avatar
Zdeněk Pavlátka
Tvůrce
Avatar
Odpovídá na David Hartinger
Zdeněk Pavlátka:6.6.2015 7:05

Uloz.to funguje trochu jinak, prý je pod ochranou země, ke které patří přípona .to (asi někde v Africe), takže na něj neplatí naše zákony.

EDIT: David Hartinger - zrovna tobě už jsem to říkal na jednom srazu

Editováno 6.6.2015 7:06
Nahoru Odpovědět
6.6.2015 7:05
Kolik jazyků umíš, tolikrát jsi programátor.
Avatar
David Hartinger
Vlastník
Avatar
Odpovídá na Zdeněk Pavlátka
David Hartinger:6.6.2015 9:38

To se mi nezdá, provozuje ho česká firma, pochybuji o tom, že tě koncovka nějak právně ochrání. Můžeš to nějak doložit?

Nahoru Odpovědět
6.6.2015 9:38
New kid back on the block with a R.I.P
Avatar
Tomáš Maňhal
Člen
Avatar
Odpovídá na Zdeněk Pavlátka
Tomáš Maňhal:6.6.2015 10:09

Koncovka nemá na lokalitu uplatnění práv vůbec vliv. Pokud je firma založená a registrovaná v Česku, tak na ni platí české zákony. To, že mají takovou doménu je podle mě spíš forma určitého "SWAGu" a vyloučení parazitování na podobných doménách jako ulozto(dot)cz.

Editováno 6.6.2015 10:10
 
Nahoru Odpovědět
6.6.2015 10:09
Avatar
Zdeněk Pavlátka
Tvůrce
Avatar
Odpovídá na David Hartinger
Zdeněk Pavlátka:6.6.2015 10:38

Doložit to nemůžu, informaci mám od člověka, který u nás na škole před 2 lety byl jako praktikant - učil zeměpis.

Nahoru Odpovědět
6.6.2015 10:38
Kolik jazyků umíš, tolikrát jsi programátor.
Avatar
Richard
Člen
Avatar
Odpovídá na Zdeněk Pavlátka
Richard:6.6.2015 12:49

Všude je spousta vševědů co se vyjadřují k věcem o kterých neví zhola nic, je důležité fakta ověřovat, zvlášť už od pohledu takovejhle nesmysl.

Netuším, jak ulož.to může být pod ochranou Tonga, určitě ne kvůli tomu že mají jejich koncovku, nehledě na to že právní ochrana agrární soustavy ostrovů kdesi v oceánii není zrovna moc velká páka.

Samotná doména ani žádnou ochranu poskytovat nemůže, vzhledem k tomu že Tonga má jen minimální vliv na své domény.

Ještě k tomu co bylo psaný výše, jednání tazatele není pouze nemorální.

A firma nemusí být založená v česku aby byla českým právem postihnutelná, kdokoliv tu má jakékoliv aktivity, musí se přizpůsobit místním podmínkám a je jedno jestli je to čech, rus nebo marťan.

Nahoru Odpovědět
6.6.2015 12:49
$action = $_GET['Life']; | Když dáš mínus, napiš proč!
Avatar
Pavol Hejný
Tvůrce
Avatar
Odpovídá na Lako
Pavol Hejný:6.6.2015 23:54

Btw. čistě ze zvědavosti. Co má být záměrem tvého jednání? Nemusíš psát konkrétně(když jsi psal, že to není záměrem diskuse), pouze nějak obecně k čemu je to vůbec dobré? Myslím, že mám s weby i využíváním dat z jiných webů nějaké zkušenosti, ale prostě si naprosto nedokážu představit k čemu by mohla sloužit jednorázové vybombardování jednoho webu jeden den každou vteřinu.

Nahoru Odpovědět
6.6.2015 23:54
/^(web )?(app )?developer$/
Avatar
Lako
Člen
Avatar
Odpovídá na Pavol Hejný
Lako:7.6.2015 11:43

No, záměrem není to vybombardovat během dne. Jenom to mám teď tak nastavené, samozřejmě se to dá upravit.
Záměrem tedy je dostat z toho kýžená data, která mi přijdou zajímavá pro statistické zpracování.
Nakonec se mi otevřela ještě trochu jiná cesta, takže parsovací řešení si nechám v záloze a místní specialisté na české právo budou mít klidnější spaní.

 
Nahoru Odpovědět
7.6.2015 11:43
Avatar
martin21000
Člen
Avatar
martin21000:27.6.2016 13:00

Plánuji vytvořit stránku s podobným principem akorát bude mít míň požadavků na web (cca asi 80 000 za den - zhruba 50 dotazů každých 5 minut). Budu si stahovat obsah, který dál budu zprostředkovávat na svém webu. Díval jsem se na jejich podmínky a nikde nemají nic podobného zakázáno. Porušuji tím tedy něco?

 
Nahoru Odpovědět
27.6.2016 13:00
Avatar
Petr Čech
Tvůrce
Avatar
Odpovídá na martin21000
Petr Čech:27.6.2016 14:48

Dohodni se s daným webem, to je nejlepší

Nahoru Odpovědět
27.6.2016 14:48
the cake is a lie
Avatar
Martin Dráb
Tvůrce
Avatar
Odpovídá na martin21000
Martin Dráb:27.6.2016 15:19

Myslím si, že porušovat klidně můžeš. A nemusí to mít nikde v podmínkách napsané. Např. pokud by se jednalo o nějakou formu autorského díla, tak by na tvé počínání mohlo být nahlíženo na jeho užití v rozporu s licencí. "Zprostředkování obsahu" může být třeba i kopírování článků slovo od slova.

Myslím, že u nás byl i soudně řešen případ, kdy někdo vytahoval informace z cizího webu (myslím, že šlo o videa), aby nebylo nutné se tímto cizím webem proklikávat a hledat je tam. A problém byl hlavně v tom, že kvůli tomu potenciální návštěvník neviděl/neproklikal zobrazované reklamy.

Ono i kdyby to právně v pořádku bylo, tak je lepší se u tohoto typu věcí, které nejsou na první pohled zřejmé, dohodnout s provozovatelem. Už proto, že tím můžeš předejít různým problémům, i když budeš v právu.

Co se týče staršího obsahu, uloz.to sice nelegální obsah obsahuje, ale mělo by mít povinnost jej mazat, dyž jej na něj upozorníš. Kdesi je totiž zakotveno, že není v silách provozovatele hlídat, který obsah je legální a který ne (což mi přijde logické). Pokud vím, mají větší hráči (Dilia...) i speciální přístup na uloz.to. Podobně to řeší Youtube (tam navíc mají algoritmy na detekci podobnosti, které by měly (podle tvrzení lidí ze švýcarské pobočky někdy z r. 2013) odhalit pokus o nahrání nelegálního videa (které má Google v databázi) od délky 30 s.

Nahoru Odpovědět
27.6.2016 15:19
2 + 2 = 5 for extremely large values of 2
Avatar
martin21000
Člen
Avatar
martin21000:27.6.2016 16:02

Děkuji za názory. Nevím, jestli by se jednalo o porušování autorského díla, když na web může přispívat jakýkoliv návštěvník. Ale máte pravdu, že by bylo lepší udělat to, co jsem chtěl udělat i předtím. Nejdřív se domluvit s majitelem webové stránky.

 
Nahoru Odpovědět
27.6.2016 16:02
Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 18 zpráv z 18.