IT rekvalifikace s garancí práce. Seniorní programátoři vydělávají až 160 000 Kč/měsíc a rekvalifikace je prvním krokem. Zjisti, jak na to!
Hledáme nové posily do ITnetwork týmu. Podívej se na volné pozice a přidej se do nejagilnější firmy na trhu - Více informací.

Diskuze: Stažení všech stránek

Aktivity
Avatar
Neaktivní uživatel:23.11.2013 16:16

Čau, mám menší problém potřebuji stáhnout všechny stránky (kam se dostane obyčejný uživatel) na jedné doméně. Ta doména má asi 500 +/- stránek. Neznáte nějaký program?

Odpovědět
23.11.2013 16:16
Neaktivní uživatelský účet
Avatar
Jan Poláček
Tvůrce
Avatar
Jan Poláček:23.11.2013 16:26

Já používal (když jsem neměl internet doma) FDM (záložka HTML Spider)

Nahoru Odpovědět
23.11.2013 16:26
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Jan Poláček
Tvůrce
Avatar
Jan Poláček:23.11.2013 16:30

Ale zajímavější by bylo si to naprogramovat ;)

Nahoru Odpovědět
23.11.2013 16:30
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Kit
Tvůrce
Avatar
Nahoru Odpovědět
23.11.2013 16:30
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Odpovídá na Jan Poláček
Neaktivní uživatel:23.11.2013 17:01

To jo. Ale bylo by to na dlouho

Nahoru Odpovědět
23.11.2013 17:01
Neaktivní uživatelský účet
Avatar
Jan Poláček
Tvůrce
Avatar
Odpovídá na Neaktivní uživatel
Jan Poláček:23.11.2013 17:10

Algoritmus nebude tak složitý, tipuju, že z hlavní stránky sleduješ všechny odkazy, odkazující interně, ty postupně ukládat a porovnávat názvy stažených souborů s aktuálním (duplicita, minimálně stálé přepisování..), je to vlastně něco jako malý Googlebot.
Snad si to nepředstavuju jak Hurvínek válku :D

Nahoru Odpovědět
23.11.2013 17:10
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Odpovídá na Jan Poláček
Michael Olšavský:23.11.2013 17:18

Wget je kvalitní program. Ale psát vlastní algoritmus je mnohem zajímavější. Sám jsem něco takového dělal, a když jsem nezadal pouze interní adresy, stal se z toho pěkný crawler. Pár set tisíc zápisů do databáze...

 
Nahoru Odpovědět
23.11.2013 17:18
Avatar
Kit
Tvůrce
Avatar
Odpovídá na Michael Olšavský
Kit:23.11.2013 17:28

Složité to není, ale proč vynalézat kolo? Wget navíc hezky opraví URL mezi soubory, takže se v tom pak dá lokálně browsovat.

Nahoru Odpovědět
23.11.2013 17:28
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Odpovídá na Kit
Neaktivní uživatel:23.11.2013 19:00

Proč to dělat jednoduše, když to jde složitě :D

Nahoru Odpovědět
23.11.2013 19:00
Neaktivní uživatelský účet
Avatar
Odpovídá na Kit
Michael Olšavský:23.11.2013 20:14

Souhlasím, pouze je to typ na algoritmus. Já si docela rád dělám věci po svém. To je stejné jako když se někdo učí jak seřadit pole. Samozřejmě, že to jde za pomoci jednoho příkazu. Ale někdo ten algoritmus musí vymyslet. Kdyby programátoři algoritmy přestávali vymýšlet od spoda, za 1. by se nikam nemuseli dostat, 2. by tím mohli utratit plno času běhu programu. Nemohu poté algoritmus moc optimalizovat... (Nemluvím o odborných algoritmech pro specifické účely.)

 
Nahoru Odpovědět
23.11.2013 20:14
Avatar
Kit
Tvůrce
Avatar
Odpovídá na Michael Olšavský
Kit:23.11.2013 20:30

Na některých algoritmech už není dohromady co optimalizovat. Proč bych měl programovat vlastní sort, hledání řádku v souboru, nahrazování textu v souboru jiným textem apod, když mi to poskytuje přímo operační systém v daleko kvalitnější podobě?

Nahoru Odpovědět
23.11.2013 20:30
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Odpovídá na Kit
Michael Olšavský:23.11.2013 20:50

Jednoduchá odpověď. Procvičit se pro nové algoritmy.

 
Nahoru Odpovědět
23.11.2013 20:50
Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 12 zpráv z 12.