Diskuze: Stažení všech stránek

Volná diskuze Stažení všech stránek

Aktivity (1)
Avatar
Bitem
Člen
Avatar
Bitem:23.11.2013 16:16

Čau, mám menší problém potřebuji stáhnout všechny stránky (kam se dostane obyčejný uživatel) na jedné doméně. Ta doména má asi 500 +/- stránek. Neznáte nějaký program?

Odpovědět 23.11.2013 16:16
Rozdávat rady je zbytečné, chytrý si to najde sám a hlupák si poradit nenechá
Avatar
Jan Poláček (johny881):23.11.2013 16:26

Já používal (když jsem neměl internet doma) FDM (záložka HTML Spider)

Nahoru Odpovědět 23.11.2013 16:26
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Jan Poláček (johny881):23.11.2013 16:30

Ale zajímavější by bylo si to naprogramovat ;)

Nahoru Odpovědět 23.11.2013 16:30
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Kit
Redaktor
Avatar
Odpovídá na Bitem
Kit:23.11.2013 16:30

Wget

Nahoru Odpovědět  +3 23.11.2013 16:30
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Bitem
Člen
Avatar
Odpovídá na Jan Poláček (johny881)
Bitem:23.11.2013 17:01

To jo. Ale bylo by to na dlouho

Nahoru Odpovědět 23.11.2013 17:01
Rozdávat rady je zbytečné, chytrý si to najde sám a hlupák si poradit nenechá
Avatar
Odpovídá na Bitem
Jan Poláček (johny881):23.11.2013 17:10

Algoritmus nebude tak složitý, tipuju, že z hlavní stránky sleduješ všechny odkazy, odkazující interně, ty postupně ukládat a porovnávat názvy stažených souborů s aktuálním (duplicita, minimálně stálé přepisování..), je to vlastně něco jako malý Googlebot.
Snad si to nepředstavuju jak Hurvínek válku :D

Nahoru Odpovědět 23.11.2013 17:10
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Odpovídá na Jan Poláček (johny881)
Michael Olšavský:23.11.2013 17:18

Wget je kvalitní program. Ale psát vlastní algoritmus je mnohem zajímavější. Sám jsem něco takového dělal, a když jsem nezadal pouze interní adresy, stal se z toho pěkný crawler. Pár set tisíc zápisů do databáze...

 
Nahoru Odpovědět 23.11.2013 17:18
Avatar
Kit
Redaktor
Avatar
Odpovídá na Michael Olšavský
Kit:23.11.2013 17:28

Složité to není, ale proč vynalézat kolo? Wget navíc hezky opraví URL mezi soubory, takže se v tom pak dá lokálně browsovat.

Nahoru Odpovědět  +2 23.11.2013 17:28
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Bitem
Člen
Avatar
Odpovídá na Kit
Bitem:23.11.2013 19:00

Proč to dělat jednoduše, když to jde složitě :D

Nahoru Odpovědět 23.11.2013 19:00
Rozdávat rady je zbytečné, chytrý si to najde sám a hlupák si poradit nenechá
Avatar
Odpovídá na Kit
Michael Olšavský:23.11.2013 20:14

Souhlasím, pouze je to typ na algoritmus. Já si docela rád dělám věci po svém. To je stejné jako když se někdo učí jak seřadit pole. Samozřejmě, že to jde za pomoci jednoho příkazu. Ale někdo ten algoritmus musí vymyslet. Kdyby programátoři algoritmy přestávali vymýšlet od spoda, za 1. by se nikam nemuseli dostat, 2. by tím mohli utratit plno času běhu programu. Nemohu poté algoritmus moc optimalizovat... (Nemluvím o odborných algoritmech pro specifické účely.)

 
Nahoru Odpovědět 23.11.2013 20:14
Avatar
Kit
Redaktor
Avatar
Odpovídá na Michael Olšavský
Kit:23.11.2013 20:30

Na některých algoritmech už není dohromady co optimalizovat. Proč bych měl programovat vlastní sort, hledání řádku v souboru, nahrazování textu v souboru jiným textem apod, když mi to poskytuje přímo operační systém v daleko kvalitnější podobě?

Nahoru Odpovědět 23.11.2013 20:30
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Odpovídá na Kit
Michael Olšavský:23.11.2013 20:50

Jednoduchá odpověď. Procvičit se pro nové algoritmy.

 
Nahoru Odpovědět  +2 23.11.2013 20:50
Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 12 zpráv z 12.