Diskuze: Stažení všech stránek

Volná diskuze Stažení všech stránek

Avatar
Bitem
Člen
Avatar
Bitem:

Čau, mám menší problém potřebuji stáhnout všechny stránky (kam se dostane obyčejný uživatel) na jedné doméně. Ta doména má asi 500 +/- stránek. Neznáte nějaký program?

Odpovědět 23.11.2013 16:16
Rozdávat rady je zbytečné, chytrý si to najde sám a hlupák si poradit nenechá
Avatar
Jan Poláček (johny881):

Já používal (když jsem neměl internet doma) FDM (záložka HTML Spider)

Nahoru Odpovědět 23.11.2013 16:26
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Jan Poláček (johny881):

Ale zajímavější by bylo si to naprogramovat ;)

Nahoru Odpovědět 23.11.2013 16:30
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Kit
Redaktor
Avatar
Nahoru Odpovědět  +3 23.11.2013 16:30
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Bitem
Člen
Avatar
Odpovídá na Jan Poláček (johny881)
Bitem:

To jo. Ale bylo by to na dlouho

Nahoru Odpovědět 23.11.2013 17:01
Rozdávat rady je zbytečné, chytrý si to najde sám a hlupák si poradit nenechá
Avatar
Odpovídá na Bitem
Jan Poláček (johny881):

Algoritmus nebude tak složitý, tipuju, že z hlavní stránky sleduješ všechny odkazy, odkazující interně, ty postupně ukládat a porovnávat názvy stažených souborů s aktuálním (duplicita, minimálně stálé přepisování..), je to vlastně něco jako malý Googlebot.
Snad si to nepředstavuju jak Hurvínek válku :D

Nahoru Odpovědět 23.11.2013 17:10
Instrukce na adrese 0x77104f29 odkazovala na adresu paměti 0x00000014. S pamětí nelze provést operaci: written.
Avatar
Odpovídá na Jan Poláček (johny881)
Michael Olšavský:

Wget je kvalitní program. Ale psát vlastní algoritmus je mnohem zajímavější. Sám jsem něco takového dělal, a když jsem nezadal pouze interní adresy, stal se z toho pěkný crawler. Pár set tisíc zápisů do databáze...

 
Nahoru Odpovědět 23.11.2013 17:18
Avatar
Kit
Redaktor
Avatar
Odpovídá na Michael Olšavský
Kit:

Složité to není, ale proč vynalézat kolo? Wget navíc hezky opraví URL mezi soubory, takže se v tom pak dá lokálně browsovat.

Nahoru Odpovědět  +2 23.11.2013 17:28
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Bitem
Člen
Avatar
Odpovídá na Kit
Bitem:

Proč to dělat jednoduše, když to jde složitě :D

Nahoru Odpovědět 23.11.2013 19:00
Rozdávat rady je zbytečné, chytrý si to najde sám a hlupák si poradit nenechá
Avatar
Odpovídá na Kit
Michael Olšavský:

Souhlasím, pouze je to typ na algoritmus. Já si docela rád dělám věci po svém. To je stejné jako když se někdo učí jak seřadit pole. Samozřejmě, že to jde za pomoci jednoho příkazu. Ale někdo ten algoritmus musí vymyslet. Kdyby programátoři algoritmy přestávali vymýšlet od spoda, za 1. by se nikam nemuseli dostat, 2. by tím mohli utratit plno času běhu programu. Nemohu poté algoritmus moc optimalizovat... (Nemluvím o odborných algoritmech pro specifické účely.)

 
Nahoru Odpovědět 23.11.2013 20:14
Avatar
Kit
Redaktor
Avatar
Odpovídá na Michael Olšavský
Kit:

Na některých algoritmech už není dohromady co optimalizovat. Proč bych měl programovat vlastní sort, hledání řádku v souboru, nahrazování textu v souboru jiným textem apod, když mi to poskytuje přímo operační systém v daleko kvalitnější podobě?

Nahoru Odpovědět 23.11.2013 20:30
Vlastnosti objektů by neměly být veřejné. A to ani prostřednictvím getterů/setterů.
Avatar
Odpovídá na Kit
Michael Olšavský:

Jednoduchá odpověď. Procvičit se pro nové algoritmy.

 
Nahoru Odpovědět  +2 23.11.2013 20:50
Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 12 zpráv z 12.