Diskuze: Robot na stahování webů a ukládání jejich obsahu do DB
V předchozím kvízu, Online test znalostí PHP, jsme si ověřili nabyté zkušenosti z kurzu.
$str = file_get_content($url);
A pak uz pouzijes str_pos+substr nebo reg. vyrazy preg_match/preg_replace.
+20 Zkušeností
Neaktivní uživatel:24.5.2018 13:58
Robot bude indexovat to co mám v DB když najde novou stránku tak ji
zapíše do DB robotovy který bude stejný ale bude se zabývat jen nalezenýmy
odkazy. 
Martin Štěpánek :24.5.2018 21:27
On to dělá, aby se lépe naučil s PHP 
Samozřejmě nejlepší takovou věc
by bylo napsat to v rychlém céčku, aby to mělo smysl, ale to by mu
nepomohlo...
Porad se ptas na to same
Nevim, zda si rozumime. Web stahujes bud html stranku nebo komplet vsechno,
kazdy soubor, ktery pro zobrazeni stranky potrebujes (css, js, obrazek). A dal
muzes stahovat dalsi stranky podle odkazu v html strance. To lze do nekonecna
nebo nastavil level, treba, do hloubky 4 odkazu.
Kam si budes data ukladat, je tvuj problem. Je tam treba hlidat cesty a
neukladat duplicity.
Jako skolni uloha by to melo fungovat asi tak, ze si vytvaris v php strom,
prohledvas strom, zda tam uz takova stranka existuje, abys ji neduplikoval a
pridas ji do seznamu. V podstate vystup by mohl byt jen strom stranek. Pripadne
k nim pridane jmena souboru (obrazky, css, ...)
Pri ukladani souboru bych delal uplne stejnou adresarovou strukturu jako najdes
u odkazu.
- V php se da html stranka parsovat jako DOM nebo XML nebo pres si to muzes parsovat sam pres pres strpos, substring ci reg. vyrazy preg_match().
Stazeni souboru do stringu je pres file_get_content(). Dalo by se pouzit mozna fopen() nebo nejake funkce f-neco.
- V pythonu to bude neco podobne. Staci zadat do googlu python py parser.
- Idealni cesta je jit cestou hotovych programu, jak uz zminili wget. Existuje pro linux i win. Mozna se pro win jmenuje trochu jinak. Tam zadas pravne url webu, hloubku 4. Ze chces kompletne vsechny soubory. Od-enterujes a pak uz jen pockas, az to dostahuje. Wget muzes spoustet i pres php. Dal by se asi pouzit exec() nebo jeho alternativy, viz php.net/exec nadpis See also.
Zobrazeno 13 zpráv z 13.