Diskuze: Optimalny (efektivnejsi) kod... PHP
V předchozím kvízu, Online test znalostí PHP, jsme si ověřili nabyté zkušenosti z kurzu.
Jasně, takže pokud chápu správně jde skoro vždy až o 80% řádků a
pak cca 30% sloupců, které reálně potřebuješ? 1/3 sloupců může někde
znamenat úsporu až 2/3 nároků...
No musel bys to napsat více konkrétně... vstupní data vypadají nějak tak a
má z toho vypadnout tento formulář, kdy podmínky výběru jsou tyto a takto
vypadá typický dotaz, který je potřeba vyřešit. V teoretické rovině,
bych řekl, že je tu nápadů dost 
.
Filip:14.5.2019 19:37
jj, preto som sa pytal. Globalne premenne sa vo vseobecnosti nedoporucuje
robit. ... CSV citat po castiach - neviem si to predstavit, kedze z neho musim
vytiahnut unikatne zaznamy - prechadzam riadok po riadku a po spracovani riadku
(...nejake vypocty apod.) sa ulozi do noveho pola ktore sa vo finale zobrazi v
tabulke.... v PHP som toho moc nenapisal, musim este dostudovat
Filip:14.5.2019 20:22
... uloha je jednoducha ale rieseni moze byt viacej
Zjednoduseny priklad - format CSV suboru:
Meno; Priezvisko; Adresa; Datum narodenia; Nastup; Odpracovane hodiny; Prichod; Odchod; Odjazdene hodiny; SPZ; Trzba
Jan; Novak; Adresa 1; 01.01.1990; 05.05.2015; 7; 08:00; 15:00; 5; CGHU5; 174
Jan; Novak; Adresa 1; 01.01.1990; 05.05.2015; 4; 08:00; 12:00; 1; CGHU5; 151
Jan; Novak; Adresa 1; 01.01.1990; 05.05.2015; 3; 08:00; 15:00; 2; CGHU5; 114
Ivo; Klaun; Adresa 5; 01.05.1993; 01.01.2014; 6; 08:00; 15:00; 5; AFU1; 188
Jan; Novak; Adresa 1; 01.01.1990; 05.05.2015; 8; 08:00; 16:00; 2; CGHU5; 119
Ivo; Klaun; Adresa 5; 01.05.1993; 01.01.2014; 5; 08:00; 13:00; 1; AFU1; 120
Jan; Novak; Adresa 1; 01.01.1990; 05.05.2015; 6; 08:00; 14:00; 5; CGHU5; 174
Ivo; Klaun; Adresa 5; 01.05.1993; 01.01.2014; 7; 08:00; 15:00; 6; AFU1; 171
Ivo; Klaun; Adresa 5; 01.05.1993; 01.01.2014; 6; 08:00; 14:00; 2; AFU1; 120
Jan; Novak; Adresa 1; 01.01.1990; 05.05.2015; 7; 08:00; 15:00; 4; CGHU5; 154Uloha je vytvorit zoznam s unikatnymi osobami, kde su spocitane celkove
odpracovane hodiny, celkove odjazdene hodiny, celkova trzba a priemerna trzba za
hodinu. (+ osobna karta kazdej osoby kde sa podla roznych podmienok bude
vyhodnocovat jej stav apod.)
Cize z povodneho zoznamu kde je 10 riadkov vznikne zoznam iba s 2. riadkami.
Tomáš Novotný:14.5.2019 20:59
Tak podle tohoto, mi vyvstalo na mysli více dotazů než odpovědí 
Zase budu trochu vycházet z toho s čím jsem se již setkal...
1. který z údajů bereš za jedinečný? z uvedených podle mne není ani
jeden, ikdyž je pravda, že u některých je malá pravděpodobnost...ale
nikdy nevíš... takže nějaká kombinace vícero sloupců?
možná ta SPZ, pokud si nepůjčují mezi sebou auta
2 . mluvil si o 35 sloupcích? tu je jen 11? což podle mne ovlivňuje způsob
výběru dat... ty další jsou kde?
3. ještě je to jednorázový proces zpracování dat? nebo se s tím pracuje
vícekrát? náhled a zpětná analýza, jiná období apod..?
pokud popisuješ, že je tam několik funkcí pro osobní kartu atd.... to
už vidím spíše na nějakou databázi, pokud ji z nějakého důvodu
nechceš, tak by bylo vhodné alespoň csv rozsekat podle těch 'unikátních
osob' na samostatná csv (osobně preferuji spíše nějaký xml-like
format)
protože jinak osobní karta člověka s třeba 400 řádky bude i tak vždy
zpracovávat CSV se 40tis řádky což teda fuj...
Tomáš Novotný:14.5.2019 23:00
Právě že jsem chtěl tímto naznačit, že ta podstata být stejná
nemusí, zvláště když používáš primárně 30% sloupců. V příkladu co
si dal používáš patrně většinu sloupců a to je dle mne docela zásadní
rozdíl hlavně v té paměti jak se v začátku ptáš. Rozdíl 100MB vs. 300MB
je dle mne zásadní.
Nikdo nepsal, že sem máš dát reálná data, ale hlavičku s pseuodo -
příkladovými daty určitě nikoho nezabije ve formátu, který tam skutečně
je.
No, takže za mně bych to řešil strčením do nějaké db třeba SQLite,
pokud nemáš k dispozici db server. Protože by za tebe vyřešila dost věcí,
viz primárně ty součty nad vybranou skupinou dat.
Píšeš, že je to jednorázově což teda musí být masakr. To totiž
znamená, že všechna data pro následné filtrování máš pak v
prohlížeči pro všech 250 lidí jak pro sumáře tak jejich detaily + osobní
údaje 
.
Pokud db fakt ne a ikdyž pro sumář, procházíš stejně celý soubor, jsem
pro to regulární výrazem přes ID vytáhnout řádky. Pak třeba explodem
přes ';' rozskat a vytáhnout si jen co potřebuješ.
Jinou možností, co mne napadá je využít parser, který je defaultně pro
csv v php a bude-li problém s pamětí tak vstupní soubor rozdělit na více
menších.
Jinak to 'jednorázově' se mi moc nepozdává, když píšeš, že se data
mění - přibývají každý den - tj. si vykládám, že je možné, že se na
ně každý den někdo podívá a provádí se znovu výpočty ze včera + se
přidají ty dnešní.
Jednorázovým jsem měl na mysli třeba import bankovních výpisů... ty
uděláš jednou a pak už ne.
Jak pisi kluci. Take bych primo z toho csv parseru tahal jen, co potrebuji. A k tomu tak ci tak je lepsi pouzit funkci, jakou pises. Jakoze ty mas nejspis kod:
$csv = file_get_contents($path);
$table = parsujCSV($csv); // function parsujCSV(&$csv);
// parsujCSV($csv, $table); // function parsujCSV(&$csv, &$table);
$table = filtruj($table, $kriteria);To povazuji za spravny a prehledny postup. (podobne filtruji csv v js - uloz si to jako uplnou stranku, i s js kodem a pres prochazet si tam to sve csv otevri https://webapp.fpf.slu.cz/…as3-view.htm)
Ale kdybys to chtel rychlejsi, nebo mozna jen uspornejsi na pamet, tak by ten filtr musel byt v parseru. Minimalne usetris jeden cyklus.
function parsujCSV(&$csv);
{
$parser = new mujCsvParser();
$table = array();
while ($parser->end)
{
$row = $parser->next($csv)
$row = filtruj($row);
if ($row) $table[] = $row;
}
return $table;
}A uplne idealni, kdybys to dal do parseru, pokud je to tvuj vlastni kod. Ale, to je asi vedlejsi.
- Co se tyce zpracovani 30.000 radku, to by melo probehnout v pohode. Kdyz mi stiha ten javascript asi 2000 radku, 30.000 by pro nej nebyl problem.
- Pokud to csv nahravas pres web-upload, tam se celkem vyplati pouzit zipovani pro velke soubory.
- Ty radky bych tam filtroval jako $new_row = array(); $new_row[] = $row[2]; $new_row[] = $row[5];
- Co jsem upravoval jedne firme parser i o zipovani, tak manik rikal, ze
predtim cela operace nasoukani csv do db trvala asi 30s, po uprave asi 2-3s. Tam
mel dost strasidelny a neusporny kod a taky nahraval 17MB csv, ktere se krasne
ziplo asi na 500k
- Jinak by slo to csv primo nasoukat do db a db to dokaze rychle filtrovat. Pokud by s tim php melo problem, mohlo by to byt tak o 30-50% rychlejsi.
Pani dakujem za hodnotne informacie.
Aktualny kod na precitanie CSV suboru mam takyto:
if (!empty($_FILES['csv_file']['name']))
{
$dataCSV = array();
if (($file_data = fopen($_FILES['csv_file']['tmp_name'], 'r')) === false)
{
throw new Exception('There was an error loading the CSV file.');
}
else
{
$headers=fgetcsv($file_data,600,";");
while (!feof($file_data)) {
$line = fgetcsv($file_data, 1000,";");
if (!empty($line)) $dataCSV[] = array_combine($headers, $line);
}
fclose($file_data);
}
}Urcite to neni optimalny sposob...zbytocne vytvaram tak velke pole v ktorom
je vela nepotrebnych informacii.
Asi by sa mali ukladat len vyfiltrovane riadky hned pri nacitavani CSV suboru,
asi takto:
$line = fgetcsv($file_data, 1000,";");
if (!empty($line)) $dataCSV[] = filtruj($headers, $line);Ale hned tu vidim problem, ako vyhladat duplicitny riadok v tom istom poly
Predat pole do funkcii
filtruj ... $dataCSV[] = filtruj($headers, $line, &$dataCSV) asi nebude
spravna volba.
Zobrazeno 18 zpráv z 18.