Diskuze: Velký přenos dat v DB MYSQL

Naučíme tě pracovat na home-office.

Zjistit více...

V předchozím kvízu, Online test znalostí PHP, jsme si ověřili nabyté zkušenosti z kurzu.

Aktivity

Tomáš Dvořák

Člen

Tomáš Dvořák:26.6.2017 8:08

Ahoj,

provozovatel Mysql, u kterého hostujeme web nám sem tam zasílá, že byl velký přenos dat v databázi.

Počet spojení: 1444
Počet odeslaných dat: 3.7 GB
Počet provedených dotazů SELECT: 62902
Počet provedených dotazů UPDATE: 5145
Počet ostatních provedených dotazů: 1607
Počet vybraných řádků: 10008917
Počet procházených řádků: 54732228
Využitý čas CPU při zpracovávání dotazů: 306 sekund
Celkový čas provádění dotazů: 366 sekund

Celkem dat na jedno spojení: 2.63 MB
Celkem řádků na jedno spojení: 6931.3829639889

Bohužel mi nejsou schopni poskytnout více informací. Jsem nějak schopen zjistit o co jde?

Odpovědět

26.6.2017 8:08

katrincsak

Člen

katrincsak:26.6.2017 8:21

Osobně bych začal kontrolou tabulky, která je největší, nebo obsahuje nejvíce záznamů. Následně bych se podíval jaká data to obsahuje zda-li se nejedná třeba i o nějaké chyby a pak bych provedl kontrolu kodu. Může sožná, ale to si nejsem jistý jak se počítá počet dotazů, tak zda třeba si neukládáte do proměnné xx dotazů a následně dojde k odeslání všeho v jedné dávce.

Snad něco z toho pomůže.

Nahoru Odpovědět

26.6.2017 8:21

Tomáš Dvořák

Člen

Tomáš Dvořák:26.6.2017 15:08

Na co konkrétně se zaměřit u kontroly tabulek? K tomuto velkému přenosu dat probíhá i v době, kdy neběží žádný script a v noci. Nemyslím si, že by na eshopu bylo tolik lidí, aby vznikali takovéto dotazy.

Nicméně bych to rád vyřešil.

Nahoru Odpovědět

26.6.2017 15:08

katrincsak

Člen

katrincsak:27.6.2017 17:35

Může to být takhle cokoliv, bude lepší když někomu řekneš a podívá se ti přímo na to. Samozřejmě někomu kdo tomu rozumí a nezneužije tvá data... Může se jednat o roboty, nebo chybnou optimalizaci.. Těžko říct :/

Editováno 27.6.2017 17:37

Nahoru Odpovědět

27.6.2017 17:35

Vladislav Domin

Člen

Vladislav Domin:27.6.2017 23:32

Najprv by som sa spýtal, že čo máš v tej DB vôbec uložené, keď dosahuje prenos také hodnoty

Nahoru Odpovědět

27.6.2017 23:32

Michal Šmahel

Člen

Michal Šmahel:28.6.2017 7:54

Pohyb lidí můžeš hlídat přes GoogleAnalytics, takže se můžeš podívat. Každopádně to měří provoz obecně, takže z toho můžeš zjistit i víc.

Pak si dělej nějakou soukromou analýzu přenosu dat (někde si zapisuj, když proběhne skript pro aktualizaci dat v databázi).

Určitě to chce projet si databázi a nakreslit si průběhy, abys viděl frekventovanost jednotlivých částí.

Ještě by bylo dobré zjistit, jaký objem dat je normální na jeden dotaz a propočítat to.

Nahoru Odpovědět

28.6.2017 7:54

Nejdůležitější je motivace, ovšem musí být doprovázena činy.

Tomáš Dvořák

Člen

Tomáš Dvořák:28.6.2017 13:52

Díky, mrknu na to. Ono to vypadá na špatně nastaveny indexy. Děkuji

Nahoru Odpovědět

28.6.2017 13:52

Tomáš Dvořák

Člen

Tomáš Dvořák:28.6.2017 13:52

Porno, co jiného :-D ikdyž to by byl traffic větší. Jede na tom shop.

Nahoru Odpovědět

28.6.2017 13:52

Michal Žůrek - misaz

Tvůrce

Michal Žůrek - misaz:28.6.2017 15:20

mě to nepřijde tak dramatické, občas pracuji s databázemi kde je traffic několikrát větší, SQL Server žere 30 GB RAM a jede full time traffic minimálně 5 Mb/s (možná v noci trochu míň). Provozovatel hostingu tě za to buzeruje, protože parazituješ ostatní účastníky sdíleného hostingu. Zatímco jiní mají malé databáze, takže na jednom serveru běží třeba 100 databází, tobě pomalu dedikují server, přestože to oba případy mají obvykle za stejnou cenu. Pokud tě za to neplánuje nějak penalizovat a aplikaci to nevadí, tak bych to neřešil.

Editováno 28.6.2017 15:21

Nahoru Odpovědět

28.6.2017 15:20

Tomáš Dvořák

Člen

Tomáš Dvořák:28.6.2017 15:29

Aplikaci to nevadí, poskytovateli taky ne. Jde o automatický report a nejsou schopni mi říct nic bližšího. To je hledání v kupce sena. Každopádně to chci vyřešit. Zvláštní je, že report přichází i v době, kdy tam evidentně nejsou lidi a nejsou puštění nějaký automatický zálohy apod. Což je divný. Jediné co mě napadá, že to jsou nějaký boti.

Nahoru Odpovědět

28.6.2017 15:29

Michal Žůrek - misaz

Tvůrce

Michal Žůrek - misaz:28.6.2017 15:32

tak nejjednodušší je udělat nějaké logování. Pak ho vypnout. Minuta provozu by u tohoto měla bohatě stačit. nevím o jakou aplikaci se jedná, ale obvykle se to řeší, tak, že najdeš bod, kde se přímo volá databáze (pokud používáš v PHP třeba nějaký databázový wrapper, tak tam) a zaloguješ do souboru SQL dotaz, čas a třeba dobu trvání. Počítej s tím, že minuta provozu u takové aplikace vygeneruje docela dost velký soubor, tak to nezapomeň rychle vypnout.

Nahoru Odpovědět

28.6.2017 15:32

Michal Žůrek - misaz

Tvůrce

Michal Žůrek - misaz:28.6.2017 15:33

dost možná to budou nějaké prdy, které aplikace nějakým bugem volá třeba cyklicky.

Nahoru Odpovědět

28.6.2017 15:33

Tomáš Dvořák

Člen

Tomáš Dvořák:28.6.2017 15:33

Jasně, to je dobrý nápad. Každopádně si myslím, že to zase tak horké nebude. Díky

Nahoru Odpovědět

28.6.2017 15:33

Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 13 zpráv z 13.