NOVINKA - Online rekvalifikační kurz Java programátor. Oblíbená a studenty ověřená rekvalifikace - nyní i online.
NOVINKA – Víkendový online kurz Software tester, který tě posune dál. Zjisti, jak na to!

Diskuze: Velký přenos dat v DB MYSQL

V předchozím kvízu, Online test znalostí PHP, jsme si ověřili nabyté zkušenosti z kurzu.

Aktivity
Avatar
Tomáš Dvořák
Člen
Avatar
Tomáš Dvořák:26.6.2017 8:08

Ahoj,

provozovatel Mysql, u kterého hostujeme web nám sem tam zasílá, že byl velký přenos dat v databázi.

Počet spojení: 1444
Počet odeslaných dat: 3.7 GB
Počet provedených dotazů SELECT: 62902
Počet provedených dotazů UPDATE: 5145
Počet ostatních provedených dotazů: 1607
Počet vybraných řádků: 10008917
Počet procházených řádků: 54732228
Využitý čas CPU při zpracovávání dotazů: 306 sekund
Celkový čas provádění dotazů: 366 sekund

Celkem dat na jedno spojení: 2.63 MB
Celkem řádků na jedno spojení: 6931.3829639889

Bohužel mi nejsou schopni poskytnout více informací. Jsem nějak schopen zjistit o co jde?

 
Odpovědět
26.6.2017 8:08
Avatar
katrincsak
Člen
Avatar
Odpovídá na Tomáš Dvořák
katrincsak:26.6.2017 8:21

Osobně bych začal kontrolou tabulky, která je největší, nebo obsahuje nejvíce záznamů. Následně bych se podíval jaká data to obsahuje zda-li se nejedná třeba i o nějaké chyby a pak bych provedl kontrolu kodu. Může sožná, ale to si nejsem jistý jak se počítá počet dotazů, tak zda třeba si neukládáte do proměnné xx dotazů a následně dojde k odeslání všeho v jedné dávce.

Snad něco z toho pomůže.

 
Nahoru Odpovědět
26.6.2017 8:21
Avatar
Tomáš Dvořák
Člen
Avatar
Tomáš Dvořák:26.6.2017 15:08

Na co konkrétně se zaměřit u kontroly tabulek? K tomuto velkému přenosu dat probíhá i v době, kdy neběží žádný script a v noci. Nemyslím si, že by na eshopu bylo tolik lidí, aby vznikali takovéto dotazy.

Nicméně bych to rád vyřešil.

 
Nahoru Odpovědět
26.6.2017 15:08
Avatar
katrincsak
Člen
Avatar
Odpovídá na Tomáš Dvořák
katrincsak:27.6.2017 17:35

Může to být takhle cokoliv, bude lepší když někomu řekneš a podívá se ti přímo na to. Samozřejmě někomu kdo tomu rozumí a nezneužije tvá data... :) Může se jednat o roboty, nebo chybnou optimalizaci.. Těžko říct :/

Editováno 27.6.2017 17:37
 
Nahoru Odpovědět
27.6.2017 17:35
Avatar
Vladislav Domin
Člen
Avatar
Odpovídá na Tomáš Dvořák
Vladislav Domin:27.6.2017 23:32

Najprv by som sa spýtal, že čo máš v tej DB vôbec uložené, keď dosahuje prenos také hodnoty :D

 
Nahoru Odpovědět
27.6.2017 23:32
Avatar
Michal Šmahel
Člen
Avatar
Odpovídá na Tomáš Dvořák
Michal Šmahel:28.6.2017 7:54

Pohyb lidí můžeš hlídat přes GoogleAnalytics, takže se můžeš podívat. Každopádně to měří provoz obecně, takže z toho můžeš zjistit i víc.

Pak si dělej nějakou soukromou analýzu přenosu dat (někde si zapisuj, když proběhne skript pro aktualizaci dat v databázi).

Určitě to chce projet si databázi a nakreslit si průběhy, abys viděl frekventovanost jednotlivých částí.

Ještě by bylo dobré zjistit, jaký objem dat je normální na jeden dotaz a propočítat to.

Nahoru Odpovědět
28.6.2017 7:54
Nejdůležitější je motivace, ovšem musí být doprovázena činy.
Avatar
Tomáš Dvořák
Člen
Avatar
Tomáš Dvořák:28.6.2017 13:52

Díky, mrknu na to. Ono to vypadá na špatně nastaveny indexy. Děkuji

 
Nahoru Odpovědět
28.6.2017 13:52
Avatar
Tomáš Dvořák
Člen
Avatar
Odpovídá na Vladislav Domin
Tomáš Dvořák:28.6.2017 13:52

Porno, co jiného :-D ikdyž to by byl traffic větší. Jede na tom shop.

 
Nahoru Odpovědět
28.6.2017 13:52
Avatar
Michal Žůrek - misaz
Tvůrce
Avatar
Odpovídá na Tomáš Dvořák
Michal Žůrek - misaz:28.6.2017 15:20

mě to nepřijde tak dramatické, občas pracuji s databázemi kde je traffic několikrát větší, SQL Server žere 30 GB RAM a jede full time traffic minimálně 5 Mb/s (možná v noci trochu míň). Provozovatel hostingu tě za to buzeruje, protože parazituješ ostatní účastníky sdíleného hostingu. Zatímco jiní mají malé databáze, takže na jednom serveru běží třeba 100 databází, tobě pomalu dedikují server, přestože to oba případy mají obvykle za stejnou cenu. Pokud tě za to neplánuje nějak penalizovat a aplikaci to nevadí, tak bych to neřešil.

Editováno 28.6.2017 15:21
 
Nahoru Odpovědět
28.6.2017 15:20
Avatar
Tomáš Dvořák
Člen
Avatar
Odpovídá na Michal Žůrek - misaz
Tomáš Dvořák:28.6.2017 15:29

Aplikaci to nevadí, poskytovateli taky ne. Jde o automatický report a nejsou schopni mi říct nic bližšího. To je hledání v kupce sena. Každopádně to chci vyřešit. Zvláštní je, že report přichází i v době, kdy tam evidentně nejsou lidi a nejsou puštění nějaký automatický zálohy apod. Což je divný. Jediné co mě napadá, že to jsou nějaký boti.

 
Nahoru Odpovědět
28.6.2017 15:29
Avatar
Michal Žůrek - misaz
Tvůrce
Avatar
Odpovídá na Tomáš Dvořák
Michal Žůrek - misaz:28.6.2017 15:32

tak nejjednodušší je udělat nějaké logování. Pak ho vypnout. Minuta provozu by u tohoto měla bohatě stačit. nevím o jakou aplikaci se jedná, ale obvykle se to řeší, tak, že najdeš bod, kde se přímo volá databáze (pokud používáš v PHP třeba nějaký databázový wrapper, tak tam) a zaloguješ do souboru SQL dotaz, čas a třeba dobu trvání. Počítej s tím, že minuta provozu u takové aplikace vygeneruje docela dost velký soubor, tak to nezapomeň rychle vypnout.

 
Nahoru Odpovědět
28.6.2017 15:32
Avatar
Michal Žůrek - misaz
Tvůrce
Avatar
Michal Žůrek - misaz:28.6.2017 15:33

dost možná to budou nějaké prdy, které aplikace nějakým bugem volá třeba cyklicky.

 
Nahoru Odpovědět
28.6.2017 15:33
Avatar
Tomáš Dvořák
Člen
Avatar
Odpovídá na Michal Žůrek - misaz
Tomáš Dvořák:28.6.2017 15:33

Jasně, to je dobrý nápad. Každopádně si myslím, že to zase tak horké nebude. Díky

 
Nahoru Odpovědět
28.6.2017 15:33
Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 13 zpráv z 13.