Diskuze: Zrychlení dotazů v mysql

Tomáš Dvořák

Člen

Tomáš Dvořák:2.11.2018 11:23

Ahoj,

řeším dlouhé trvání dotazů u LIKE %neco% při procházení DB. Nastavení v DB nám zajišťuje hosting.

Je v nastavení DB něco, co by zrychlilo tento dotaz? Dostatek výkonu na serveru je.

Díky

Odpovědět

2.11.2018 11:23

Ilja Židkov

Člen

Ilja Židkov:2.11.2018 11:34

Zkus na ten daný sloupec aplikovat index. Nic jiného mě nenapadá...

Nahoru Odpovědět

2.11.2018 11:34

Michal Haňáček

Tvůrce

Michal Haňáček:2.11.2018 11:45

Obávám se, že pouhé přidání indexu vůbec nepomůže. Index na stringových sloupcích se (pokud se nepletu) aplikuje na x znaků zleva, čili pokud budeš mit nevhodně sestavenej ten dotaz (like umístěné nevhodně), je celej index k ničemu.

Nahoru Odpovědět

2.11.2018 11:45

Každé rozhodnutí a každý krok v životě nás někam posune. Bohužel jen některé nás posouvají dopředu.

dez1nd

Člen

dez1nd:2.11.2018 12:40

napiš jak ten dotaz vypadá celej, jestli je to jen hledání v jedné tabulce, nebo jestli se tam neco joinuje... takhle můžeme jen hádat

Nahoru Odpovědět

2.11.2018 12:40

Tomáš Dvořák

Člen

Tomáš Dvořák:2.11.2018 13:34

index nejde použít. Pomalý dotaz, který řeším je v tom, že prochází LIKE %neco% pole, které je typu TEXT.

SELECT * FROM tabulka WHERE info LIKE (%neco%)

Žádný složitý dotaz to není, ale protože potřebuji prohledávat pole info v DB fulltextově, tak musím použít toto. Změnit typ na VARCHAR bohužel nelze, resp. nic mi nepomůže, protože i když jsem to zkusmo změnil a měl tam méně informací, tak se to nezrychlilo tolik, aby to mělo smysl měnit a přišel tak o část dat, která tam jsou.

Proto hledám nějaký vhodný způsob, aby se dotaz provedl rychleji.

Nahoru Odpovědět

2.11.2018 13:34

Michal Haňáček

Tvůrce

Michal Haňáček:2.11.2018 13:43

Ty texty které prohledáváš mají něco společného, nebo jde o různé texty? Ptám se kvůli tomu jestli by ty texty nešly nějakým způsobem sdružit do nějakých skupin (rozuměj něco jako číselník textů ...).

Nahoru Odpovědět

2.11.2018 13:43

Každé rozhodnutí a každý krok v životě nás někam posune. Bohužel jen některé nás posouvají dopředu.

dez1nd

Člen

dez1nd:2.11.2018 13:47

co je to za DB ? MSSQL, MySQL, PostgreSQL, ORACLE ? nebo něco jiného ?

Nahoru Odpovědět

2.11.2018 13:47

Michal Haňáček

Tvůrce

Michal Haňáček:2.11.2018 13:50

Nazev topicu je Zrychlení dotazů v mysql, tak ze predpokladam ze MySQL ...

Nahoru Odpovědět

2.11.2018 13:50

Každé rozhodnutí a každý krok v životě nás někam posune. Bohužel jen některé nás posouvají dopředu.

Tomáš Dvořák

Člen

Tomáš Dvořák:2.11.2018 16:28

Bohužel nejsou stejné.

Nahoru Odpovědět

2.11.2018 16:28

Tomáš Dvořák

Člen

Tomáš Dvořák:2.11.2018 16:30

Ano, mysql. Jde mi o zrychlení dotazu. Použít jiné hledání bohužel nemůžu vzhledem k tomu, že potřebuji fulltext. Hledám tedy zda nějak zlepšit dotaz nebo nastavení mysql serveru.

Nahoru Odpovědět

2.11.2018 16:30

Jindřich Máca

Tvůrce

Jindřich Máca:3.11.2018 1:26

Ahoj, tady (https://makandracards.com/…-text-search) jsou poměrně pěkně popsané dostupné metodiky pro vyhledávání nad texty v MySQL a nějaký ten orientační benchmark test k tomu. Stačilo jenom trochu Googlit, ale doufám, že to pomůže. :-)

Nahoru Odpovědět

3.11.2018 1:26

Tomáš Dvořák

Člen

Tomáš Dvořák:3.11.2018 7:58

Však googlim jako pominutý. Nicméně tady porovnávají dva dotazy a ten druhý pro mě nelze použít, protože to není fulltext, který potřebuji. Já potřebuji vyhledat i uprostřed slov a to umí jen LIKE nebo se mýlím?

Nahoru Odpovědět

3.11.2018 7:58

Jindřich Máca

Tvůrce

Jindřich Máca:3.11.2018 14:44

Tak v první řadě, tohle jsou jediné dva standardní způsoby, jak v rámci MySQL hledat v textu a jak je vidět z toho testu, LIKE je v porovnání s FULLTEXT opravdu pomalý. A žádný index Ti nepomůže, jak už tady bylo řečeno.

FULLTEXT umí vyhledávat slova v textu, uprostřed slova ne viz. https://dev.mysql.com/…boolean.html

Dle mého názoru Ti za Tvých okolností tak nepomůže žádná optimalizace databázového vyhledání, ale měl by jsi spíš přemýšlet o předzpracování a optimalizaci těch dat samotných.

Nahoru Odpovědět

3.11.2018 14:44

Patrik Valkovič

Tvůrce

Patrik Valkovič:3.11.2018 15:37

Popřípadě nad MySQL postavit nějakou další technologii jako ElasticSearch a používat ji pokud to jde.

Nahoru Odpovědět

3.11.2018 15:37

Nikdy neumíme dost na to, abychom se nemohli něco nového naučit.

Jindřich Máca

Tvůrce

Jindřich Máca:3.11.2018 16:15

To mě taky napadlo, případně úplně změnit databázový engine, ale pokud jsem to dobře pochopil, oni mají prostě MySQL někde na webhostingu, takže to asi jen tak nepůjde. :-S

Nahoru Odpovědět

3.11.2018 16:15

Tomáš Dvořák

Člen

Tomáš Dvořák:4.11.2018 18:17

Však já jsem se ani neptal na to, zda jsou jiné způsoby, ale spíše na, jestli je možné nějak vytunit DB, nechci kecat do práce hostingu, ale pokud by tam bylo nastaveno něco špatně, tak bych byl rád, aby nám to nastavili lépe.

Na ten engine se podívám.

Bohužel data jsou strukturována tak, že není možné je z toho hledání vyhodit. V podstatě se tu bavíme o rozdílu ve 100-200 ms, což není zase taková katastrofa.

Nahoru Odpovědět

4.11.2018 18:17

Tomáš Dvořák

Člen

Tomáš Dvořák:5.11.2018 13:45

Pak mně ještě napadla otázka. Jak nejlépe tedy navrhnout takto dlouhé texty 65535 znaků.

Je lepší, že bude prohledávat např. 10 varchar polí nebo je to jedno?

Nahoru Odpovědět

5.11.2018 13:45