NOVINKA! E-learningové kurzy umělé inteligence. Nyní AI za nejlepší ceny. Zjisti více:
NOVINKA – Víkendový online kurz Software tester, který tě posune dál. Zjisti, jak na to!

Diskuze: Logstats - nový open source nástroj na správu logov.

Aktivity
Avatar
mayo505
Tvůrce
Avatar
mayo505:3.2.2016 15:41

Ahoj,

minule sa tu riešilo, že v Československu chýbajú open source projekty, tak som si ako tému svojej bakalárskej práce niečo také vybral a naprogramoval nástroj na správu logov a ich prehľadné textové a grafové zobrazovanie.

Zaujímal by ma váš názor v podstate na všetko. Na dokumentáciu (vzhľad / obsah), samotný nástroj (použiteľnosť, kód), prípadne aj knižnice.

Viac tu asi nemá význam písať, všetky informácie (s návodmi na použitie a demom) by mali byť v dokumentácií, ak nie aspoň nájdem chybu :D

Dokumentácia: http://logstats.org
Demo: http://logstats.org/demo
Zdrojový kód: https://github.com/…ris/logstats
PHP knižnica: https://github.com/…/logstatsphp
JS knižnica: https://github.com/…s/logstatsjs

P.S. nezaložil som to do fóra kritika webu, pretože sa jedná o viac než o hodnotenie jedného webu a toto vlákno nezakladám iba kvôli tomu aby som dostal hodnotenie hviezdičkami

 
Odpovědět
3.2.2016 15:41
Avatar
coells
Tvůrce
Avatar
Odpovídá na mayo505
coells:4.2.2016 14:19

Je to obvyklá bakalářka - práce o ničem a bez praktického použití :-)
Ale chce se mi říct, že se mi to líbí, vykročil jsi správným směrem k něčemu, co by mohlo mít hlavu a patu.

Jak to běžně chodí?

Chci vzít tvoji aplikaci a napojit na S3 nebo Azure Cloud nebo Elastic, kde mám za rok 1TB logů v nestrukturované podobě.
Knihovny mě nezajímají, protože mám svoji aplikaci a potřebuju zpracovat logy.

Mám své vlastní potřeby, takže si musím upravit výstupy podle toho, co mě zajímá trvale nebo ad-hoc.
Co třeba, když chci vidět regresní křivku návštěvnosti za poslední rok podle dnů, týdnů a měsíců a porovnat ji s nákupy na eshopu?

Podívej se třeba na Kibanu, jak funguje.

 
Nahoru Odpovědět
4.2.2016 14:19
Avatar
mayo505
Tvůrce
Avatar
Odpovídá na coells
mayo505:4.2.2016 15:10

Je mi jasné, že to nepodporuje kopu užitočných vecí, ale ťažko je konkurovať spoločnostiam, ktoré majú na to viac času, viac zamestnancov a viac zdrojov a mať všetko čo majú oni. Cieľ bol skôr urobiť niečo na prehľadnejšie zobrazovanie logov + základná analýza ako bonus a to tak aby to šlo hneď nasadiť, čiže pre menšie weby. Veci od Elasticu som ešte nepoužíval, ale nasadenie kibany + logstatshu (prípadne neviem či ešte niečo k tomu treba) sa mi zdalo dosť časovo aj zdrojovo náročné. Chcel som skôr urobiť niečo pre menšie weby, je mi jasné, že amazon to nebude používať.

Pri spôsobe získavania dát som sa inšpiroval dosť populárnym logentries.com, ktoré to majú práve tým spôsobom, knižnica v kóde. Opäť nevravím, že je to lepšie, ale pre menšie weby pohodlnejšie.

Regresnú krivku zobraziť nejde, ale zobraziť návštevnosť za posledný rok podľa dňov týždňov alebo mesiacov ako jednoduchú krivku nie je problém. To porovnanie by potom mohlo prebehnúť nad dvoma zobrazenými grafmi.

 
Nahoru Odpovědět
4.2.2016 15:10
Avatar
coells
Tvůrce
Avatar
Odpovídá na mayo505
coells:4.2.2016 18:02

Kdybys věděl, kolikrát jsem podobné zdůvodňování a obhajování už slyšel ... :-)

Psal jsi, že tě zajímá názor ostatních, tak jsem ti nabídl zkušenosti z praxe.
Tvoje vysvětlení je na druhou stranu bezcenné, pokud ho nedokážeš podložit alespoň několika případovými studiemi - kolik projektů už to používá? A tvůj vlastní web to používá? Vzhledem k tomu, že je to práce zaměřená na praktickou činnost, byla by tohle první otázka, kterou bych ti jako oponent dal.

Podívej se pořádně na LogEntries, když už jsi je zmínil, co vlastně umí, a že jejich primární směr jde jinudy.
Rozchodit Kibanu mi poprvé trvalo cca 1 hodinu, dokumentaci projdeš komplet za 2 dny.

 
Nahoru Odpovědět
4.2.2016 18:02
Avatar
Richard
Člen
Avatar
Richard:4.2.2016 19:53

Líbí se mi to, ne natolik abych to začal používat, chybí základní věci co bych od toho očekával, ale pro začátek víc než slušný.

Pokračuj.

Nahoru Odpovědět
4.2.2016 19:53
$action = $_GET['Life']; | Když dáš mínus, napiš proč!
Avatar
mayo505
Tvůrce
Avatar
Odpovídá na coells
mayo505:4.2.2016 21:27

Prepáč, že to vyznelo tak, že si nevážim tvoj názor, ale opak je pravdou. Odpovedal si, že je to bez praktického použitia pretože sa väčšinou loguje iným spôsobom. Môj názor bol len, že niekto to môže využiť aj za pomoci knižnice v kóde, keďže to takto ponúkajú aj iné spoločnosti. Samozrejme je to len názor, preto sa chcem spýtať či to takto nemá význam robiť ani pre menšie projekty a ak nie tak prečo (opäť to prosím neber tak, že ťa konfrontujem, proste sa len pýtam)

Čo sa týka bakalárskej práce, to som tu ani nemal písať, lebo to tu nie je vôbec podstatné.

 
Nahoru Odpovědět
4.2.2016 21:27
Avatar
mayo505
Tvůrce
Avatar
Odpovídá na Richard
mayo505:4.2.2016 21:28

Môžem sa spýtať čo konkrétne? Aby som vedel o čo to rozšíriť ako prvé

 
Nahoru Odpovědět
4.2.2016 21:28
Avatar
coells
Tvůrce
Avatar
Odpovídá na mayo505
coells:4.2.2016 23:22

:-D Ale neblbni, nejsi můj student ani zaměstnanec a nemusíme si hrát na zkoušky, to už mám hodně let za sebou.
Když tě někdo kritizuje, tak si to neber osobně a neobhajuj se, jednoduše se zeptej, cos mohl udělat jinak?

První věc, co udělám, když budu chtít použít tvoji knihovnu, bude co?
Napíšu si triviální aplikaci a vyzkouším si, jaké zvládne zatížení.
Jestli ji dokážu utavit na jednom stroji, zahodím ji.
Takže první věc - benchmarky.

Máš hotový prototyp hezké aplikace, teď do ní zkus nastrkat 1GB (pro začátek) logů, to je, řekněme, 5 milionů záznamů.
To je 20 entries za minutu při 12 hodinách na den po jednom roce, relativně nízká zátěž.
Další 1GB tam zkus narvat co nejrychleji to půjde, ať máš představu o škálování a průchodnosti.

Pak si to otevři na webu a zkus s těmi daty pracovat a vyhodnoť použitelnost všech aspektů, co jsi musel dělat během benchmarků.
Tohle byl jen začátek, pak tam zkus dát 10x více dat, abys to doopravdy zatížil (data se nikdy nemažou, ani/hlavně logy ne).

A teď si představ, že máš už existující aplikaci a data někde jsou.
Potřebuješ udělat jednoduchou integraci starých a nových dat, ale jsou to "jen" logy, takže bys velice nerad aplikaci svázal s technologií, která není primární pro její běh, jak snadné to bude?

Všechno to jsou řečnické otázky, vyzkoušej si to sám, odpověz si na všechny otázky a získej nadhled, který jako programátor a autor aplikace nutně ztrácíš (to je obecná nemoc všech programátorů). A když se ti to povede, tak si to dej rovnou do životopisu, protože tohle už se počítá a po lidech s podobnými zkušenostmi firmy touží.

 
Nahoru Odpovědět
4.2.2016 23:22
Děláme co je v našich silách, aby byly zdejší diskuze co nejkvalitnější. Proto do nich také mohou přispívat pouze registrovaní členové. Pro zapojení do diskuze se přihlas. Pokud ještě nemáš účet, zaregistruj se, je to zdarma.

Zobrazeno 8 zpráv z 8.