Diskuze: Corona program ciselny udaj nakazenych
V předchozím kvízu, Test znalostí C# .NET online, jsme si ověřili nabyté zkušenosti z kurzu.
Bugmaster:22.3.2020 18:49
Tomuhle se říká data scraping.
V tech několika případech, kdy jsou tohle řešil se mi osvědčil HtmlAgilityPack. Ten stránku stáhne, zparsuje jí do jekéhosi dokumentu, který obsahuje strom stránky. Nad tímhle dokumentem je následně možno vykonávat XPath dotazy, kterýma si vytáhneš, co potřebuješ.
Schválně jsem si to napsal. Zdroják je tady.
Spustíš to nějak takhle:
var s = new Scraper();
var dataZemi = s.Scrapovat();
Console.WriteLine(CountryData.FormatString, "Zeme", "Total", "Deaths", "Rate [%]");
dataZemi.ForEach(Console.WriteLine);Vystup pak vypada viz priloha.
Jan Kerhart:23.3.2020 3:39
Ahoj,
jak již zde bylo řečeno, tento působ není úplně ideální. Jsi takto
závislý na "vizuální podobě" stránky, která se může často měnit a to
může způsobovat chyby. Mnohem lepší řešení je použití nějakého tzv.
API, které ti data vrátí v předem známém a neměnném formátu, který je
dobře strojově čitelný, typicky to bývá json nebo xlm. Ale pokud taková
možnost není, tak je samozřejmě možné i stáhnout a naparsovat kód té
stránky.
Nejjednodušší způsob, jak to udělat je za pomocí HtmlAgilityPack, ale
jsou i jiné způsoby. Jak tedy na to:
Nejprve je nutné vložit do projektu balíček HtmlAgilityPack: V okně
Solution Explorer (vpravo ve Visual Studiu) klikni pravým na tvůj projekt a
vyber "Manage NuGet Packages...". Následně vlevo nahoře vyber "Browse" a do
vyhledávacího políčka napiš "HtmlAgilityPack" a potvrď. Měl by se
zobrazit seznam, kde jako první bude HtmlAgilityPack. Ten vyber a vpravo klikni
na "Install", následně "OK" a vrať se k tvému kódu.
Zde je metoda pro získání počtu nakažených:
public static int getByCountry(string country)
{
HtmlWeb htmlWeb = new HtmlWeb();
HtmlDocument document = htmlWeb.Load("https://www.worldometers.info/coronavirus/");
HtmlNodeCollection rows = document.DocumentNode.SelectNodes("//*[@id=\"main_table_countries_today\"]/tbody[1]/tr");
foreach (HtmlNode row in rows)
{
HtmlNodeCollection columns = row.SelectNodes("td");
if (columns[0].InnerText == country)
{
return int.Parse(Regex.Replace(columns[1].InnerText, "[^.0-9]", ""));
}
}
throw new Exception("Stát nenalezen!");
}A použití je již triviální, radši ale uvedu:
Console.WriteLine(getByCountry("Slovakia"));Pokud již znáš a využíváš OOP, tak si metodu uprav a vlož do nějaké třídy.
Kdyby jsi měl jakýkoliv problém, neváhej napsat 
Sperhak:23.3.2020 10:03
Ahojte ďakujem obom za pomoc určite to dalo dosť práce,no bohužiaľ ani
jeden kód mi nefunguje.
Bugmaster tvoj kód vyzerá skvelo sú tam aj veci ktoré nepotrebujem no to by
mi nevadilo jednoducho ich odignorujem 
Ten výpis čo si poslal vyzerá
úžasne. Avšak keď chcem spustiť tvoj kód vypíše mi chybu CS5001 a vôbec
sa nechce skompilovať. Snažil som sa tam pridávať tento riadok static void
Main(string[] args) lebo tak som to pochopil že tam chýba ten. No po hodine
googlenia a snaženia som to vzdal.
Jan Kerhart Tvoj kód vyzerá o dosť jednoduchšie a vďaka za návod ako
nainštalovať ten NuGet, ja som tam vždy písal Install-Package
HtmlAgilityPack -Version 1.11.23 ,no ten tvoj spôsob je rýchlejší. No
bohužiaľ ani tvoj kód mi nefunguje. Mal som chybu, bolo podčiarknuté slovko
Regex a ponúklo mi to opravu že mám pridať using
System.Text.RegularExpressions;
tak som to spravil. Ten riadok aby mi vypísalo do konzoly ten text
Console.WriteLine(getByCountry("Slovakia"));
som skúšal pridať do hocijakej časti programu no vždy neúspešne. Program
prebehol bez chyby no v konzole sa nič nevypísalo.
Bugmaster:23.3.2020 10:22
Oh ano, funkci Main() urcite potrebujes. To mě nějak nenapadlo zminit
Tady si muzes ten muj repozitar stahnout. Psal jsem to ve Visual Studiu 2019. Melo by to tam jit normalne otevrit a spustit.
Mozna radsi jeste pridej jako posledni radek ve funkci Main() tohle:
Console.ReadKey();Jinak se totiz muze stat, ze se konzole otevre a po ukonceni hned zase zavre.
zelvicek:15.4.2020 14:27
Dovolím si nevyžádanou recenzi. Aplikaci jsem neinstaloval, jen narychlo prozkoumal kód.
- Chybí ošetření vyjímek (zejména) při stahování a parsování.
- Bylo by dobré data stahovat a parsovat async nebo v BackgroundWorker.
- Nenašel jsem tlačítko refresh (byť je to možno udělat změnou státu).
- při změně státu vždy stahuješ všechna data - je to trošku plýtvání.
- cacheování pomocí HTTP hlaviček funguje?
- EXE obsahuje streamy pesniček - viz tvůj nedávný komentář. Nebo v přehrávači používat streamy z EXE a nedistribuovat je jako samostatné soubory.
To jen tak, kdyby ses nudil a chtěl udělat final-final .
Kludne kritika je vítaná. Ako som už viac krát písal niesom programátor
a ani nechcem byť, len som si chcel spraviť takúto aplikáciu, tak som tak
povediac nakukol do tejto oblasti. Rozpíšem sa k tvojim bodom (k niektorým
možno drzo ).
1.Akých výnimiek?
2.Koho?
3.No refresh by som vedel spraviť, ale v pláne nebol. Otvorím aplikáciu
kuknem si stav, hlavne na Slovensku a zavriem ju. Takže refresh som
nepotreboval.
4.Hej to ma napadlo tak 2 verzie dozadu že by som to stiahol a potom triedil,
ale už sa mi s tým nechcelo robiť, hlavne som nevedel ako na to, a až tak mi
to nevadí. Ale hej o tejto chybe/nedostatku viem.
5.Netuším
6.Hej aj o tejto chybe viem, len sa mi nepodarilo zistiť ako, tie pesničky
nezakomponovať do exe tak je to takto. Je to o 6MB väčšie než by mohlo, ale
má to dokopy len 14MB takže som sa s tým uspokojil.
Zobrazeno 44 zpráv z 44.