Diskuze: Provádění série navazujících LINQ dotazů - Jak to zrychlit?
V předchozím kvízu, Test znalostí C# .NET online, jsme si ověřili nabyté zkušenosti z kurzu.
Ahoj, nevim jestli se mi to podařilo správně lousknout... kdyžtak budiž
mi prominuto 
Jen dotaz, co je
špatnýho zavolat ToList() (např jako List<RfcRow> IEdata) a uložit
lokálně výsledky v listu a pak v dalších linq dotazech pracovat s tím
listem? Vše bude probíhat nad výsledky uloženými v paměti.
Tomáš M.:8.3.2021 7:35
Ahoj, data ze SAP mám naopak velmi rychle, dejme tomu pár sekund. Naopak
neúměrně dlouho trvá zpracování dat u mě v PC. Velikost řádku taky
netuším, protože nevím, jak to zjistit. Do objektu RFCRow se jen ve Visual
Studiu nepodívám. Optimalizoval bych, kdybych věděl, co mám optimalizovat.
Bohužel s tím nemám moc zkušeností a jeto pro mě celkem velké sousto. Už
začínám chápat, že se přechodu do Listu stejně nevyhnu. 
Díky za další náměty.
Tomáš M.:10.3.2021 9:45
Ahoj, omlouvám se, dříve jsem se k tomu nedostal. Já jsem v tuto chvíli
přesvědčen, že se mi data ze SAP natáhnou opravdu velmi rychle a dlouho
trvá zpracování. Možná něco používám špatně, ale nevím, jak na to
přijít. Úplně původně jsem data převáděl přímo do pole, pak jsem z
toho tvořil list. Pak mě a kolegům přišlo na mysl, že bychom to mohli
dělat pomocí dotazů, protože je to elegantnější a mohlo by to fungovat
rychleji.
Rekurze nepoužíváme a deffered execution, pokud vím, taky ne(alespoň ve
svém kódu to nikde nemám). Do SAP prostředí přístup nemám, o tom naše
IT nechce ani slyšet .
O rfcRow je něco zde Rfcrow
a poradili mi jeho použití kdysi na StackOferflov: zde
Prozkoumat strukturu načtenou ze SAP mi nelze. Možná je to spojeno s
chybou, viz přiložený obrázek.
Otázka zní: Jak tutově zjistit, jestli se data natáhnou hned nebo to jejich
načtení trvá dlouho?
Děkuji za čas všech zúčastněných!
Tomáš M.:11.3.2021 13:16
Ahoj, já používám toto:
private Object Connecting(string functionName, List<KeyValuePair<string, string>> inputParameters, string source)
{
Object data = new { };
SetRFC(source); //Set login data
if (!Session.IsConnected)
{
Session.Connect(); //Connection to SAP
if (Session.IsConnected)
{
FunctionCall fn = Session.ImportCall(functionName); //Set call
foreach (KeyValuePair<string, string> param in inputParameters)
{
fn.Importing[param.Key].value = param.Value; //Inserting input parametters of the SAP function
}
Stopwatch sw = new Stopwatch();
sw.Start();
Session.CallFunction(fn, true); //Calling the function
data = fn.Tables["RESULT_TABLE"]; //Getting data from SAP
sw.Stop();
}
else WasConnected = false;
}
if (WasConnected)
Session.Disconnect();
return data;
}Pomocí Stopwatch jsem naměřil 51,1 s. Pravda - Tvrdil jsem, že to trvá
několik sekund. Možná je to tím, že jsem teď na Homeoffice. Pořád to
nejsou hodiny.
Na přiloženém obrázku je výsledek po pokusu o rozbalení výsledků.
Popravdě nejsem schopen použít tvůj kód neboť jsou pro mě neznámé
třídy. 
Aha, tak to je fajn, že tohle funguje. Tak k tomu linq Nechce mi to zobrazit ten tvůj
původní kód.. tedy máš hotový "hrubý SAP" dataset a tam začínáš
pomocí linq "předvýběr". Mají ty dotazy nějaký společný kritéria podle
nichž by ten předvýběr šel jít udělat a opět uložit do paměti? Tzn.
aby následný linq dotazy skutečně dotazovaly jen rozdíly vůči
základnímu datasetu a jen v nezbytně nutný míře. Tím omezíš
vícenásobný dotazování neustále toho samýho...
Např. bych tedy zvážil se zbavit objektu Rfcrow a převedl to na List<třída> kde <třída> má už jen data, nezbytně nutná pro další práci. Tzn. jen sloupce co jsou potřeba a nezbytné údaje.. veškerý další balast zahodit.
Je mi pořád divný, že viz ten přiložený obrázek při enumeraci ty data prostě nejsou vidět....
Ahoj, aktuální kód vypadá asi takto (trochu jsem ho zjednodušil, protože to mám rozdělené do více metod):
Object objectData= new { };
Session.CallFunction(fn, true); //Calling the function
objectData= fn.Tables["RESULT_TABLE"]; //Getting data from SAP
RfcData data = (RfcData)objectData;
IEnumerable<RfcRow> IEdata = from RfcRow dataRow in data.Rows
where dataRow["DEL_STAT"].value.ToString() != "X"
&& dataRow["DEL_STAT_WERK"].value.ToString() != "X"
&& dataRow["DEL_DISPO_99"].value.ToString() != "X"
&& dataRow["DEL_STAT_LV"].value.ToString() != "X"
select dataRow;
IEnumerable<MLFBCode> mLFBs_A = (from RfcRow dataRow in IEdata
where regex_A.IsMatch(dataRow["MLFB"].value.ToString())
&& listOfRegexFromDatabase.Where(x => x.IsMatch(dataRow["MLFB"].value.ToString())).Any()
select new MLFBCode()
{
MLFB = dataRow["MLFB"].value.ToString(),
Number = dataRow["MATNR"].value.ToString(),
Active = true,
})/*.ToList()*/;
IEnumerable<MLFBCode> mLFBs_B = (from RfcRow dataRow in IEdata
where regex_B.IsMatch(dataRow["MLFB"].value.ToString()) //valid according to Regex
&& listOfRegexFromDatabase.Where(x => x.IsMatch(dataRow["MAKTG"].value.ToString())).Any()
select new MLFBCode()
{
MLFB = dataRow["MAKTG"].value.ToString(),
Number = dataRow["MATNR"].value.ToString(),
Active = true,
})/*.ToList()*/;
IEnumerable<MLFBCode> mLFBs = mLFBs_A.Concat(mLFBs_B);Předvýběr, který se ptáš, je podle tvořen dotazem "IEnumerable<RfcRow> IEdata", kde se prvotně zjišťuje, jestli není záznam nějakým způsobem vymazán. Zde docházím k nedostatku, který mě trápí a to sice, že tento IEnumerable objekt chci převést do Listu, tak už to trvá dlouho a co víc, provádění se po 1-2 hodinách samo ukončí bez jakéhokoli varování, jako bych ho ve VS ani nespustil. Takto mi to začalo blbnout nedávno. V prohlížeči událostí se zobrazí, viz. příloha.
Co se týče tebou popisovaných pokusů: dříve jsem místo objektů rfcRow
a RfcData používal vnořený for (jeden tahal sloupce, druhý řádky) a tím
jsem skládal do pole(později do listu) instance mojí třídy (tj. MLFBCode).
Od toho jsme utekli ze stejného důvodu, tj. časová náročnost, v domnění,
že toto bude rychlejší .
Podle mě nic přebytečného jsem netahal ani tenkrát, ani teď. Ale prosím o
posouzení přiloženého kódu. Každopádně pokusy mohu provést, ale zatím
jsem moc nepobral, jak by se pokusná třída měla lišit od mého
MLFBCode.
Moc děkuji!
Ahoj kouknu, nicméně podle příznaků mi přijde, že ty data se
skutečně tahají pomalu tahají ze SAP, případně ten dotaz se zpracovává
pomalu. Taky bych se na tenhle typ pokusů vyhnul ASP (sem něvěděl a napsal to jako samostatnou např.
konzolovou app s výstupem do konzole.
Než nad tím pobádáme, můžeš ten konkrétní RFC spustit lokálně v SAP klientovi a zjistit jak dlouho to trvá (případně ten daný dotaz co ta RFC používá..)? Přijde mi, že se dotaz spustí rychle, ale protože ti nejde ta enumerace ani převod do listu jak jsi psal, tak se mi to jeví že to čeká na data ze SAP. Tedy je podle mě nutný ověřit jak dlouho ten dotaz vlastně běží v SAP vč. ověření že výsledky skutečně "vidím"...
Tomáš M.:16.3.2021 12:17
Ahoj, je tam asi nějaká principiální chyba. Nevidím tam nic, viz.
obr.
Co se týče pomalého tahání ze SAP: IT mi dokáže zjistit, jak dlouho trvá
zpracování mého požadavku, ale jak dlouho mi to posílám prý musím
zjistit sám. Zkusil jsem ve Správci úloh spustit Sledování prostředků.
Tahání ze SAP trvá opravdu pouze při provádění příkazu
Session.CallFunction(fn, true); a pak aktivita mizí a nebjeví se ani při
provádění Tolist().
Konzolovou aplikaci určitě začnu používat, už jsem o tom přemýšlel
před tím.
Jediné, co mě napadá, je opravdu zkusit jiný konektor.
jj, asi už jsme uhnuli od linq Každopádně kdyžtak založ nový téma SAP connector jestli
chceš.
Zobrazeno 22 zpráv z 22.