Lekce 2 - Analýza pohybu - Motion tracking v Blenderu

V předchozí lekci, Úvod do vizuálních efektů v Blenderu, jsme si ukázali, jak připravit video na zpracování a trochu jsme se seznámili s uživatelským rozhraním.

Dnes si nastavíme tracky, aby se nám co nejlépe podařilo zaznamenat data o pohybu pro následnou analýzu.

Příprava

Ve videu si vybereme zřetelné body, podle kterých se bude program orientovat. Těm se říká track (čti trek) a procesu hledání tracku v průběhu videa trackování. K těmto trackům můžeme následně připnout efekty (např. rozmazání obličeje), stabilizovat s nimi video nebo rekonstruovat pohyb kamery v prostoru a pak do něj přidat efekty.

Vyzkoušíme si nejprve trackování se základním nastavením a pak si ho trochu upravíme.

Naspodu této stránky najdete soubor CHODNIK.MP4. Ten si můžete stáhnout nebo trénovat na svém videu. Podle předchozí lekce si ho převeďte na sekvenci snímků. Následně si snímky načtěte v novém souboru, rovněž podle poslední lekce.

Přidání tracku

Jak vybrat vhodný rys pro trackování:

• je třeba, aby byl rys nepohyblivý (ne chodec nebo jedoucí auto)
• rys musí být na jedné rovině (ne průsečík dvou od sebe vzdálených objektů)
• pozor na lesknoucí se věci, někdy odlesk zastíní hledaný rys
• pro 3D rekonstrukci pohybu kamery budeme potřebovat po celou dobu minimálně 8 tracků, (ne nutně ty samé), ale platí, že čím víc tracků, tím přesnější výsledky. Také je lepší mít tracky, které jsou v průběhu celého videa nebo aspoň jeho podstatné části, než vyšší počet tracků, které se povedlo trackovat jen krátký úsek.
• je možné vytisknout si svoje značky a pak je rozmístit do scény (jak je pak z videa vyndáme si ukážeme později)
• je možné za sebe nechat vybrat rysy pro tracky počítač kliknutím na DETECT FEATURES v roletce MARKER nalevo v MCE. To ale většinou nedopadne moc dobře a ve finále to ani moc času neušetří, protože musíte stejně jednotlivé tracky zkontrolovat a promazat.

Příklady značek pro trackování

Než přidáme track, zkontrolujeme, že jsme na prvním snímku: Shift + ←

Track přidáme stisknutím Ctrl + LMB (Left Mouse Button - levé tlačítko myši) na místo, kde jsme vybrali rys. Případně je možné použít tlačítko ADD (přidat) v roletce TRACKER a pak kliknout jen LMB. To je ale zdlouhavé, protože pro přidání dalšího tracku musíme opět klikat na ADD.

Pokud je track moc malý, můžeme ho zvětšit stisknutím S (kurzor je potřeba mít nad videem) a pohybováním kurzoru nebo zadáním násobku upravíme velikost a nastavení potvrdíme Enterem.

Zde jsem si vybral kus chodníku. Přidal jsem track na místo, kde se kříží spára.

A teď můžeme vyzkoušet naše první trackování: Ctrl + T

Teď máme jen jeden track. Pokud jich chceme trackovat více najednou, je třeba označit všechny. (Všechny tracky označíme stisknutím A , kurzor musí být nad videem)

Nastavení tracků

Program byl schopný trackovat rys, dokud se rys nezměnil (zrotoval, zvětšil se, zešikmil). V mém případě se podařilo trackovat pouze 4 snímky, proto si teď nastavení tracků upravíme.

Vlevo v MCE okně se v roletce TRACKING SETTINGS (nastavení trackování, žlutý rámeček na obrázku níže) nastavují vlastnosti, které budou mít všechny nově přidané tracky.

Položkám, které jsou označeny červeným orámovaním, je nutné porozumět. Oranžovým ne tak úplně, nebo se k ním dostaneme později.

Červené položky

• MOTION MODEL - nastavuje, zda bude program hledat pouze obrázek (rys), který jsme mu zadali (dále jen keyframe - klíčový snímek, čti kýfrejm) nebo i jeho variace, (pootočený, zvětšený nebo zkosený)
  • je třeba přepnout na možnost AFFINE (ostatní typy si popíšeme níže)
• MATCH - nastavuje, jestli program bude hledat rys, který se podobá rysu námi na začátku nastavenému (KEYFRAME) nebo rys, který se podobá rysu na předešlém snímku (PREVIOUS FRAME - předchozí snímek).
  • PREVIOUS FRAME je trochu jako hra na tichou poštu - s každým snímkem se hledaný rys trochu zkomolí, což může být žádoucí, když třeba trackujeme předmět, který se mění, nebo je zakrýván.
  • většinou ale lépe funguje KEYFRAME
• PREPASS - dovoluje programu nejdříve prohledat snímek nahrubo a potom doladit výsledky přesnějším trackováním
• NORMALIZE - po zaškrtnutí této možnosti je program schopný vyhledat rys, i když přejde ze slunečního svitu do stínu a naopak. Mohlo by také pomoci při změně barvy osvětlení.
  • tuto možnost tedy určitě doporučují mít vybranou
• CORRELATION - určuje míru, do jaké si má být program jistý, když hledá rys.
  • 0 = program bere cokoliv, 1 = program bere pouze rysy, které jsou naprosto shodné s keyframem.
  • dobrou praxí je mít nastavenou hodnotu na 0.9
  • když program nenajde rys, trackování se zastaví na snímku, kde nenašel shodu a je třeba posunout náš track na rys stisknutím G (GRAB - posun), posunout track na rys (pohybem myši nebo pro jemnější manipulaci šipkami) a potvrdit Enterem

Néně závažné parametry

• PATTERN SIZE = velikost rysu
  • udává v pixelech velikost rysu, který bude program hledat
  • obecně platí, že čím větší, tím přesnější, ale také tím pomalejší trackování a zároveň je třeba, aby celý vybraný rys byl v jedné rovině.
  • netřeba nastavovat dopředu, jelikož se každý track po založení musí upravit zvlášť podle situace
  • upravení velikosti se provede stisknutím S (SCALE - škálování), posunem myši nebo zadáním čísla a pak potvrzením klávesou Enter
• SEARCH AREA = vyhledávací oblast
  • aby program nemusel vždy prohledávat celý snímek, má okolo sebe oblast a prohledává jen ji
  • obyčejně se nezobrazuje, zobrazení se zapne Alt + S
  • občas se programu trackování nepovede, jelikož je vyhledávací oblast moc malá a díky rychlému pohybu kamery se dostane rys mimo ni. Stačí se dostat na předchozí snímek (šipkou doleva) a tuto oblast zvětšit popotažením bílého cípu na pravém dolním rohu.

Vnitřní čtverec představuje track - rys, který program hledá. Větší čtverec je SEARCH AREA - vyhledávací oblast.

Zobrazení vyhledávací oblasti se může zapnout i takto:

Opětovné přidání tracku

Nyní můžeme vyzkoušet přidat track znovu - skočíme na první snímek, nastavíme tracker na AFFINE, zapneme NORMALIZE a CORRELATION nastavíme na hodnotu 0.9. Přidáme track a upravíme jeho velikost a tvar a zkontrolujeme, že SEARCH AREA má dostatečnou vzdálenost od tracku. Ctrl + T podruhé.

Teď bylo trackování úspěšné až do konce. Co ale dělat, pokud máme optimálně nastavený track a přesto ho program nenajde, ale pro nás je důležitý?

V takovém případě musíme programu pomoci. První možností je upravení (nikoli přesunutí) tracku na snímku, na kterém se naposledy podařilo rys najít. Tato možnost pomáhá v případě, že jsme třeba nezvolili na začátku vhodnou velikost tracku. Většinou zabere upravení velikosti (zvětšit), ale je možné i rotovat nebo měnit tvar tracku. Výhodou je, že střed tracku nepřesouváme sami ručně a tak nevnášíme nepřesnosti do dat o poloze tracku.

Na animaci níže je vidět, že náš track přišel až ke kraji videa (snímek 62). Problém se vyřešil zmenšením tracku a pak se může trackovat dál (Ctrl + T). K přesunu středu tracku však nedošlo, ten je stále na křížení spar.

Druhá varianta je nastavit nový keyframe (rys na hledání). Ta se využívá hlavně když se track ztratí kvůli rozmazání pohybem (Motion blur). Nový keyframe nastavíme tak, že máme označený pouze track, na kterém zrovna pracujeme, přesuneme se na první snímek bez rozpoznaného rysu a stisknutím G (GRAB - chytit) můžeme zase kurzorem nebo šipkami upravit pozici tracku a nastavení potvrdit Enterem.

Je dobré si pamatovat, že byť program hledá celý track, ukládá data jen o poloze bodu uprostřed. Pokud tedy upravujeme track, hlídáme si hlavně tečku uprostřed tracku.

Když se track ztratí, ale rys si je podobný s rysem, který se ještě podařilo trackovat na předešlém snímku, je dobré se několikrát přepnout mezi snímky a zkontrolovat, zda je track nastaven co nejpřesněji.

• Hodně nápomocné je k tomu zobrazení tracku v pravém menu v MCE (pokud není otevřené, tak stisknout N) v záložce track a je dobré si případně menu roztáhnout nebo zúžit, aby zobrazení tracku odpovídalo proporcemi.

• Nebo také pomáhá zamknout si polohu tracku na obrazovce, tzn. nehýbá se track na videu, ale video okolo tracku. Můžete zapnout označením tracku a stisknutím L nebo podle animace níže.

Pak se stačí koukat na toto zobrazení a jen překlikávat mezi snímky šipkami. Pokud vidíte, že by bylo lepší track ještě posunout, proveďte posun pomocí G a posouvejte už jen šipkami, jelikož ty posouvají s přesností na jeden pixel.

Pokud je ztracený track díky rozmazání pohybem (motion blur) a vy trackujete například jednoduchý bod, z kterého je nyní spíš čárka, umístěte track doprostřed této šmouhy.

Pokud teď máme na tracku nastavený nový rys pro hledání (keyframe) můžeme pokračovat v trackování (Ctrl + T).

To je pro dnešní lekci vše.

Příště, Analýza pohybu - Motion tracking v Blenderu 2, budeme v tomto tématu pokračovat.