Optický tok

Aktuální verze stránky ještě nebyla zkontrolována zkušenými přispěvateli a může se výrazně lišit od verze recenzované 14. ledna 2014; kontroly vyžadují 12 úprav .

Optický tok je zobrazení (na vizuálním grafu nebo ve formě matematického modelu) zdánlivého pohybu předmětů, povrchů nebo okrajů scény, vyplývající z pohybu pozorovatele (očí nebo kamery) vzhledem ke scéně. Algoritmy založené na optickém toku , jako je detekce pohybu, segmentace objektů, kódování pohybu a počítání stereo disparit, využívají tento pohyb objektů, povrchů a hran.

Optický odhad toku

Sekvence uspořádaných obrázků umožňují odhadnout pohyb buď jako okamžitou rychlost obrazu nebo jako diskrétní posunutí [1] Fleet a Weiss sestavili návod na gradientovou metodu odhadu optického toku [2] .

Analýzu metod pro výpočet optického toku provedli John L. Barron, David J. Fleet a Steven Beauchemin. Metody uvažují jak z hlediska přesnosti, tak z hlediska hustoty výsledného vektorového pole. [3]

Metody založené na optickém toku počítají pohyb mezi dvěma snímky pořízenými v čase a v každém pixelu . Tyto metody se nazývají diferenciální, protože jsou založeny na aproximaci signálu segmentem Taylorovy řady ; tedy používají parciální derivace s ohledem na časové a prostorové souřadnice. $t$ $t+\delta t$

V případě rozměru 2D+ t (případy vyšších rozměrů jsou podobné) se pixel na pozici s intenzitou na snímek posune o , a a lze napsat následující rovnici: $(x,y,t)$ $I(x,y,t)$ $\delta x$ $\delta y$ $\delta t$

I(x,y,t)\cca I(x+\delta x,y+\delta y,t+\delta t)

Za předpokladu, že posun je malý, a pomocí Taylorovy řady dostaneme:

I(x+\delta x,y+\delta y,t+\delta t)\cca I(x,y,t)+{\frac {\částečné I}{\částečné x))\delta x+{\ frac {\částečné I}{\částečné y}}\delta y+{\frac {\částečné I}{\částečné t}}\delta t

Z těchto rovností vyplývá:

{\frac {\částečné I}{\částečné x))\delta x+{\frac {\částečné I}{\částečné y))\delta y+{\frac {\částečné I}{\částečné t} }\delta t=0

nebo

{\frac {\partial I}{\partial x}}{\frac {\delta x}{\delta t}}+{\frac {\partial I}{\partial y}}{\frac { \delta y}{\delta t))+{\frac {\částečné I}{\částečné t)){\frac {\delta t}{\delta t))=0

proto se ukazuje, že

{\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{ \partial t}}=0

kde

V_{x},V_{y}

jsou optické složky rychlosti toku v ,

I(x,y,t)

{\frac {\partial I}{\partial x))

, , jsou odvozené obrazy v příslušných směrech.

{\frac {\partial I}{\partial y))

{\frac {\partial I}{\partial t))

(x,y,t)

Takto:

{\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t))

nebo

\nabla I^{T}\cdot {\vec {V}}=-I_{t}

Výsledná rovnice obsahuje dvě neznámé a nelze ji jednoznačně vyřešit. Tato okolnost je známá jako problém s aperturou . Problém je vyřešen zavedením dalších omezení – regularizací .

Metody pro stanovení optického toku

Fázová korelace je inverzí normalizovaného křížového spektra.
Blokové metody - minimalizace součtu čtverců nebo součtu modulů rozdílů
Diferenciální metody pro odhad optického toku na základě parciálních derivací signálu:
- Lucas-Kanade algoritmus - jsou uvažovány části obrazu a afinní pohybový model
- Horn–Schunck — minimalizace funkcionálu popisujícího odchylku od předpokladu konstantního jasu a plynulosti výsledného vektorového pole.
- Buxton-Buxton - založený na modelu pohybu hranic objektů v sekvenci obrázků [4]
- Obecné variační metody jsou modifikacemi Horn-Schunckovy metody, které používají různá omezení na data a další omezení hladkosti.
Metody diskrétní optimalizace – vyhledávací prostor je kvantován, poté je každému pixelu obrázku přiřazen popisek tak, aby vzdálenost mezi po sobě jdoucími snímky byla minimální. [5] Optimální řešení se často hledá pomocí algoritmů pro nalezení minimálního řezu a maximálního toku v grafu, lineárního programování nebo šíření přesvědčení .

Použití optického toku

Výzkum optického toku se rozsáhle provádí v oblasti komprese videa a analýzy pohybu. Algoritmy optického toku nejen určují pole toku, ale využívají také optický tok při analýze trojrozměrné podstaty a struktury scény a také 3D pohybu objektů a pozorovatele vzhledem ke scéně.

Optický tok se používá v robotice pro rozpoznávání objektů, sledování objektů, detekci pohybu a navigaci robotů.

Kromě toho se optický tok používá ke studiu struktury objektů. Jelikož detekce pohybu a tvorba map struktury prostředí jsou nedílnou součástí zvířecího (lidského) vidění, je implementace této vrozené schopnosti pomocí počítače nedílnou součástí počítačového vidění.

Představte si pětisnímkové video, ve kterém se míč pohybuje zleva dole doprava. Metody pro nalezení pohybu mohou určit, že na dvourozměrné rovině se míč pohybuje nahoru a doprava, a vektory popisující tento pohyb lze získat ze sekvence snímků. V kompresi videa je to správný popis sekvence snímků. V oblasti počítačového vidění však bez dalších informací nelze říci, zda se míč pohybuje doprava a pozorovatel stojí na místě, nebo je míč v klidu a pozorovatel se pohybuje doleva.

Optické modely proudění v psychologii

James Gibson považoval modely optického toku (optické invarianty) za stimul vyššího řádu. Modely optického toku v Gibsonově teorii jsou komplexní konfigurace optických informací zaznamenaných vizuálními receptory. Optický tok obsahuje všechny informace potřebné pro naše vnímání světa kolem nás, dějů v něm probíhajících, včetně informací o pohybu (včetně pohybové paralaxy a gradientu optické expanze). Optický tok tedy vylučuje z psychologie vnímání nutnost použití jakékoli jiné vnější informace [6] .

Myšlenka využít optický tok k vysvětlení procesu utváření vjemového obrazu přišla Gibsona během druhé světové války při práci na vytvoření speciálních simulátorů a cvičného filmu pro výcvik pilotů amerického letectva.

Viz také

Vizuální odometrie

Poznámky

↑ SS Beauchemin, JL Barron 1995 výpočet optického toku
↑ David J. Fleet a Yair Weiss (2006) odhad optického toku. Archivováno 8. června 2011 na Wayback Machine v Paragios et al.. Příručka matematických modelů v počítačovém vidění.
↑ John L. Barron, David J. Fleet a Steven Beauchemin 1994. Výkon technik optického toku Archivováno 30. července 2009 na Wayback Machine
↑ Glyn W. Humphreys a Vicki Bruce 1989 Vizuální poznání
↑ B. Glocker, N. Komodakis, G. Tziritas, N. Navab & N. Paragios 2008 Dense Image Registration through MRFs and Efficient Linear Programming Archived 19. července 2011.
↑ KN OGLE. Vnímání vizuálního světa. James J. Gibson; Leonard Carmichael, Ed. Boston: Houghton Mifflin, 1950. 235 stran. 4,00 $ // Věda. - 4. 5. 1951. - T. 113 , č.p. 2940 . — S. 535–535 . — ISSN 1095-9203 0036-8075, 1095-9203 . - doi : 10.1126/science.113.2940.535 .

Odkazy

Finding Optic Flow Archivováno 5. listopadu 2010 na Wayback Machine
Článek Art of Optical Flow na fxguide.com (používání optického toku ve Visual Effects)
Vyhodnocení optického toku a základní pravdivostní sekvence. Archivováno 30. srpna 2010 na Wayback Machine
Middlebury Vyhodnocení optického toku a základní pravdivostní sekvence. Archivováno 27. července 2019 na Wayback Machine
DROP: (Rozhraní Windows) Bezplatný software pro odhad hustého optického toku využívající diskrétní optimalizaci. Archivováno 18. července 2010 na Wayback Machine
The French Aerospace Lab: GPU implementace optického toku založeného na Lucas-Kanade
Laboratoř počítačové grafiky Moskevské státní univerzity Archivováno 17. srpna 2011 na Wayback Machine