Měřítko-invariantní transformace prvků

Scale- invariant feature transform ( SIFT ) je algoritmus detekce rysů [ v počítačovém vidění pro detekci a popis místních rysů v obrazech. Algoritmus byl patentován v Kanadě University of British Columbia [1] a publikován Davidem Lowem v roce 1999 [2] . Aplikace zahrnují rozpoznávání objektů mapování a navigaci, spojování obrázků 3D modelování , rozpoznávání gest , sledování , identifikaci divoké zvěře a sledování polohy .

Nejprve jsou klíčové body objektů extrahovány v SIFT ze sady referenčních snímků [2] a uloženy do databáze. Objekt je v novém obrázku rozpoznán porovnáním každého prvku z nového obrázku s prvky z databáze a nalezením kandidátských prvků na základě euklidovské vzdálenosti mezi vektory prvků. Z úplné sady shod v novém obrázku jsou vybrány podmnožiny klíčových bodů, které nejlépe odpovídají objektu z hlediska jeho umístění, měřítka a orientace. Určení vhodných bloků funkcí je rychlé s efektivní implementací hashovací tabulky zobecněné Houghovy transformace . Každý blok 3 nebo více prvků, který je konzistentní s objektem a jeho polohou, podléhá dalšímu podrobnému ověření přizpůsobení modelu a odlehlé hodnoty jsou vyřazeny. Nakonec se vypočítá pravděpodobnost, že určitý soubor znaků indikuje přítomnost objektu, což dává informaci o přesnosti shody a počtu možných chyb. Objekty, které projdou všemi těmito testy, lze s vysokou mírou jistoty považovat za správné [3] .

Přehled

Pro jakýkoli objekt na obrázku lze extrahovat body rysů a poskytnout "popis prvku" objektu. Tento popis získaný z trénovacího snímku lze poté použít k identifikaci objektu při pokusu o lokalizaci objektu na testovacím snímku obsahujícím mnoho dalších objektů. Pro spolehlivé rozpoznání je důležité, aby rysy extrahované z tréninkového obrazu mohly být detekovány i při změnách měřítka obrazu, šumu a osvětlení. Takové body obvykle leží v oblastech s vysokým kontrastem, jako jsou okraje objektů.

Další důležitou vlastností těchto znaků je, že vzájemné polohy mezi nimi by se neměly měnit z jednoho obrázku na druhý. Pokud by se například jako značky použily pouze čtyři rohy dveří, fungovaly by bez ohledu na polohu dveří. Pokud by však byly použity také body zárubně, mohlo by rozpoznání selhat, protože dveře mohou být otevřené nebo zavřené. Podobně prvky umístěné na kloubových nebo flexibilních objektech obecně nefungují, pokud dojde k jakékoli změně vnitřní geometrie mezi dvěma obrazy v sadě zpracování. V praxi však SIFT detekuje a používá mnohem větší počet obrazových prvků, což snižuje podíl každé chyby způsobené těmito místními změnami na celkové chybě všech chyb shody prvků.

SIFT [1] dokáže spolehlivě vybrat objekty i za přítomnosti šumu a částečného překrývání, protože deskriptor funkce SIFT je invariantní k proporcionálnímu škálování , orientaci , změnám osvětlení a je částečně invariantní k afinním zkreslením [2] . Tato část popisuje původní algoritmus SIFT a zmiňuje několik konkurenčních technik dostupných pro rozpoznávání hlučných a překrývajících se objektů.

Deskriptor SIFT je založen na obrazových měřeních z hlediska receptorových polí [4] [5] [6] [7] , pro která se výběrem místního měřítka stanoví lokální měřítko-invariantní referenční soustavy [8] [9] [10] [11] [9] . Obecné teoretické vysvětlení algoritmu je uvedeno v projektu Scholarpedia o SIFT [12] .

Úkol	Technika	Výhoda
umístění klíče / měřítko / rotace	Gaussův rozdíl / pyramida měřítek prostoru / přiřazení směrů	přesnost, stabilita, měřítko a rotace invariance
geometrické zkreslení	rozmazání/převzorkování místních rovin orientace obrazu	afinní invariance
indexování a párování	nejbližší soused / hledejte „Nejprve nejlepší koš“	Výkon / rychlost
Identifikace shluků	Hough transformovat hlasování	spolehlivé poziční modely
Validace modelu / detekce odlehlých hodnot	Lineární nejmenší čtverce	lepší tolerance chyb s menší shodou
Schválení hypotézy	Bayesovská pravděpodobnostní analýza	spolehlivost

Základní kroky

Detekce měřítko-invariantních prvků

Loweova metoda pro generování obrazových prvků převádí obraz na velkou sadu vektorů prvků, z nichž každý je neměnný pod (paralelním) posunem obrazu, změnou měřítka a rotací, částečně neměnný vůči změnám osvětlení a odolný vůči lokálním geometrickým deformacím. Tyto rysy mají podobné vlastnosti jako neurony v hlavní zrakové kůře , které kódují základní tvar, barvu a detekci pohybu objektů ve vidění primátů [13] . Umístění klíče jsou definovány jako maximum a minimum funkce Gaussova rozdílu aplikované v na sérii vyhlazených a znovu vykreslených obrázků. Kandidátské body s nízkým kontrastem a body podél okrajů jsou vyřazeny. Lokalizovaným klíčovým bodům jsou přiřazeny dominantní orientace. Tyto kroky poskytují větší stabilitu pro klíčové body pro párování a rozpoznávání. Deskriptory SIFT odolné vůči lokálním afinním narušením jsou pak získány pohledem na pixely kolem klíčového místa rozmazáním a převzorkováním rovin lokální orientace obrazu.

Přiřazování a indexování funkcí

Indexování spočívá v zapamatování si kláves SIFT a identifikaci odpovídajících klíčů z nového obrázku. Lowe použil modifikaci k-rozměrného stromového algoritmu nazvaného metoda vyhledávání best-bin-first (BBF) [14] , která dokáže s vysokou pravděpodobností identifikovat nejbližšího souseda pouze pomocí omezeného počtu výpočtů. Algoritmus BBF používá upravené pořadí vyhledávání pro algoritmus k-rozměrného stromu , takže oblasti v prostoru prvků jsou prohledávány v pořadí jejich nejbližší vzdálenosti od požadovaného umístění. Toto pořadí vyhledávání vyžaduje použití prioritní fronty založené na haldě , aby bylo možné efektivně určit pořadí vyhledávání. Nejlepšího kandidáta pro každý klíčový bod se najde stanovením jeho nejbližšího souseda v databázi klíčových bodů z tréninkových snímků. Nejbližší sousedé jsou definováni jako klíčové body s minimální euklidovskou vzdáleností od daného vektoru deskriptoru. Pravděpodobnost, že je shoda správná, lze určit výpočtem poměru vzdálenosti od nejbližšího souseda ke vzdálenosti od druhého nejbližšího souseda.

Nízká [3] odmítla všechny shody, ve kterých je poměr vzdálenosti větší než 0,8, což eliminuje 90 % nesprávných shod, zatímco vyřadí méně než 5 % správných shod. K dalšímu zlepšení výkonu se vyhledávací algoritmus „nejlepší přihrádka-první“ zastaví po kontrole prvních 200 kandidátů na nejbližšího souseda. U databáze se 100 000 klíčovými body to poskytuje zvýšení rychlosti ve srovnání s přesným vyhledáváním sousedů o 2 řády, přičemž špatná volba nepřekročí 5 % správných shod.

Identifikace shluků hlasováním Houghovy transformace

Houghova transformace se používá ke seskupení modelu robustní hypotézy k nalezení klíčů, které jsou konzistentní s konkrétní pozicí modelu Houghova transformace odhaluje shluky prvků s konzistentní interpretací hlasováním pro každý prvek pro všechny pozice objektů, které jsou konzistentní s prvkem. Když jsou nalezeny shluky prvků s hlasy pro stejnou polohu objektu, pravděpodobnost správné interpretace je mnohem vyšší než u jakéhokoli jednotlivého prvku. Vytvoří se záznam hashovací tabulky , který obsahuje odhadovanou polohu, orientaci a měřítko z odpovídající hypotézy. Prohledává se hašovací tabulka , aby se identifikovaly všechny shluky s alespoň 3 prvky v oblasti, a oblasti jsou seřazeny podle klesající velikosti.

Každý z klíčových bodů SIFT definuje 2D umístění, měřítko a orientaci a každý klíčový bod v databázi má záznam se svými parametry souvisejícími s tréninkovým obrazem, ve kterém byl nalezen. Analogická transformace vyplývající z těchto 4 parametrů je pouze přiblížením k plnému polohovému prostoru se 6 stupni volnosti pro 3D objekty a také nezohledňuje žádné flexibilní deformace. Lowe [3] tedy použil 30 stupňů velikosti plochy pro orientaci pro umístění, faktor 2 pro měřítko a faktor 0,25 pro maximální velikost projekce tréninkového obrazu (s použitím předpokládaného měřítka). U kláves SIFT generovaných ve velkém měřítku je dána dvojnásobná hmotnost ve srovnání s klávesami pro menší měřítko. To znamená, že větší měřítko je schopno odfiltrovat pravděpodobnější sousedy pro testování v menším měřítku. Zlepšuje také výkon rozpoznávání tím, že dává větší váhu méně hlučné stupnici. Aby se předešlo problému hraničních efektů při přiřazování oblasti, každý klíčový bod se dívá na hlasy pro 2 nejbližší oblasti v každém směru, což dává celkem 16 hodnot pro každou hypotézu a dále rozmazává rozložení pozic.

Ověření modelu metodou nejmenších čtverců

Každý vytvořený shluk podléhá ověřovací proceduře, která provádí metodou nejmenších čtverců pro parametry afinní transformace spojené s obrazovým modelem. Afinní transformaci modelového bodu [xy] T na obrazový bod [uv] T lze zapsat následovně

{\begin{bmatrix}u\\v\end{bmatrix}}={\begin{bmatrix}m1&m2\\m3&m4\end{bmatrix}}{\begin{bmatrix}x\\y\end{bmatrix ))+{\begin{bmatrix}tx\\ty\end{bmatrix}}

kde paralelní posun je [tx ty] T a afinní rotace, měřítko a roztažení jsou reprezentovány parametry m1, m2, m3 a m4. Pro získání transformačních parametrů lze rovnici přepsat tak, aby všechny neznámé byly ve sloupcovém vektoru.

{\begin{bmatrix}x&y&0&0&1&0\\0&0&x&y&0&1\\..\\..\end{bmatrix}}{\begin{bmatrix}m1\\m2\\m3\\m4\\tx \\ty\ end{bmatrix}}={\begin{bmatrix}u\\v\\.\\.\end{bmatrix}}

Rovnost ukazuje jednu shodu, ale lze přidat libovolný počet shod, kde každá shoda přidá dva řádky do první a poslední matice. K vyřešení jsou potřeba alespoň 3 shody. Tento lineární systém můžeme napsat jako

A{\hat {\mathbf {x} }}\cca \mathbf {b} ,

kde A je známá matice (obvykle m > n ), x je neznámý vektor n - rozměrného parametru a b je známý vektor m - rozměrné dimenze. $m\krát n$

Minimalizační vektor je tedy řešením normální rovnice ${\hat {\mathbf {x} ))$

A^{T}\!A{\hat {\mathbf {x} }}=A^{T}\mathbf {b} .

Řešení soustavy lineárních rovnic je dáno pomocí matice zvané pseudoinverzní matice pro A , ve tvaru $(A^{T}A)^{-1}A^{T}$

{\hat {\mathbf {x} }}=(A^{T}\!A)^{-1}A^{T}\mathbf {b} .

což minimalizuje součet čtverečních vzdáleností projekcí umístění modelu k odpovídajícím umístěním obrazu.

Identifikace odlehlých hodnot

Odlehlé hodnoty lze nyní vyřadit kontrolou shody mezi vlastnostmi každého obrázku a modelem daným řešením parametrů. Vzhledem k řešení metodou nejmenších čtverců musí každá shoda souhlasit s ne více než polovinou chybového intervalu, který byl použit pro parametry v oblastech Houghovy transformace . Odlehlé hodnoty se zahodí, řešení nejmenších čtverců se přepočítá pro zbývající body a proces se opakuje. Pokud po vyřazení odlehlých bodů zůstanou méně než 3 body , zápas je zamítnut. Kromě toho se fáze porovnávání shora dolů používá k přidání jakýchkoli dalších shod, které jsou konzistentní s pozicí projektovaného modelu, které může oblast Houghovy transformace vynechat kvůli aproximaci podobných transformací nebo jiným chybám.

Konečné rozhodnutí o přijetí nebo zamítnutí modelu hypotézy je založeno na podrobném pravděpodobnostním modelu [15] . Tato metoda nejprve vypočítá očekávaný počet chybových shod pozičního modelu daný velikostí modelu, počtem prvků v oblasti a přesností lícování. Bayesovská analýza pak udává pravděpodobnost, že objekt je přítomen, na základě skutečného počtu nalezených shod prvků. Model je přijat, pokud je konečná pravděpodobnost správné interpretace větší než 0,98. Na základě metody SIFT vyvinuté společností Lowe poskytuje rozpoznávání objektů vynikající výsledky, s výjimkou případů širokého rozptylu osvětlení a nerigidních transformací.

Značky

Detekce a popis vlastností místního obrazu může pomoci při rozpoznávání objektů. Funkce SIFT jsou lokální a jsou založeny na projevech objektu v konkrétních singulárních bodech. Jsou měřítko a rotace invariantní. Jsou také odolné vůči změnám osvětlení, hluku a malým změnám úhlu pohledu. Kromě těchto vlastností jsou vysoce rozlišitelné, relativně snadno se načítají a umožňují identifikaci objektu s malou chybou. Lze je relativně snadno najít v (velké) databázi lokálních prvků, ale vysoká dimenzionalita prvků může způsobit potíže, takže pravděpodobnostní algoritmy, jako jsou k-rozměrné stromy s best-bin-first vyhledávání ( BBF) se používají. Popis objektu pomocí funkcí SIFT je také stabilní s ohledem na částečné překrývání, protože i tři vlastnosti SIFT objektu stačí k výpočtu místa a polohy objektu. Rozpoznávání lze provádět téměř v reálném čase, alespoň u malých databází moderního počítačového vybavení.

Algoritmus

Odhalení extrémů měřítkového prostoru

Začneme identifikací bodů, které se v rámci SIFT nazývají klíčové body . Obraz je konvolvován pomocí gaussovských filtrů v různých měřítcích a poté je vypočítán rozdíl po sobě jdoucích gaussovských rozmazaných obrazů. Klíčové body jsou pak vzorkovány jako maximální/minimální rozdíl Gaussiánů , které se vyskytují v různých měřítcích. Gaussův rozdíl je dán výrazem $D\left(x,y,\sigma \right)$

D\left(x,y,\sigma \right)=L\left(x,y,k_{i}\sigma \right)-L\left(x,y,k_{j}\sigma \ že jo)

, kde je konvoluce původního obrázku s Gaussovým rozostřením v měřítku , tj.

L\left(x,y,k\sigma \right)

I\left(x,y\right)

G\left(x,y,k\sigma \right)

k\sigma

L\left(x,y,k\sigma \right)=G\left(x,y,k\sigma \right)*I\left(x,y\right)

Obraz gaussovského rozdílu mezi stupnicemi a je tedy rozdílem gaussovských rozmazaných obrazů se stupnicemi a . Pro určení extrému v škálovacím prostoru v algoritmu SIFT je obraz nejprve konvolvován s Gaussovým rozostřením v různých měřítcích. Náhledy jsou seskupeny podle oktávy (oktáva odpovídá zdvojnásobení hodnoty ) a hodnota je zvolena tak, abychom dostali pevný počet náhledů na oktávu. Poté se vypočítá Gaussův rozdíl od sousedních Gaussových rozmazaných obrazů v oktávě. $k_{i}\sigma$ $k_{j}\sigma$ $k_{i}\sigma$ $k_{j}\sigma$ $\sigma$ $k_i$

Jakmile je získán gaussovský rozdíl obrazu, klíčové body jsou definovány jako lokální minimum/maximum gaussovského rozdílu obrazu oproti šablonám. To se provádí porovnáním každého pixelu s gaussovským rozdílem obrazu pro jeho osm sousedů ve stejném měřítku a devět odpovídajících sousedních pixelů v každém ze sousedních měřítek. Pokud je hodnota pixelu maximální nebo minimální mezi všemi porovnávanými body, je vybrána jako kandidát na klíčový bod.

Tento krok detekce klíčových bodů je variací jedné z Lindebergových metod detekce bodů nalezením extrémů v prostoru měřítka normalizovaném na Laplaciovu stupnici [10] [11] . To znamená určení bodů, které jsou lokálními extrémy, s přihlédnutím k prostorové poloze i měřítku, v diskrétním případě srovnáním s nejbližšími 26 sousedy v diskretizovaném objemu v prostoru měřítka. Na Gaussův diferenční operátor lze pohlížet jako na aproximaci Laplaciana, s implicitní normalizací v pyramidě , obsahující také diskrétní aproximaci Laplacianova normalizovaného měřítka [12] . Další real-time inkarnaci hledání extrémů škálového prostoru Laplaceova operátoru představili Lindeberg a Bretzner, je založena na hybridní pyramidové reprezentaci [16] , která byla použita pro interakci počítač-člověk pro rozpoznávání gest v reálném čase. [17] .

Lokalizace klíčových bodů

Určení extrémů škálového prostoru dává příliš mnoho kandidátů na klíčové body, z nichž některé jsou nestabilní. Dalším krokem v algoritmu je provedení podrobného přizpůsobení souseda pro přesné umístění, měřítko a hlavní poměr zakřivení . Tyto informace umožňují vyřadit body, které mají nízký kontrast (a jsou tedy citlivé na šum) nebo jsou špatně umístěné podél okraje.

Interpolace sousedních dat pro přesnost polohy

Za prvé, pro každého kandidáta na startovací bod se k přesnému určení pozice použije interpolace blízkých dat. Počáteční přístup spočíval v určení umístění každého klíčového bodu podle polohy a měřítka kandidáta na klíčový bod [2] . Nový přístup vypočítává interpolovanou polohu extrému, což výrazně zlepšuje posazení a stabilitu [3] . Interpolace se provádí pomocí kvadratického Taylorova rozšíření funkce Difference- of - Gaussian scale-space s kandidátem klíčového bodu umístěným v počátku. Toto Taylorovo rozšíření je dáno rovnicí: $D\left(x,y,\sigma \right)$

D({\textbf {x}})=D+{\frac {\částečné D^{T}}{\částečné {\textbf {x}}}}{\textbf {x}}+{\frac {1}{2}}{\textbf {x}}^{T}{\frac {\partial ^{2}D}{\partial {\textbf {x}}^{2}}}{\textbf { X}}

kde D a jeho derivace jsou vypočítány v kandidátském bodě a je odchylka od tohoto bodu. Umístění extrému je určeno odvozením této funkce vzhledem k nule a rovnající se nule. Pokud je posun větší v kterémkoli směru, znamená to, že extrém leží blíže jinému kandidátovi na klíčový bod. V tomto případě se kandidát klíčového bodu změní a pro tento bod se provede interpolace. V opačném případě je ke kandidátovi klíčového bodu přidána odchylka, aby se získal interpolovaný odhad extrémní polohy. Podobné subpixelové určování polohy extrémů škálového prostoru, vyvinuté Lindebergem et al., se provádí v reálném čase na základě hybridních pyramid [16] . ${\textbf {x}}=\left(x,y,\sigma \right)^{T}$ ${\displaystyle {\klobouček {\textbf {x))))$ $\textbf{x}$ ${\displaystyle {\klobouček {\textbf {x))))$ $0,5$

Odstranění klíčových bodů s nízkým kontrastem

Pro vyřazení klíčových bodů s nízkým kontrastem se vypočítá Taylorova expanze druhého řádu se zkreslením . Pokud je tato hodnota menší než , kandidát na klíčový bod se zahodí. Jinak se uloží s umístěním v prostoru konečného měřítka , kde je původní umístění klíčového bodu. $D({\textbf {x)))$ ${\displaystyle {\klobouček {\textbf {x))))$ $0,03$ ${\textbf {y}}+{\klobouk {\textbf {x}}}$ ${\textbf {y))$

Edge Contribution Exclusion

Funkce Gaussova rozdílu bude mít silné hodnoty podél okrajů, i když kandidát na klíčový bod není odolný vůči malému šumu. Pro zvýšení stability byste proto měli vyloučit klíčové body, které mají špatně definované umístění, ale mají velký přínos z hran.

Pro špatně definované vrcholy gaussovské diferenční funkce bude hlavní zakřivení přes hranu mnohem větší než hlavní zakřivení podél ní. Nalezení těchto hlavních zakřivení odpovídá nalezení vlastních hodnot Hessovské matice H druhého řádu :

{\textbf {H}}={\begin{bmatrix}D_{xx}&D_{xy}\\D_{xy}&D_{yy}\end{bmatrix}}

Vlastní čísla H jsou úměrná hlavním křivostem matice D. Ukazuje se, že poměr dvou vlastních čísel, řekněme větší z nich, a je menší, s poměrem , je pro účely SIFT dostatečný. . Stopa matice H , tj. , nám dává součet dvou vlastních čísel, zatímco determinant, tj. , nám dává součin. Poměr lze ukázat jako , který závisí pouze na poměru vlastních hodnot, nikoli na jednotlivých hodnotách. R je minimum, pokud jsou vlastní hodnoty stejné. Čím vyšší je tedy absolutní hodnota rozdílu mezi dvěma vlastními čísly, která je ekvivalentní největší absolutní hodnotě rozdílu dvou hlavních křivostí D, tím vyšší je hodnota R. Z toho vyplývá, že pro nějaký prahový poměr vlastních hodnot , pokud R protože kandidát na klíčový bod je větší než , je klíčový bod špatně umístěn, a proto je vyřazen. Nový přístup využívá [3] . $\alpha$ $\beta$ $r=\alpha /\beta$ $D_{xx}+D_{yy}$ $D_{xx}D_{yy}-D_{xy}^{2}$ ${\text{R}}=\operatorname {Tr} ({\textbf {H)))^{2}/\operatorname {Det} ({\textbf {H)))$ $(r+1)^{2}/r$ $r_{\text{th))$ $(r_{\text{th}}+1)^{2}/r_{\text{th}}$ $r_{\text{th}}=10$

Tento krok potlačení odezvy hran má přenést vhodný přístup na operátora Harris pro detekci rohu . Rozdíl je v tom, že míra pro práh se počítá z Hessovy matice, nikoli z matice sekundových momentů .

Přiřazení orientace

V tomto kroku je každému klíčovému bodu přiřazena jedna nebo více orientací na základě směrů přechodů v místním obrazu. Toto je klíčový krok k dosažení rotace invariance , protože deskriptor klíčového bodu může být reprezentován s ohledem na tuto orientaci, a proto se stává rotací invariantem obrázku.

Nejprve je pořízen gaussovský rozmazaný snímek v klíčových bodech s měřítkem , takže všechny výpočty jsou prováděny v měřítku neměnném. U zmenšeného obrazu se hodnota přechodu a orientace předem vypočítají na základě rozdílu v pixelech . $L\left(x,y,\sigma \right)$ $\sigma$ $L\left(x,y\right)$ $\sigma$ $m\left(x,y\right)$ $\theta \left(x,y\right)$

m\left(x,y\right)={\sqrt {\left(L\left(x+1,y\right)-L\left(x-1,y\right)\right)^ {2}+\left(L\left(x,y+1\right)-L\left(x,y-1\right)\right)^{2}}}

\theta \left(x,y\right)=\mathrm {atan2} \left(L\left(x,y+1\right)-L\left(x,y-1\right),L \left(x+1,y\vpravo)-L\left(x-1,y\vpravo)\vpravo)

Výpočet velikosti a směru pro gradient se provádí pro každý pixel v blízkosti klíčového bodu v Gaussově rozmazaném obrázku L. Je vytvořen směrový histogram s 36 oblastmi, z nichž každá pokrývá 10 stupňů. Každý bod v okolním rámečku je přidán do oblasti histogramu, vážený velikostí gradientu a Gaussově váženým kruhovým oknem s , což je 1,5 násobek měřítka klíčového bodu. Vrcholy v tomto histogramu odpovídají dominantním směrům. Po vyplnění histogramu jsou klíčovému bodu přiřazeny směry odpovídající nejvyšším vrcholům a místním vrcholům, které jsou v rámci 80 % od nejvyšších vrcholů. Pokud je přiřazeno více směrů, vytvoří se další klíčový bod, který má pro každý další směr stejné umístění a měřítko jako původní bod. $\sigma$

Deskriptor klíčového bodu

Předchozí kroky najdou umístění klíčových bodů na konkrétních měřítcích a přiřadí jim orientaci. To poskytuje neměnnost pro umístění bodu, měřítko a rotaci. Nyní chceme vypočítat vektor deskriptorů pro každý klíčový bod tak, aby byl deskriptor velmi odlišný a částečně invariantní vůči jiným změnám, jako je osvětlení, pohledy a tak dále. Tento krok se provádí na snímku, který je v měřítku nejbližším měřítku klíčového bodu.

Nejprve se vytvoří sada směrových histogramů na 4x4 sousedních pixelech s 8 oblastmi v každém. Tyto histogramy jsou vypočítány z hodnot velikosti a orientace prvků v oblasti 16×16 kolem klíčového bodu, takže každý histogram obsahuje prvky z podoblasti 4×4 původní sousední oblasti. Hodnoty jsou dále váženy Gaussovou funkcí rovnající se polovině šířky okna deskriptoru. Rukojeť se pak stane vektorem všech hodnot těchto histogramů. Protože existuje 4×4=16 histogramů s 8 oblastmi, má vektor 128 prvků. Tento vektor je normalizován na jednotku délky, aby bylo zajištěno, že je invariantní vůči afinním změnám v osvětlení. Aby se snížil účinek nelineárního osvětlení, použije se práh 0,2 a vektor se znovu normalizuje. Proces prahování může zlepšit výsledky shody, i když neexistují žádné nelineární světelné efekty [18] . Prahová hodnota 0,2 je zvolena empiricky a nahrazením pevně stanoveného prahu cíleně vypočítaným může zlepšit výsledky srovnání [18] . $\sigma$

Ačkoli se rozměr deskriptoru (tj. 128) zdá vysoký, menší deskriptory nefungují tak dobře [3] a výpočetní náklady zůstávají nízké, protože k nalezení nejbližšího souseda se používá přibližná metoda BBF (viz níže). Delší deskriptory by poskytly lepší výsledky, ale ne o mnoho, a existuje nebezpečí zvýšené citlivosti na zkreslení a aliasing. Bylo také prokázáno, že přesnost shody prvků je větší než 50 % pro změny úhlu pohledu až do 50 stupňů. Proto jsou deskriptory SIFT invariantní vůči malým afinním změnám. Pro testování rozlišitelnosti deskriptorů SIFT se přesnost shody měří také s ohledem na jiný počet klíčových bodů v testovací databázi a ukázalo se, že přesnost shody u velkých databází klesá jen mírně, což naznačuje, že funkce SIFT jsou vysoce rozlišitelné. .

Porovnání funkcí SIFT s jinými místními funkcemi

Byl proveden intenzivní výzkum s cílem vyhodnotit účinnost různých lokálních deskriptorů, včetně SIFT [19] . Hlavní výsledky jsou uvedeny níže:

Funkce SIFT a (podobně jako SIFT) GLOH ( Gradient Location and Orientation Histogram ) vykazují nejvyšší přesnost shody pro afinní transformaci 50 stupňů . Po překročení tohoto limitu se výsledky převodu stanou nespolehlivé.
Odlišnost deskriptorů se měří součtem vlastních hodnot deskriptorů získaných metodou hlavní složky pro deskriptory normalizované rozptylem. Tomu odpovídá velikost rozptylu odpovídající různým deskriptorům, a tedy jejich rozlišení. Funkce PCA-SIFT (Metoda hlavních komponent aplikovaná na deskriptory SIFT), GLOH a SIFT poskytují nejvyšší hodnoty.
Deskriptory založené na SIFT překonávají ostatní moderní místní deskriptory pro texturované i strukturované scény, přičemž jsou efektivnější pro texturované scény.
Pro 2-2,5x zoom a rotaci obrazu mezi 30 a 45 stupni, SIFT a deskriptory založené na SIFT opět překonávají ostatní moderní lokální deskriptory pro texturované a strukturované scény.
Rozostření (fuzziness) ovlivňuje všechny lokální deskriptory, zejména ty, které jsou založeny na hranicích (hranách), jako je algoritmus "shape context" (shape context ), protože okraje zmizí v případě silného rozostření hranic. Ale GLOH, PCA-SIFT a SIFT si nadále vedou lépe než ostatní. To platí i pro případ změny osvětlení.

Provedené testy silně naznačují, že deskriptory založené na SIFT jsou nejstabilnější a nejrozlišitelnější, a proto se nejvíce doporučují pro párování prvků. Nicméně nedávno vyvinuté deskriptory vlastností, jako je SURF , nebyly v těchto testech zkoumány.

Ukázalo se, že SURF má účinnost blízkou SIFT, ale zároveň je algoritmus mnohem rychlejší [20] . Jiné studie ukázaly, že když rychlost není kritickým faktorem, SIFT překonává SURF [21] [22] . Zejména bez ohledu na efekty vzorkování je deskriptor obrazu SIFT výrazně lepší než deskriptor obrazu SURF. Extrém v škálovém prostoru determinantu Hessianu jednoduchého detektoru singulárních bodů v SURF se zároveň skládá z výrazně lepších singulárních bodů ve srovnání s extrémem v škálovém prostoru Laplacianova, pro který algoritmus pro stanovení singulární bod v SIFT provádí numerickou aproximaci [21] .

Výkon přiřazování obrázků deskriptorů SIFT lze zlepšit z hlediska dosažení vyššího výkonu a nižšího skóre přesnosti 1[ objasnit ] ( anglicky 1-precision score ) nahrazením škálovatelného prostorového extrému gaussovského diferenčního operátoru v původním SIFT extrémem Hessova determinantu ve škálovatelném prostoru, nebo zvážením obecnější rodiny zobecněných singulárních bodů škálovatelný prostor [21] .

Nedávno byla navržena mírně upravená verze deskriptoru využívající nejednotnou mřížku histogramu, která výrazně zlepšuje kvalitu [23] . Namísto použití mřížky oblastí histogramu 4x4 se všechny oblasti rozšiřují směrem ke středu objektu. To zlepšuje odolnost deskriptorů vůči změnám v měřítku.

Ukázalo se, že deskriptor SIFT-Rank [24] zlepšuje výkon standardního deskriptoru SIFT pro afinní porovnávání příznaků. Deskriptor SIFT-Rank je generován ze standardního deskriptoru SIFT tak, že každé oblasti histogramu je přiřazeno pořadí v seřazeném poli oblastí. Euklidovská vzdálenost mezi deskriptory SIFT-Rank je invariantní při libovolných monotónních změnách hodnot histogramu a souvisí se Spearmanovými korelačními koeficienty pořadí .

Aplikace

Rozpoznávání objektů pomocí funkcí SIFT

Pokud je pro systém SIFT možné najít různé klíčové body, které jsou neměnné v umístění, měřítku a rotaci a odolné vůči afinním transformacím (změnám měřítka , rotaci , posunu a poloze) a změnám v osvětlení, jsou užitečné pro rozpoznávání objektů. Tyto kroky jsou uvedeny níže

Nejprve se ze vstupního obrazu získají vlastnosti SIFT pomocí výše popsaného algoritmu.
Tyto funkce jsou porovnány s funkcemi databáze SIFT získanými z tréninkových obrázků. Tato shoda prvků se provádí pomocí euklidovského přístupu nejbližšího souseda. Pro zvýšení stability je párování vyřazeno pro klíčové body, u kterých je poměr vzdálenosti k nejbližšímu sousedovi ke vzdálenosti k druhému nejbližšímu sousedovi větší než 0,8. Tím se odstraní mnoho falešných shod pocházejících z rušivých obrázků na pozadí. A konečně, abychom se vyhnuli nákladnému hledání potřebnému k nalezení euklidovského nejbližšího souseda, používá se přibližný algoritmus nazvaný „best-bin-first“ [14] . Jedná se o rychlou metodu, která s vysokou pravděpodobností vrátí nejbližšího souseda a dokáže urychlit proces hledání až o faktor 1000, přičemž nalezení nejbližšího souseda zabere 95 % času.
Ačkoli výše popsaný test poměru vzdálenosti zahodí mnoho falešných shod pocházejících z rušivých obrázků na pozadí, zbydou nám shody, které patří jiným objektům. Proto, abychom zvýšili spolehlivost identifikace objektů, chceme shlukovat prvky, které patří ke stejnému objektu, a vyřadit shody, které zůstanou po procesu shlukování. To se provádí pomocí Houghovy transformace . Identifikuje shluky prvků, které hlasují pro určitou pozici objektu. Když jsou nalezeny shluky prvků s hlasy pro určitou polohu objektu, pravděpodobnost správné interpretace bude mnohem vyšší než u jednoho prvku. Každý klíčový bod hlasuje pro sadu pozic prvků, pokud jsou konzistentní s umístěním, měřítkem a orientací klíčového bodu. Oblasti , které nashromáždí alespoň 3 hlasy, jsou považovány za kandidáty na shodu objektu/pozice.
Pro každého kandidáta na klastr získáme řešení metodou nejmenších čtverců pro nejlepší odhady afinní projekce vztahující trénovací obrázky ke vstupnímu obrázku. Pokud projekce klíčového bodu přes tyto parametry leží v polovině intervalu chyb, který byl použit pro parametry v oblastech Houghovy transformace, je zachována shoda klíčových bodů. Pokud po vyřazení odlehlých hodnot pro regiony zůstanou méně než 3 body, shoda pro objekt je zamítnuta. Metoda nejmenších čtverců se opakuje tak dlouho, dokud lze něco vyřadit. To funguje lépe pro rozpoznávání plochých objektů, ale ne pro rozpoznávání 3D objektů, protože afinní model se pro 3D objekty stává nespolehlivým.
Článek Sirmachka a Unsalana [25] navrhuje nový přístup pro použití deskriptorů SIFT k alokaci více objektů. Navržený víceobjektový detekční přístup byl testován na leteckých a satelitních snímcích.

Funkce SIFT lze v zásadě použít na jakýkoli problém, ve kterém je vyžadována shoda obrázků. Lze pracovat na aplikacích, jako je rozpoznávání specifických kategorií objektů ve 2D obrazech, rekonstrukce 3D objektů, sledování a segmentace pohybu, umístění robota, sešívání panoramatických snímků a epipolární kalibrace . Některé z těchto aplikací jsou podrobněji diskutovány níže.

Umístění robota a mapa

Tato aplikace [26] používá stereo trinokulární systém k odhadu 3D umístění startovacího bodu. Klíčové body se použijí pouze tehdy, když se objeví ve všech 3 obrázcích s konzistentními neshodami, což vede k velmi vzácným výpadkům. Jak se robot pohybuje, určuje svou polohu pomocí vztahů prvků se stávající 3D mapou a poté postupně přidává prvky do mapy a aktualizuje 3D polohu pomocí Kalmanova filtru. To poskytuje spolehlivé a přesné řešení problému umístění robota v neznámém prostředí.

Panoramatické prošívání

Přizpůsobení funkcí SIFT lze použít pro spojování obrázků pro plně automatizovanou konstrukci panoramat z nepanoramatických snímků. Prvky SIFT extrahované ze vstupních obrázků jsou vzájemně porovnávány, aby se v každém obrázku našlo k nejbližších sousedů. Tyto shody se pak použijí k nalezení m kandidátů na shodu obrázků pro každý obrázek. Homografie mezi dvojicemi snímků jsou pak vypočítány pomocí RANSAC ( Random sample consensus ) a pro ověření je použit pravděpodobnostní model . Vzhledem k tomu, že neexistují žádná omezení pro vstupní obrázky, je na připojené komponenty pro shodu obrázků aplikováno vyhledávání v grafu, takže každá připojená komponenta bude odpovídat panoramatu. Nakonec se pro každou připojenou komponentu provede úprava bloku pro vyřešení parametrů kamery a panorama se zpracuje pomocí vícepásmového prolnutí . Vzhledem k přístupu inspirovanému SIFT k rozpoznávání objektů pro panoramatické spojování je výsledný systém necitlivý na pořadí snímků, orientaci, měřítko a osvětlení. Vstupní snímky mohou obsahovat více panoramat a obrazový šum (některé z nich dokonce nemusí být součástí složeného snímku) [27] .

3D modelování scény, rozpoznávání a trasování

Tato aplikace využívá funkce SIFT pro rozpoznávání 3D objektů a 3D modelování kontextu rozšířené reality , ve které jsou vytvořené umělé objekty v přesné poloze superponovány na skutečné obrázky. Shoda SIFT je definována pro více 2D snímků scény nebo objektu pořízených z různých úhlů. To se používá s úpravou bloku k sestavení řídkého 3D modelu dané scény a současné obnově pozic kamery a kalibračních parametrů. Poté je určena poloha, orientace a velikost virtuálního objektu vzhledem k souřadnicím rámu uvažovaného modelu. Pro online sledování polohy jsou funkce SIFT extrahovány z aktuálního snímku videa a porovnávány s již vypočítanými funkcemi, což vede k sadě shod 2D až 3D. Tyto shody se pak použijí k výpočtu aktuální polohy kamery pro virtuální projekci a konečné zpracování. Technika regularizace se používá ke snížení jitteru ve virtuální projekci [28] . Byla také implementována rozšíření SIFT 3D pro rozpoznávání a zvýraznění skutečných 3D objektů [29] [30] .

3D deskriptory podobné SIFT pro rozpoznávání lidských akcí

Rozšíření deskriptoru SIFT na 2+1-rozměrná časoprostorová data byla studována v kontextu rozpoznávání lidských akcí ve videu [29] [31] [32] [33] . Vytváření lokálních histogramů závislých na poloze v algoritmu 2D SIFT se rozšiřuje z 2D na 3D a popisuje vlastnosti SIFT v časoprostorové oblasti. Pro aplikaci na rozpoznávání lidských akcí ve videu jsou tréninková videa prováděna buď z konkrétních časoprostorových bodů, nebo na náhodném místě, čase a měřítku. Prostoročasové oblasti kolem těchto singulárních bodů jsou pak popsány pomocí 3D deskriptoru SIFT. Tyto deskriptory jsou pak sestaveny do " pytel slov " časoprostorového modelu . 3D SIFT deskriptory extrahované z testovacích klipů jsou porovnávány s těmito slovy , aby se klasifikovaly lidské činy.

Autoři tvrdí, že jejich 3D deskriptor SIFT funguje výrazně lépe než jiné přístupy, jako jsou jednoduché 2D deskriptory SIFT a hodnota gradientu [34] .

Analýza lidského mozku ve 3D zobrazování magnetickou rezonancí

Technika morfometrie založená na vlastnostech ( FBM ) [35] [35] využívá extrémy v rozdílu Gaussova škálovacího MRI(magnetické rezonanceobrazůk analýze a klasifikaci 3Dprostoru FBM modeluje obraz pravděpodobnostně jako koláž nezávislých znaků určených geometrií obrazu a skupinami značek, jako jsou zdravé předměty a předměty odpovídající Alzheimerově chorobě. Prvky jsou nejprve extrahovány do jednotlivých snímků z rozdílu 4D Gaussova měřícího prostoru a poté jsou modelovány z hlediska jejich vzhledu, geometrie a statistik společného výskytu ve skupině napříč více snímky. FBM byla ověřena v analýze Alzheimerovy choroby se sadou ~200 volumetrických zobrazení (MRI) lidského mozku, která automaticky detekuje zavedené indikátory Alzheimerovy choroby v mozku a klasifikuje neakutní onemocnění v nových snímcích s mírou 80 % [ 35] .

Konkurenční metody

Konkurenční metody pro rozpoznání objektů invariantního měřítka při šumu a částečném překrytí jsou následující.

RIFT [36] : Rotace - invariantní zobecnění SIFT . Deskriptor RIFT je konstruován pomocí kruhových normalizovaných řezů rozdělených do soustředných prstenců stejné šířky a v rámci každého prstence je vypočítán histogram směru gradientu. Pro získání rotační invariance se orientace měří v každém bodě vzhledem ke směru od středu.

G-RIF [37] : Generalized Robust Invariant Feature je obecný kontextový deskriptor, který kóduje orientaci hran, hustotu hran a informace o barvě do jediného klíče, přičemž kombinuje vjemové informace s prostorovým kódováním. Schéma rozpoznávání objektů využívá kontext sousedství k vyhodnocování modelů objektů na základě hlasování.

"SURF" [38] : Zrychlené robustní funkce jsou vysoce výkonné detektory/deskriptory s neměnným měřítkem a rotací, o kterých se tvrdí, že se blíží nebo dokonce překračují dříve navržená schémata, pokud jde o reprodukovatelnost, jasnost a spolehlivost. SURF se spoléhá na obrázky s plnou konvolucí, aby se zkrátil výpočetní čas, a je založen na síle předních existujících detektorů a deskriptorů (používá rychlé měření založené na Hessově matici pro detektory a deskriptory založené na rozdělení pravděpodobnosti). Popisuje rozložení odezev Haarových vlnek mezi sousedy singulárního bodu. Pro urychlení se používají úplné obrázky a ke zkrácení doby výpočtu a porovnávání se používají pouze 64rozměrné vektory prvků. Krok indexování je založen na laplaciánském znaménku , což zvyšuje rychlost párování a robustnost deskriptoru.

PCA-SIFT [39] a GLOH [19] jsou varianty SIFT. Deskriptor PCA-SIFT je vektor obrazových gradientů ve směrech x a y vypočítaný v podporované oblasti. Plocha přechodu je rozdělena na 39×39 míst, takže rozměr vektoru je 3042. Rozměr je redukován na 36 metodou hlavních složek . Histogram gradientu polohy ( GLOH ) je rozšířením deskriptoru SIFT a byl vyvinut za účelem zvýšení jeho robustnosti a rozlišitelnosti. Deskriptor SIFT se vypočítá v logaritmických polárních souřadnicích poziční mřížky se třemi oblastmi v radiálních směrech (poloměr nastavený na 6, 11 a 15) a 8 v úhlových směrech, což vede k 17 oblastem. Středová oblast není rozdělena do úhlových směrů. Směry gradientu jsou kvantovány do 16 oblastí, výsledkem je histogram s 272 oblastmi. Velikost tohoto deskriptoru je redukována metodou hlavní komponenty . Kovarianční matice pro metodu hlavních komponent se vyhodnocuje na kouscích shromážděných z různých obrázků. Pro popis je použito 128 největších vlastních vektorů .

Gauss-SIFT [21] je čistý deskriptor obrazu definovaný měřením všech obrazů základního deskriptoru SIFT pomocí Gaussovy derivace, spíše než aproximací derivace v obrazové pyramidě, jak je tomu u standardního SIFT. S tímto přístupem lze efekt diskretizace prostoru a měřítka snížit na minimum, což potenciálně vede k přesnějším deskriptorům obrázků. Lindeberg [21] zkombinoval takové obrazové deskriptory Gauss-SIFT se sadou zobecněných singulárních prostorů bodové stupnice, včetně Gaussova Laplacianu, Hessova determinantu, čtyř nových rysových taktů bez znaménka a znaménka Hessian, stejně jako Harris-Laplaceova a Shea. -Thomas singulární body. V intenzivním experimentálním běhu na databázi billboardů obsahující několik transformací 12 billboardů z hlediska zvětšení až 6x a směru pohledu až do úhlu 45 stupňů se ukázalo, že výrazné zvýšení efektivity zpracování obrazu (vyšší efektivita skóre a nižší skóre 1 -přesnost) lze získat nahrazením Laplacianova Gaussova singulárních bodů determinantem Hessiánu singulárních bodů. Vzhledem k tomu, že Gaussovský rozdíl v singulárním bodě předpokládá numerickou aproximaci Laplacianova Gaussova singulárního bodu, ukazuje to, že je možné významně zvýšit výkon párování nahrazením singulárního bodu Hessiánského rozdílu v SIFT singulárním bodovým Hessovým determinantem. Další zvýšení výkonu lze dále získat zvážením míry síly nepodepsaného Hessova prvku nebo 0 v opačném případě. Numerické srovnání mezi Gauss-SIFT deskriptorem a odpovídajícím Gauss-SURF deskriptorem také ukázalo, že Gauss-SIFT obecně funguje výrazně lépe než Gauss-SURF pro velký počet různých singulárních bodových škálových-prostorových detektorů. Studie tedy ukazuje, že snížení diskretizačního efektu deskriptoru obrazu SIFT je výrazně lepší než u deskriptoru obrazu SURF, nicméně detektor charakteristických bodů v SURF, který lze považovat za numerickou aproximaci k extrému v měřítku prostoru Hessova determinantu, je výrazně lepší než detektor charakteristických bodů v SIFT. $D_{1}L=\jméno operátora {det} HL-k\,\jméno operátora {trace} ^{2}HL\,{\mbox{if}}\jméno operátora {det} HL-k\,\jméno operátora {trace} ^{2}HL>0$

Wagner a spolupracovníci vyvinuli dva algoritmy pro rozpoznávání objektů specificky přizpůsobené omezením stávajících mobilních telefonů [40] . Na rozdíl od klasického přístupu používají SIFT Wagner a kol Algoritmus také obsahuje fázi přípravy offline, kde jsou funkce vytvářeny na různých úrovních přiblížení, a fázi online, kde jsou funkce generovány pouze pro pevnou úroveň přiblížení fotoaparátu telefonu. Kromě toho jsou prvky vytvořeny pouze z pevných oblastí 15×15 pixelů a je vytvořen pouze 36rozměrný deskriptor SIFT. Tento přístup byl dále rozšířen integrací se Scalable Vocabulary Tree [41 ] . To umožňuje efektivní rozpoznání velkého množství objektů mobilním telefonem. Přístup je omezen především velikostí dostupné paměti RAM .

KAZE a A-KAZE (Funkce KAZE a Kaze Boosted Features) je nová metoda detekce a charakterizace 2D prvků, která funguje lépe než SIFT a SURF. Získal širokou popularitu díky tomu, že je volně distribuován a má otevřené zdrojové kódy. Algoritmus také není patentován. KAZE vytvořili Pablo F. Alcantarilla, Adrien Bartoli a Andrew J. Davison [42] .

Viz také

Konvoluční neuronová síť
Spojování obrázků
Zoom space
SLAM
Struktura podle sady obrázků

Poznámky

↑ 12 USA _ Patent 6,711,293 , "Metoda a zařízení pro identifikaci měřítkových invariantních rysů v obraze a jejich použití pro lokalizaci objektu v obraze", David Lowův patent na algoritmus SIFT, 23. března 2004
↑ 1 2 3 4 Lowe, 1999 , str. 1150–1157.
↑ 1 2 3 4 5 6 Lowe, 2004 , str. 91–110.
↑ Koenderink, van Doorn, 1987 , str. 383-396.
↑ Koenderink, van Doorn, 1992 , str. 597-605.
↑ Lindeberg:BICY, 2013 , str. 589-635.
↑ Lindeberg:AdvImg, 2013 , str. 1-96.
↑ Lindeberg:PLOS ONE, 2013 .
↑ 12 Lindeberg , 2014 , str. 701-713.
↑ 12 Lindeberg , 1994 .
↑ 1 2 Lindeberg, 1998 , s. 79–116.
↑ 12 Lindeberg , 2012 , str. 10491.
↑ Serre, Kouh, Cadieu, Knoblich, Kreiman, Poggio, 2005 .
↑ 1 2 Beis, Lowe, 1997 , str. 1000–1006.
↑ Lowe, 2001 , str. 682-688.
↑ 1 2 Lindeberg, Bretzner, 2003 , s. 148–163.
↑ Bretzner, Laptev, Lindeberg, 2002 , str. 423-428.
↑ 12 Kirchner , 2016 , str. 291-295.
↑ 1 2 Mikolajczyk, Schmid, 2005 , str. 1615–1630
↑ TU-chemnitz.de (downlink) . Získáno 12. listopadu 2018. Archivováno z originálu 22. května 2011. (neurčitý)
↑ 1 2 3 4 5 Lindeberg, 2015 , str. 3-36.
↑ Oyallon, Rabin, 2015 .
↑ Cui, Hasler, Thormaehlen, Seidel, 2009 .
↑ Toews, Wells III, 2009 , str. 172–177.
↑ Sirmacek, Unsalan, 2009 , str. 1156–1167.
↑ Se, Lowe, Little, 2001 , str. 2051.
↑ Brown, Lowe, 2003 , str. 1218–1225.
↑ Gordon, Lowe, 2006 , str. 67-82.
↑ 1 2 Flitton, Breckon, 2010 , str. 11.1–12.
↑ Flitton, Breckon, Megherbi, 2013 .
↑ Laptev, Lindeberg, 2004 , str. 91–103.
↑ Laptev, Caputo, Schuldt, Lindeberg, 2007 , str. 207–229.
↑ Scovanner, Ali, Shah, 2007 , str. 357–360.
↑ Niebles, Wang, Li, 2006 , str. 1156–1167.
↑ 1 2 3 Toews, Wells III, Collins, Arbel, 2010 , str. 2318–2327.
↑ Lazebnik, Schmid, Ponce, 2004 .
↑ Kim, Yoon, Kweon, 2006 .
↑ Bay, Tuytelaars, van Gool, 2006 .
↑ Ke, Sukthankar, 2004 .
↑ Wagner, Reitmayr, Mulloni, Drummond, Schmalstieg, 2008 .
↑ Henze, Schinke, Boll, 2009 .
↑ Funkce KAZE . Staženo 12. listopadu 2018. Archivováno z originálu 3. listopadu 2018. (neurčitý)

Literatura

David G. Lowe. Rozpoznávání objektů z místních měřítko-invariantních funkcí // Sborník příspěvků z mezinárodní konference o počítačovém vidění . - 1999. - T. 2. - S. 1150-1157. - doi : 10.1109/ICCV.1999.790410 .
David G. Lowe. Charakteristické rysy obrazu z klíčových bodů s invariantním měřítkem // International Journal of Computer Vision. - 2004. - T. 60 , no. 2 . - S. 91-110 . - doi : 10.1023/B:VISI.0000029664.99615.94 .
Serre T., Kouh M., Cadieu C., Knoblich U., Kreiman G., Poggio T. A Theory of Object Recognition: Computations and Circuits in the Feedforward Path of the Ventral Stream in Primate Visual Cortex // Computer Science and Artificial Technická zpráva Intelligence Laboratory, 19. prosince 2005. - MIT-CSAIL-TR-2005-082, 2005.
Beis J., David G. Lowe. Indexování tvaru pomocí přibližného vyhledávání nejbližšího souseda ve vysokorozměrných prostorech // Conference on Computer Vision and Pattern Recognition, Puerto Rico: sn . - 1997. - S. 1000-1006. - doi : 10.1109/CVPR.1997.609451 .
David G. Lowe. Lokální shlukování zobrazení funkcí pro rozpoznávání 3D objektů // Konference IEEE o počítačovém vidění a rozpoznávání vzorů. - Kauai, Havaj, 2001. - S. 682-688.
Lazebnik S., Schmid C., Ponce J. Semi-local affine Parts for Object Recognition // Sborník z konference British Machine Vision Conference . — 2004.
Sungho Kim, Kuk-Jin Yoon, In So Kweon. Rozpoznávání objektů pomocí zobecněné robustní invariantní vlastnosti a Gestaltův zákon blízkosti a podobnosti // Workshop konference o počítačovém vidění a rozpoznávání vzorů (CVPRW'06). — 2006.
Bay H., Tuytelaars T., van Gool L. SURF: Speeded Up Robust Features // Sborník příspěvků z deváté evropské konference o počítačovém vidění . — 2006.
Ke Y., Sukthankar R. PCA-SIFT: Výraznější reprezentace pro místní deskriptory obrazu // Počítačové vidění a rozpoznávání vzorů . — 2004.
Mikolajczyk K., Schmid C. Hodnocení výkonu místních deskriptorů // Transakce IEEE na analýze vzorů a strojové inteligenci. - 2005. - T. 27 , no. 10 . - S. 1615-1630 . - doi : 10.1109/TPAMI.2005.188 . — PMID 16237996 .
Wagner D., Reitmayr G., Mulloni A., Drummond T., Schmalstieg D. Sledování pózy z přírodních prvků na mobilních telefonech // Sborník příspěvků z mezinárodního sympozia o smíšené a rozšířené realitě . — 2008. Archivováno 12. června 2009 na Wayback Machine
Henze N., Schinke T., Boll S. Co je to? Rozpoznávání objektů z přirozených prvků na mobilním telefonu // Sborník z workshopu o mobilní interakci s reálným světem . — 2009.
Tony Lindeberg. Detekce funkcí s automatickým výběrem měřítka // International Journal of Computer Vision. - 1998. - T. 30 , no. 2 . - S. 79-116 . - doi : 10.1023/A:1008045108935 .
Tony Lindeberg. Měřítko transformace invariantní funkce // Scholarpedia. - 2012. - Svazek 7 , č. 5 . - S. 10491 . doi : 10.4249 /scholarpedia.10491 .
Tony Lindeberg, Lars Bretzner. Výběr měřítka v reálném čase v hybridních víceškálových reprezentacích // Proc. Scale-Space'03, Springer Lecture Notes in Computer Science. - 2003. - T. 2695 . - S. 148-163 . - ISBN 978-3-540-40368-5 . - doi : 10.1007/3-540-44935-3_11 .
Edouard Oyallon, Julien Rabin. Analýza a implementace metody SURF a její srovnání se SIFT // Zpracování obrazu on-line. — 2015.
Cui Y., Hasler N., Thormaehlen T., Seidel H.-P. Měřítko Invariant Feature Transform with Histogram Binning s nepravidelnou orientací // Sborník příspěvků z mezinárodní konference o analýze a rozpoznávání obrazu (ICIAR 2009) . — Halifax, Kanada: Springer, 2009. Archivováno 23. září 2010 na Wayback Machine
Matthew Toews, William M. Wells III. SIFT-Rank: Ordinal Descriptors for Invariant Feature Correspondence // Mezinárodní konference IEEE o počítačovém vidění a rozpoznávání vzorů . - 2009. - S. 172-177. - doi : 10.1109/CVPR.2009.5206849 .
Lokalizace a mapování mobilních robotů na bázi vidění pomocí měřítko-invariantních funkcí // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA) . - 2001. - T. 2. - S. 2051. - doi : 10.1109/ROBOT.2001.932909 .
Brown M., David G. Lowe. Rozeznáváme panoramata // Sborník příspěvků z deváté mezinárodní konference IEEE o počítačovém vidění . - 2003. - T. 2. - S. 1218-1225. - doi : 10.1109/ICCV.2003.1238630 .
Iryna Gordon, David G. Lowe. Co a kde: Rozpoznávání 3D objektů s přesnou pozicí // K rozpoznání objektů na úrovni kategorie . — Springer-Verlag, 2006.
Ivan Laptev, Tony Lindeberg. Místní deskriptory pro časoprostorové rozpoznávání // ECCV'04 Workshop on Spatial Coherence for Visual Motion Analysis, Springer Lecture Notes in Computer Science, Volume 3667 . - 2004. - S. 91-103. - doi : 10.1007/11676959_8 .
Ivan Laptev, Barbara Caputo, Christian Schuldt, Tony Lindeberg. Pohybové události přizpůsobené místní rychlosti pro časoprostorové rozpoznávání // Počítačové vidění a porozumění obrazu. - 2007. - T. 108 , č. 3 . - S. 207-229 . - doi : 10.1016/j.cviu.2006.11.023 .
Paul Scovanner, Ali S., Shah M. 3-dimenzionální deskriptor prosévání a jeho aplikace na rozpoznávání akcí // Sborník příspěvků z 15. mezinárodní konference o multimédiích. - 2007. - S. 357-360. - doi : 10.1145/1291233.1291311 .
Flitton G., Breckon T. Rozpoznávání objektů pomocí 3D SIFT v komplexních svazcích CT // Sborník z konference British Machine Vision Conference . - 2010. - S. 11.1-12. - doi : 10.5244/C.24.11 .

Niebles JC, Wang H., Fei-Fei Li. Učení kategorií lidského jednání bez dozoru pomocí časoprostorových slov // Sborník z konference British Machine Vision Conference (BMVC) . — Edinburgh, 2006. Archivováno 5. července 2008 na Wayback Machine
Beril Sirmacek, Cem Unsalan. Detekce městských oblastí a budov pomocí klíčových bodů SIFT a teorie grafů // Transakce IEEE v oblasti geověd a dálkového průzkumu Země. - 2009. - T. 47 , č. 4 . - S. 1156-1167 . - doi : 10.1109/TGRS.2008.2008440 .

Matthew Toews, William M. Wells III., D. Louis Collins, Tal Arbel. Morfometrie založená na funkcích: Objevování skupinově souvisejících anatomických vzorů // NeuroImage. - 2010. - T. 49 , č. 3 . - S. 2318-2327 . - doi : 10.1016/j.neuroimage.2009.10.032 . — PMID 19853047 .
Lindeberg T. Teorie měřítka-prostoru v počítačovém vidění . - Kluwer Academic Publishers, 1994. - ISBN 0-7923-9418-6 .
Jan Koenderink, Ans van Doorn. Reprezentace lokální geometrie ve vizuálním systému // Biologická kybernetika. - 1987. - T. 3 . - S. 383-396 .
Jan Koenderink, Ans van Doorn. Obecní operátoři sousedství // Transakce IEEE na analýze vzorů a strojové inteligenci. - 1992. - T. 14. - S. 597-605.
Lindeberg T. Výběr měřítka // Počítačové vidění: Referenční příručka / Ikeuchi K.. - Springer, 2014. - S. 701-713.
Lindeberg T. Invariance vizuálních operací na úrovni receptivních polí (anglicky) // PLOS One . - Public Library of Science , 2013. - Sv. 8 , iss. (7):e66990 .
Lindeberg T. Výpočetní teorie zrakových receptivních polí // Biologická kybernetika. - 2013. - T. 107 , č.p. 6 . - S. 589-635 .
Lindeberg T. Generalized axiomatic scale-space theory // Pokroky v zobrazování a elektronové fyzice. - 2013. - T. 178 . - S. 1-96 .
Flitton GT, Breckon TP, Megherbi N. Srovnání 3D deskriptorů zájmových bodů s aplikací na detekci letištních zavazadel v komplexních CT zobrazeních // Rozpoznávání vzorů. - Elsevier, 2013. - doi : 10.1016/j.patcog.2013.02.008 .
Matthew Toews, William M. Wells III., D. Louis Collins, Tal Arbel. Morfometrie založená na funkcích: Objevování skupinově souvisejících anatomických vzorů // NeuroImage. - 2010. - T. 49 , č. 3 . - S. 2318-2327 . - doi : 10.1016/j.neuroimage.2009.10.032 . — PMID 19853047 .
Lindeberg T. Porovnávání obrazu pomocí zobecněných zájmových bodů měřítka-prostor // Journal of Mathematical Imaging and Vision. - 2015. - T. 52 . - S. 3-36 .
Matthew R. Kirchner. Automatické prahování deskriptorů SIFT // Image Processing (ICIP), 2016 IEEE International Conference on. - IEEE, 2016. - S. 291-295.
Lars Bretzner, Ivan Laptev, Tony Lindeberg. Rozpoznávání gest rukou pomocí víceškálových barevných funkcí, hierarchických modelů a filtrování částic // Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition . - Washington, DC, USA, 2002. - S. 423-428. - ISBN 0-7695-1602-5 . - doi : 10.1109/AFGR.2002.1004190 .

Odkazy

Scale-Invariant Feature Transform (SIFT) ve Scholarpedia
Implementace SIFT od Roba Hesse zpřístupněna 21. listopadu 2012
Invariantní vztahy mezi 3D a 2D projekcí bodových množin, Journal of Pattern Recognition Research (JPRR) Archivováno 8. září 2008 ve Wayback Machine , sv. 3, č. 1, 2008.
Lowe, DG, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 60, 2, str. 91-110, 2004.
Mikolajczyk, K. a Schmid, C., "A performance evaluation of local deskriptors", IEEE Transactions on Pattern Analysis and Machine Intelligence, 10, 27, str. 1615-1630, 2005.
PCA-SIFT: Výraznější reprezentace místních deskriptorů obrázků
Lazebnik, S., Schmid, C., and Ponce, J., Semi-Local Affine Parts for Object Recognition, BMVC, 2004.
ASIFT (Affine SIFT) : přizpůsobení velkého pohledu se SIFT, se zdrojovým kódem a online ukázkou
VLFeat , open source knihovna počítačového vidění v jazyce C (s rozhraním MEX pro MATLAB), včetně implementace SIFT
LIP-VIREO , sada nástrojů pro extrakci klíčových bodů (binární soubory pro Windows, Linux a SunOS), včetně implementace SIFT
(Paralelní) SIFT v C# , algoritmus SIFT v C# pomocí Emgu CV a také upravená paralelní verze algoritmu.
DoH & LoG + affine , Detektor blob upravený ze sady nástrojů SIFT
Jednoduchý průvodce SIFT krok za krokem
SIFT pro detekci více objektů
« Anatomie metody SIFT » v Image Processing On Line, podrobná studie každého kroku algoritmu s implementací open source a webovou ukázkou pro vyzkoušení různých parametrů
ezSIFT: snadno použitelná samostatná implementace SIFT v C/C++ . Samostatná implementace SIFT s otevřeným zdrojovým kódem, která nevyžaduje další knihovny.
Implementace 3D SIFT: detekce a párování v objemových snímcích.