Trifokaler Tensor: Erforschung von Tiefe, Bewegung und Struktur in der Computer Vision

Von Fouad Sabry

Was ist der trifokale Tensor?

Im Bereich der Computer Vision ist der trifokale Tensor ein numerisches Array mit den Abmessungen 3×3×3, das alle geometrischen Beziehungen umfasst die zwischen den drei Perspektiven projektiv sind. Die Koordinaten übereinstimmender Punkte oder Linien in drei verschiedenen Ansichten werden durch diese Methode miteinander in Beziehung gesetzt, die unabhängig von der Struktur der Szene ist und ausschließlich auf der relativen Bewegung zwischen den drei Ansichten sowie den intrinsischen Kalibrierungsparametern jeder Ansicht beruht . Infolgedessen kann der trifokale Tensor als Verallgemeinerung der Fundamentalmatrix in drei verschiedenen Perspektiven betrachtet werden. Obwohl der Tensor aus 27 Elementen besteht, ist es wichtig zu betonen, dass nur 18 dieser Elemente wirklich unabhängig sind.

Wie Sie profitieren

(I) Erkenntnisse und Validierungen zu den folgenden Themen:

Kapitel 1: Trifokaler_Tensor

Kapitel 2: Rang_(lineare_Algebra)

Kapitel 3 : Trace_(linear_algebra)

Kapitel 4: Hauptkomponentenanalyse

Kapitel 5: Translation_(Geometrie)

Kapitel 6: Kronecker_Produkt

Kapitel 7 : Eigenwerte_und_Eigenvektoren

Kapitel 8: Dreidimensionaler_Raum

Kapitel 9: Fundamental_matrix_(computer_vision)

Kapitel 10: Eckenerkennung

(II) Beantwortung der häufigsten öffentlichen Fragen zum trifokalen Tensor.

(III) Beispiele aus der Praxis für die Verwendung des trifokalen Tensors in vielen Bereichen.

Für wen dieses Buch gedacht ist

Profis, Studenten und Doktoranden, Enthusiasten, Hobbyisten und diejenigen, die über das Grundwissen oder die Informationen für jede Art von trifokalem Tensor hinausgehen möchten.

 

 

• Sprache: Deutsch
• Herausgeber: Eine Milliarde Sachkundig [German]
• Erscheinungsdatum: 1. Mai 2024

Buchvorschau

Kapitel 1: Trifokaler Tensor

In Bezug auf Computer Vision ist der trifokale Tensor (auch Tritensor) ein 3×3×3-Array von Zahlen (d. h. ein Tensor), das den gesamten Satz von Beziehungen zwischen drei Standpunkten in der projektiven Geometrie darstellt.

Dreidimensionale Koordinaten paralleler Linien und Punkte sind miteinander verbunden, haben nichts mit der Topologie der Szene zu tun, sondern mit der relativen Mobilität (d.h. der Haltung) zwischen den drei Perspektiven und ihren angeborenen Kalibrierungsfaktoren.

Daher kann man sich den trifokalen Tensor als eine dreidimensionale Version der Grundmatrix vorstellen.

Es wird darauf hingewiesen, dass, obwohl der Tensor aus 27 Elementen besteht, nur 18 von ihnen wirklich als autark angesehen werden können.

Es gibt 11 Freiheitsgrade oder unabhängige Elemente im sogenannten kalibrierten trifokalen Tensor, der die relative Haltung der Kameras bis zur globalen Skala kodiert, indem er die Koordinaten von Punkten und Linien in drei Ansichten aufgrund ihrer intrinsischen Eigenschaften in Beziehung setzt. Aufgrund der geringeren Freiheitsgrade müssen weniger Korrespondenzen in das Modell eingepasst werden, was jedoch auf Kosten einer höheren Nichtlinearität geht.

Der Tensor kann auch als eine Sammlung von drei 3 x 3-Matrizen mit Rang zwei betrachtet werden {\mathbf T}_1, \; {\mathbf T}_2, \; {\mathbf T}_3 , die als Korrelationsscheiben bezeichnet werden.

Unter der Annahme, dass die Projektionsmatrizen von drei Ansichten , {\mathbf P}=[ {\mathbf I} \; | \; {\mathbf 0} ] {\displaystyle {\mathbf {P} }'=[{\mathbf {A} }\;|\;{\mathbf {a} }_{4}]} und  sind {\displaystyle {\mathbf {P} ''}=[{\mathbf {B} }\;|\;{\mathbf {b} }_{4}]} , können die Korrelationsschichten des entsprechenden Tensors in geschlossener Form als ausgedrückt werden

{\mathbf T}_i={\mathbf a}_i {\mathbf b}_4^t - {\mathbf a}_4 {\mathbf b}_i^t, \; i=1 \ldots 3

, wobei {\mathbf a}_i, \; {\mathbf b}_i jeweils die i-ten Spalten der Kameramatrizen sind.

In der Praxis wird der Tensor jedoch berechnet, indem jede der drei Perspektiven für den Punkt- und Linienabgleich verglichen wird.

Lineare Beziehungen zwischen Linien und Punkten in drei Bildern sind eines der nützlichsten Ergebnisse des trifokalen Tensor.

Genauer gesagt, für Tripletts von korrespondierenden Punkten {\displaystyle {\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }'\;\leftrightarrow \;{\mathbf {x} }''} und alle entsprechenden Linien {\displaystyle {\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow \;{\mathbf {l} }''} , die durch sie hindurchgehen, gelten die unten aufgeführten dreilinearen Beschränkungen:

{\displaystyle ({\mathbf {l} }^{\prime t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }'')[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}}{\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''=0}{\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }^{t}}{\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''={\mathbf {0} }}{\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }_{3\times 3}}

wobei [\cdot]_{\times} die schiefsymmetrische Kreuzproduktmatrix bezeichnet.

Die Position eines Punktes in einer dritten Ansicht kann aus einem Paar übereinstimmender Punkte in zwei Ansichten bestimmt werden, wobei nur der trifokale Tensor dieser Ansichten verwendet wird. Die Punktübertragung beschreibt dieses Phänomen, das auch für Linien und Kegel gilt. Es ist möglich, generische Kurven als Kegel zu übertragen, indem sie zunächst als oskulierende Kreise in einer lokalen Differentialkurve modelliert werden. Das Problem der nicht kalibrierten trifokalen Tensoren ist jedoch noch in der Schwebe.

Im Standardfall handelt es sich um Sechs-Punkte-Entsprechungen mit drei Lösungen.

In den letzten Jahren wurde das Problem der Berechnung des trifokalen Tensors mit nur neunzeiligen Korrespondenzen gelöst.

Die kalibrierte Trifokal-Tensor-Schätzung gilt als äußerst anspruchsvoll und erfordert Vier-Punkt-Korrespondenzen. Die gleiche Methode erwies sich auch mit Grad 216 als Minimum für die kombinierte Situation von Dreipunkt-Korrespondenz und Ein-Linien-Korrespondenz.

{Ende Kapitel 1}

Kapitel 2: Rang (lineare Algebra)

Der Rang einer Matrix A ist die Anzahl der Dimensionen des Vektorraums, der von seinen Spalten in der linearen Algebra gebildet (oder aufgespannt) wird. Daher kann die Nicht-Entartung der linearen Gleichungen und linearen Transformationen, die von A gespeichert werden, in Bezug auf ihren Rang quantifiziert werden. Rang kann auf verschiedene Arten verstanden werden. Der Rang einer Matrix ist eine sehr elementare Eigenschaft.

Der Rang wird in der Regel durch die Symbole Rang (A) oder rk (A) dargestellt. Der Rang einer Matrix wird in diesem Abschnitt definiert. Es gibt eine breite Palette potenzieller Bedeutungen, von denen einige unter Alternative Bedeutungen untersucht werden.

Wenn A eine Menge ist, dann ist ihr Spaltenrang die Anzahl der Elemente in ihrem Spaltenbereich und ihr Zeilenrang die Anzahl der Elemente in ihrem Zeilenbereich.

In der linearen Algebra ist es ein Ergebnis erster Ordnung, dass der Rang einer Spalte immer gleich dem Rang einer Zeile ist.

(Drei Beweise für dieses Ergebnis finden Sie in § Beweise dafür, dass Spaltenrang = Zeilenrang ist.) Betrachten Sie diese Summe (d. h. das Zählen der Anzahl der eindeutigen Zeilen und Spalten in A ergibt den Rang.

Wenn eine Matrix die gleiche Anzahl von Zeilen und Spalten hat wie die größte denkbare Matrix dieser Dimensionen, dann hat sie den vollen Rang. Wenn eine Matrix nicht den vollen Rang hat, sagen wir, dass sie einen Rangmangel hat. Wenn eine Matrix weniger Zeilen als Spalten hat, spricht man von einem Rangmangel.

Der Rang einer linearen Karte oder eines linearen Operators \Phi ist definiert als die Dimension ihres Bildes:

{\displaystyle \operatorname {rank} (\Phi ):=\dim(\operatorname {img} (\Phi ))}

wobei {\displaystyle \dim } die Dimension eines Vektorraums und {\displaystyle \operatorname {img} } das Bild einer Karte ist.

Die Matrix

{\displaystyle {\begin{bmatrix}1&0&1\\-2&-3&1\\3&3&0\end{bmatrix}}}

hat Rang 2; Es gibt mindestens zwei linear unabhängige Spalten (die erste und die zweite), daher ist der Rang mindestens 2, aber der Rang ist nicht größer als 3, da die dritte Spalte eine Linearkombination der ersten beiden ist (die erste minus die zweite).

Die Matrix

{\displaystyle A={\begin{bmatrix}1&1&0&2\\-1&-1&0&-2\end{bmatrix}}}

Rang 1 hat; Es gibt einige Spalten, daher ist der Rang ungleich Null. Zwei beliebige Spalten sind jedoch linear voneinander abhängig. In ähnlicher Weise ist die Inversion

{\displaystyle A^{\mathrm {T} }={\begin{bmatrix}1&-1\\1&-1\\0&0\\2&-2\end{bmatrix}}}

an der ersten Stelle, A.

Angesichts der Tatsache, dass die Transposition von A die gleichen Spaltenvektoren wie die Zeilenvektoren von A hat, ist die Aussage, dass eine Matrix den gleichen Rang wie ihre Transposition hat, vergleichbar mit der Aussage, dass ihr Spaltenrang mit ihrem Zeilenrang identisch ist, d. h. Rang(A) = Rang(AT).

Um den Rang einer Matrix zu ermitteln, muss sie in der Regel in eine einfachere Form umgewandelt werden, die als Zeilenstaffelform bezeichnet wird, wobei nur einfache Zeilenoperationen verwendet werden. Aufgrund ihrer Invertierbarkeit verändern Zeilenoperationen den Zeilenraum (und damit den Zeilenrang) nicht, sondern übersetzen den Spaltenraum in einen isomorphen Raum (ändern also nicht den Spaltenrang). Bei der Zeilenstaffelform ist der Rang gleich der Summe der Anzahl der Pivots (oder Basisspalten) plus der Anzahl der Zeilen ungleich Null.

Betrachten wir die Matrix A, die wie folgt geschrieben werden kann:

{\displaystyle A={\begin{bmatrix}1&2&1\\-2&-3&1\\3&5&0\end{bmatrix}}}

können in kompakter Zeilenstaffelform mit den folgenden grundlegenden Zeilenoperationen aufgeschrieben werden:

{\displaystyle {\begin{aligned}{\begin{bmatrix}1&2&1\\-2&-3&1\\3&5&0\end{bmatrix}}&\xrightarrow {2R_{1}+R_{2}\to R_{2}} {\begin{bmatrix}1&2&1\\0&1&3\\3&5&0\end{bmatrix}}\xrightarrow {-3R_{1}+R_{3}\to R_{3}} {\begin{bmatrix}1&2&1\\0&1&3\\0&-1&-3\end{bmatrix}}\\&\xrightarrow {R_{2}+R_{3}\to R_{3}} \,\,{\begin{bmatrix}1&2&1\\0&1&3\\0&0&0\end{bmatrix}}\xrightarrow {-2R_{2}+R_{1}\to R_{1}} {\begin{bmatrix}1&0&-5\\0&1&3\\0&0&0\end{bmatrix}}~.\end{aligned}}}

Daher ist der Rang von Matrix A 2, da die endgültige Matrix (in Zeilenstaffelform) zwei Zeilen hat, die nicht 0 sind.

Die grundlegende Gauß-Eliminierung (LU-Zerlegung) kann instabil sein, wenn sie in Gleitkommaberechnungen auf Computern eingesetzt wird. Stattdessen wird eine Rangaufdeckung empfohlen. Die Singulärwertzerlegung (SVD) ist eine leistungsfähige Alternative, obwohl es günstigere Alternativen gibt, die numerisch noch robuster sind als die Gaußsche Eliminierung, wie z. B. die QR-Zerlegung mit Pivoting (sog. rangenthüllende QR-Faktorisierung). Für die numerische Bestimmung des Rangs ist eine praktische Wahl erforderlich, die sowohl von der Matrix als auch von der Anwendung abhängt, z. B. ein Kriterium für die Auswahl, wann ein Wert, z. B. ein singulärer Wert aus der SVD, als Null betrachtet werden soll.

In der linearen Algebra ist die Gleichheit der Spalten- und Zeilenränge einer Matrix eine grundlegende Eigenschaft.

Es gibt zahlreiche Beispiele.

Eine der elementarsten ist in § Rang aus Reihenstufen skizziert worden.

Ein alternativer Beweis wird hier vorgestellt:

Es ist leicht zu veranschaulichen, dass ein einfacher Zeilenvorgang keine Auswirkungen auf den Zeilenrang oder den Spaltenrang hat. Aufgrund der Art der Gauß'schen Eliminierung, die nur einfache Zeilenoperationen umfasst, werden sowohl der Zeilenrang als auch der Spaltenrang einer Matrix in der reduzierten Zeilenstaffelversion beibehalten. Die Matrix kann in eine Identitätsmatrix umgewandelt werden, indem einige weitere elementare Spaltenoperationen ausgeführt werden, z. B. das Hinzufügen einer Reihe von Nullen auf jeder Seite. Auch dies hat keine Auswirkungen auf die Reihenfolge der Zeilen oder Spalten. Die Anzahl der Matrizen mit Einträgen ungleich Null ist direkt proportional zum Rang der einzelnen Zeilen und Spalten.

Zwei weitere Beweise für dieses Ergebnis werden geliefert. Die erste ist feldunabhängig und verwendet nur elementare Merkmale linearer Kombinationen von Vektoren. Wardlaw ist die Grundlage des Beweises (2005).

Sei A eine m × n Matrix.

Nehmen wir r als den Spaltenrang von A, und c1, .., cr sei eine beliebige Basis für den Spaltenraum von A.

Platzieren Sie diese als Spalten einer m × r Matrix C.

Jede einzelne Spalte von A kann als lineare Kombination von Cs r-Spalten geschrieben werden.

Das bedeutet, dass es eine r × n Matrix R  gibt, so dass A = CR ist.

R ist die Matrix, deren i-te Spalte aus den Koeffizienten gebildet wird, die die i-te Spalte von A als Linearkombination der r-Spalten von C ergeben.

Anders ausgedrückt ist R die Matrix, die die Vielfachen für die Basen des Spaltenraums von A (das ist C) enthält, um den Buchstaben A zu vervollständigen.

Wenn man nun die r-Reihen von R linear kombiniert, erhält man jede Zeile von A.

Daher erstrecken sich die Zeilen in R sowohl über den Zeilenraum A als auch über B, gemäß dem Steinitz-Austauschlemma ist r der maximale Zeilenrang, den A haben kann.

Es ist ein Beweis dafür, dass A einen niedrigeren Zeilenrang als einen Spaltenrang hat.

Jede Matrix kann von dieser Schlussfolgerung profitieren, dann verwenden Sie die Lösung für die Umsetzung von A.

Wenn A transponiert wird, wird sein Zeilenrang zu seinem Spaltenrang und sein Spaltenrang zu seinem Zeilenrang. Dies beweist die umgekehrte Ungleichung und gibt uns den Zeilenrang und den Spaltenrang von A, die gleich sind.

(Ein verwandtes Konzept finden Sie unter Rangfaktorisierung.)

Sei A eine m × n Matrix mit Einträgen in den reellen Zahlen, deren Zeilenrang r ist.

Daher hat A r Zeilen, daher ist r die Dimension seines Zeilenraums.

Sei x1, x2, ..., xr eine Basis des Zeilenraums von A.

Wir behaupten, dass die Vektoren Ax1, Ax2, ..., Axr linear unabhängig sind.

Um dies zu verstehen, betrachten wir eine lineare homogene Beziehung, die diese Vektoren mit den skalaren Koeffizienten c1, c2, ..., cr umfasst:

{\displaystyle 0=c_{1}A\mathbf {x} _{1}+c_{2}A\mathbf {x} _{2}+\cdots +c_{r}A\mathbf {x} _{r}=A(c_{1}\mathbf {x} _{1}+c_{2}\mathbf {x} _{2}+\cdots +c_{r}\mathbf {x} _{r})=A\mathbf {v} ,}

wobei v = c1x1 + c2x2 + ⋯ + crxr.

Wir bemerken zwei Dinge: Eine lineare Kombination von Vektoren im Zeilenraum von A wird mit v bezeichnet, also muss v in den A-Zeilen existieren, außerdem (b), weil Av = 0, Jeder Zeilenvektor von A und der Vektor v sind orthogonal zueinander, also senkrecht zu jedem Vektor im Zeilenraum von A.

Leitet man aus (a) und (b) ab, dass v orthogonal zu sich selbst ist, so ist entweder v = 0 oder, nach dem Wörterbuch, v,

{\displaystyle c_{1}\mathbf {x} _{1}+c_{2}\mathbf {x} _{2}+\cdots +c_{r}\mathbf {x} _{r}=0.}

Aber denken Sie