Ganz einfach gesagt ist der Sextant ein Winkelmessinstrument.
Das Funktionsprinzip lässt sich wie folgt darstellen (siehe Bild):
Der Indexspiegel reflektiert das Licht des Gestirns zur inneren, verspiegelten Oberfläche des Horizontspiegels (A). Dieser wiederum reflektiert das Licht in das Teleskop. Somit sieht der Beobachter das Gestirn doppelt gespiegelt. Da der Horizontspiegel das Licht auch durchlässt, sieht der Beobachter zusätzlich das Horizontbild in direkter Visur (C).
Man unterscheidet zwischen dem doppelt gespiegelten Gestirnbild und dem direkt gesehenen Bild des Horizonts. Der Indexspiegel (B) kann mit der Alhidade gedreht werden.
Wenn die Alhidade auf dem Nullwert des Gradbogens steht, sind die Horizont und Indexspiegel parallel. Der Beobachter sieht das gleiche Bild einmal direkt durch den Horizontspiegel (A) und einmal doppelt reflektiert über Horizont- und Indexspiegel (A und B). Beide Bilder überlagern sich exakt, wenn die Spiegelstellung fehlerfrei ist.
Sind beide Bilder vertikal verschoben, so spricht man von einem Indexfehler (+ oder -), der bei allen Messungen korrigiert werden muss. Wenn beide Bilder horizontal gegeneinander verschoben sind, so handelt es sich um einen Kippfehler, der ebenfalls korrigiert werden muss. In der Praxis findet man sowohl eine horizontale als auch eine vertikale Verschiebung der Bilder, es handelt sich damit also um Kipp- als auch um Indexfehler.
Um den Höhenwinkel zwischen Horizont und Gestirn zu messen, muss der Beobachter die Alhidade so lange verschieben, bis das doppelt reflektierte Gestirnbild, mit dem direkt gesehenen Horizontbild, zur Deckung gebracht worden ist. Nach dem Reflexionsgesetz entspricht die Drehung des Indexspiegels dem halben Winkel zwischen Horizont und Gestirn. Aus diesem Grunde wurde der Gradbogen am Sextanten so graviert, dass die Ablesung unmittelbar, ohne Umrechnung, erfolgen kann. In dem Beispiel in der Darstellung sind es 20,5°, was der beobachteten Höhe entspricht.
Der Messbereich des Sextanten beträgt 120°, so dass der Gradbogen selbst nur 60° betragen muss. Daher hat der Sextant seinen Namen, denn 60° entspricht dem den sechsten Teil des Kreisumfangs.
Mit dem Sextant lassen sich für die terrestrische Navigation auch horizontale Winkel bestimmen (Kreuzpeilung), oder mithilfe der Trigonometrie Längen einer Seite ermitteln (z.B. um Baumhöhen zu errechnen).
