Meta Sapiens2: KI-Modell erkennt menschliche Körper in bis zu 4K-Auflösung

Meta AI hat Sapiens2 vorgestellt, die zweite Generation seiner menschenzentrierten Visionsmodelle, die mit beeindruckenden Benchmark-Zahlen aufwartet. Auf einem speziell kuratierten Datensatz von einer Milliarde menschlicher Bilder vortrainiert, deckt das Modell Größen von 0,4 bis 5 Milliarden Parametern ab und ist in der Lage, fünf komplexe Aufgaben gleichzeitig zu bewältigen: Pose-Schätzung, Körperteilsegmentierung, Schätzung von Oberflächennormalen, Pointmap-Regression und Albedo-Bestimmung. Mit einer nativen Auflösung von 1K und hierarchischen Varianten bis zu 4K stellt Sapiens2 einen bedeutenden Fortschritt für alle dar, die mit menschlichen Figuren in digitalen Medien arbeiten.

Das Vorgängermodell Sapiens nutzte primär Masked Autoencoder (MAE) für das Vortraining, wobei 75 Prozent der Bild-Patches maskiert und zur Rekonstruktion gelernt wurden. Dies führte zu einer guten räumlichen Detailgenauigkeit, ließ jedoch das semantische Verständnis vermissen. Sapiens2 schließt diese Lücke durch eine innovative Kombination von zwei Verlustfunktionen: einem Masked Image Reconstruction Loss (LMAE) für pixelgenaue Details und einem Global Contrastive Loss (LCL) auf dem [CLS]-Token, eingebettet in ein Student-Teacher-Framework, das auf DINOv3 basiert. Die Paramter des Teachers sind hierbei ein exponentieller gleitender Durchschnitt (EMA) des Students. Eine bewusste Entscheidung war, keine aggressiven Farbaugmentierungen zu verwenden, um "Representation Drift" zu vermeiden, also den Verlust von Informationen über Oberflächeneigenschaften wie Hautton oder natürliche Lichtverhältnisse, was für die Albedo-Schätzung entscheidend ist.

Der riesige Trainingsdatensatz von einer Milliarde Bildern ist das Ergebnis einer mehrstufigen Filterpipeline, die ursprünglich vier Milliarden Bilder umfasste. Durch Bounding-Box-Detektion, Head-Pose-Estimation, Aesthetic- und Realism-Scoring, CLIP-basiertes Feature-Filtering und Text-Overlay-Erkennung wurde dieser auf die letztendliche Größe reduziert. Jedes ausgewählte Bild enthält mindestens eine prominente Person mit einer Mindestauflösung von 384 Pixeln. Für Diversität sorgten Methoden wie perceptual Hashing und Deep-Feature-Nearest-Neighbor-Pruning zur Deduplizierung. Anschliessend wurden visuelle Embeddings nach Posen, Kameraperspektiven, Verdeckungsgraden, Kleidungstypen und Lichtsituationen geclustert und selektiv gesampelt, ohne Task-Labels oder mensch-spezifische Priors während des Pretrainings.

Sapiens2 bietet vier Modellgrößen (0,4B, 0,8B, 1B und 5B Parameter), die nativ bei 1K-Auflösung arbeiten. Das 5B-Modell erreicht 15.722 TFLOPs und stellt damit den höchsten bislang gemeldeten FLOP-Wert für einen spezialisierten Human-Vision-Transformer dar. Für 4K-Anwendungen nutzt Sapiens2 einen hierarchischen Windowed-Attention-Ansatz, bei dem die ersten Schichten lokale Self-Attention innerhalb räumlicher Fenster anwenden, bevor ein [CLS]-gesteuertes Pooling das Token-Grid reduziert und globale Self-Attention in den letzten Schichten zum Einsatz kommt. Technologische Verbesserungen wie RMSNorm anstelle von LayerNorm, Grouped-Query Attention (GQA), QK-Norm für robustes Hochauflösungstraining und SwiGLU-Feedforward-Schichten runden die Architektur ab. Der Decoder verwendet Pixel-Shuffle-Upsampling, um detailliertere Ergebnisse und die Vermeidung von Artefakten zu gewährleisten.

Die Leistungsverbesserungen sind signifikant. Auf dem 11.000 Bilder umfassenden In-the-Wild-Pose-Testset erzielt Sapiens2-5B einen mAP-Wert von 82,3, was einem Sprung von +4 mAP gegenüber seinem Vorgänger Sapiens-2B entspricht. Bei der Körperteilsegmentierung übertrifft bereits das kleinste Modell, Sapiens2-0,4B, die vorherige Generation deutlich mit 79,5 mIoU. Sapiens2-5B erreicht hier beeindruckende 82,5 mIoU. Auch bei der Schätzung von Oberflächennormalen setzt Sapiens2 neue Maßstäbe: Sapiens2-0,4B erreicht einen mittleren Winkelfehler von 8,63°, während das 5B-Modell diesen auf 6,73° reduziert. Für die Albedo-Schätzung erreicht Sapiens2-5B einen MAE von 0,012 und einen PSNR-Wert von 32,61 dB. In der Pointmap-Estimation übertreffen alle Sapiens2-Modelle den bisherigen State-of-the-Art und selbst in Dense-Probing-Evaluierungen schlägt Sapiens2-5B den allgemeinen Backbone DINOv3-7B, obwohl dieser mehr Parameter besitzt.