Multimodal LLMs

Multimodale LLMs sind KI-Sprachmodelle, die über die reine Textverarbeitung hinausgehen und zusätzliche Medientypen wie Bilder, Audio und Video verstehen und verarbeiten können. Während klassische Large Language Models (LLMs) ausschliesslich mit Text arbeiten, kombinieren multimodale Modelle mehrere Eingabe- und Ausgabekanäle in einem einzigen System. Bekannte Beispiele sind GPT-4o (OpenAI), Gemini (Google) und Claude (Anthropic), die alle Text und Bilder gleichzeitig verarbeiten können.

Was bedeutet multimodal?

Der Begriff multimodal bezeichnet die Fähigkeit eines KI-Modells, verschiedene Arten von Daten (Modalitäten) gleichzeitig zu verarbeiten. Eine Modalität ist dabei ein bestimmter Typ von Information:

• Text: geschriebene Sprache, Prompts, Dokumente
• Bild: Fotos, Screenshots, Diagramme, Scans
• Audio: gesprochene Sprache, Musik, Geräusche
• Video: Bewegtbilder mit oder ohne Ton

Ein multimodales LLM kann diese Modalitäten nicht nur einzeln, sondern in Kombination verarbeiten. Sie können beispielsweise ein Foto hochladen und Fragen dazu stellen, ein Diagramm analysieren lassen oder ein Gespräch per Spracheingabe führen, während das Modell gleichzeitig ein Dokument betrachtet.

Wie funktionieren multimodale LLMs technisch?

Die technische Umsetzung von Multimodalität erfordert, dass verschiedene Datentypen in eine gemeinsame Repräsentation überführt werden, die das Sprachmodell verarbeiten kann. Dafür kommen je nach Modalität unterschiedliche Methoden zum Einsatz:

Bild-Encoder

Bilder werden durch ein vortrainiertes Vision-Modell (z. B. ein Vision Transformer, ViT) in eine Folge von Vektoren umgewandelt. Diese Vektoren werden zusammen mit den Text-Tokens an das Sprachmodell übergeben, das beide Informationsquellen gemeinsam verarbeitet.

Audio-Encoder

Audiodaten werden zunächst in ein Spektrogramm oder eine ähnliche Darstellung umgewandelt und dann durch ein spezialisiertes Modell (z. B. Whisper) in Vektoren kodiert, die das LLM versteht.

Cross-Attention

Manche Architekturen nutzen Cross-Attention-Mechanismen, bei denen das Sprachmodell gezielt auf bestimmte Bereiche eines Bildes oder Audiosignals „schaut“, um die relevanten Informationen zu extrahieren.

Unified Token Space

Neuere Ansätze wie GPT-4o streben einen einheitlichen Token-Raum an, in dem Text, Bild und Audio als gleichartige Tokens behandelt werden. Das ermöglicht eine besonders nahtlose Verarbeitung verschiedener Modalitäten.

Welche Anwendungen ermöglichen multimodale LLMs?

Durch die Kombination verschiedener Eingabetypen eröffnen multimodale Modelle Anwendungen, die mit reinen Text-LLMs nicht möglich wären:

• Dokumentenanalyse: Scans von Rechnungen, Verträgen oder Formularen können direkt als Bild übergeben und inhaltlich ausgewertet werden – ohne vorherige OCR-Konvertierung.
• Bildbeschreibung und -analyse: Das Modell beschreibt den Inhalt von Fotos, erkennt Objekte, liest Text in Bildern oder analysiert Diagramme und Grafiken.
• Technische Unterstützung: Screenshots von Fehlermeldungen, Konfigurationsmasken oder Code-Editoren können direkt an das Modell übergeben werden, das darauf basierend Lösungen vorschlägt.
• Barrierefreiheit: Multimodale Modelle können Bilder für sehbeeinträchtigte Personen beschreiben oder gesprochene Inhalte transkribieren und zusammenfassen.
• Video-Verständnis: Modelle wie Gemini können Videos analysieren, den Inhalt zusammenfassen und Fragen zu einzelnen Szenen beantworten.
• Sprachinteraktion: GPT-4o ermöglicht Echtzeit-Gespräche per Sprache, bei denen das Modell Tonfall und Kontext berücksichtigt – ähnlich einem natürlichen Telefonat.

Welche multimodalen LLMs gibt es?

Die wichtigsten multimodalen Modelle im Überblick (Stand: 2026):

Wo liegen die Grenzen multimodaler Modelle?

Trotz grosser Fortschritte haben multimodale LLMs noch Einschränkungen:

• Bildgenerierung: Die meisten multimodalen LLMs können Bilder verstehen, aber nicht erzeugen. Für die Bildgenerierung werden spezialisierte Modelle wie DALL-E, Midjourney oder Stable Diffusion benötigt. Eine Ausnahme bildet GPT-4o, das auch Bilder erzeugen kann.
• Halluzinationen bei Bildern: Modelle können Details in Bildern falsch interpretieren oder Inhalte „hinzuerfinden“, die nicht vorhanden sind.
• Audio-Qualität: Die Verarbeitung von Hintergrundgeräuschen, Überlappungen mehrerer Sprecher oder starken Akzenten ist noch fehleranfällig.
• Rechenaufwand: Die Verarbeitung von Bildern und insbesondere Videos erfordert deutlich mehr Rechenleistung als reine Textverarbeitung.
• Datenschutz: Bei der Verarbeitung von Bildern und Audio werden potenziell sensible Daten (Gesichter, Stimmen, Dokumente) an Cloud-Dienste übermittelt.

Multimodale LLMs im Unternehmenseinsatz

Für Unternehmen bieten multimodale Modelle einen konkreten Mehrwert, wenn Arbeitsprozesse nicht rein textbasiert sind. Typische Szenarien:

• Automatische Erfassung und Auswertung von Rechnungen, Lieferscheinen oder Belegen aus Fotos und Scans
• Analyse von Produktfotos für Qualitätskontrolle oder Katalogbeschreibungen
• Auswertung von Bildschirmfotos bei IT-Support-Anfragen
• Transkription und Zusammenfassung von Meetings und Telefonaten
• Beschreibung von Website-Inhalten für SEO und Barrierefreiheit

Vor dem Einsatz sollten Sie prüfen, welche Modalitäten Sie tatsächlich benötigen, ob die Verarbeitung den Datenschutzanforderungen Ihres Unternehmens entspricht und ob die Genauigkeit für den jeweiligen Anwendungsfall ausreicht.

Fazit

Multimodale LLMs erweitern die Fähigkeiten klassischer Sprachmodelle um das Verständnis von Bildern, Audio und Video. Damit rücken Aufgaben in den Bereich der KI, die zuvor manuelle Bearbeitung erforderten – von der Dokumentenanalyse über die technische Unterstützung bis zur Barrierefreiheit. Die Technologie entwickelt sich schnell weiter, und die Grenzen zwischen den einzelnen Modalitäten verschwimmen zunehmend.