Das KI-Vokabular · 03 Mit KI arbeiten
Was ist Multimodal?
Ein Modell, das mit mehr als Text arbeitet: Bilder, Audio, Video, Dokumente.
Ein multimodales Modell kann mehr als eine Art von Daten aufnehmen und manchmal auch erzeugen. Viele aktuelle Sprachmodelle können Fotos, Screenshots, Diagramme, gescannte PDFs und Handschrift lesen, und manche können zuhören, sprechen oder Bilder erzeugen.
Das eröffnet praktische Einsätze: ein Whiteboard-Foto in Notizen verwandeln, Daten aus Rechnungen auslesen, ein Diagramm beschreiben, einen Design-Screenshot prüfen. Es gilt dieselbe Vorsicht wie bei Text: Das Modell kann kleine Zahlen oder Details falsch lesen, also prüf, was wichtig ist.
Warum es für dich wichtig ist
Viele Alltagsaufgaben sind kein reiner Text. Bevor du ein eigenes Tool fürs Scannen, Transkribieren oder Bildbeschreiben kaufst, prüf, ob der Assistent, den du schon nutzt, das kann.
Own it
Bilder und Aufnahmen enthalten oft mehr persönliche Daten, als du denkst, etwa Gesichter, Stimmen und Dokumente im Hintergrund. Leg fest, was hochgeladen werden darf und wo es verarbeitet wird.
Woher es kommt
„Multimodal“ wird in der Forschung schon lange für Systeme verwendet, die mehrere Arten von Daten kombinieren, etwa Text, Bilder und Ton. Zwei Meilensteine brachten es in den KI-Alltag: OpenAIs CLIP lernte 2021, Bilder mit Text zu verbinden, und GPT-4 akzeptierte 2023 in einem breit genutzten Assistenten Bilder als Eingabe. Heute ist das Lesen von Bildern und Dokumenten eine Standardfunktion der meisten großen Modelle.
Verwandt
Your AI Learning Hub
Lern das ganze KI-Vokabular, Schritt für Schritt, und bau damit. Build it. Own it.