Das KI-Vokabular · 01 Das Modell

Was ist RLHF?

Bestärkendes Lernen aus menschlichem Feedback: Menschen ordnen Antworten eines Modells, und das Modell lernt, Antworten zu geben, die Menschen bevorzugen.

Fortgeschritten

RLHF ist ein Schritt des Nachtrainings. Menschen vergleichen mehrere Antworten auf dieselbe Anfrage und bringen sie in eine Reihenfolge. Danach wird das Modell per Reinforcement Learning weitertrainiert, sodass besser bewertete Antworten wahrscheinlicher werden.

Bekannt wurde das Verfahren durch OpenAIs InstructGPT-Paper von 2022. Ein so trainiertes Modell mit 1,3 Mrd. Parametern wurde dem GPT-3 mit 175 Mrd. Parametern vorgezogen, seine Antworten waren wahrheitsgetreuer und weniger toxisch, einfache Fehler machte es trotzdem.

Warum es für dich wichtig ist

RLHF ist ein großer Grund, warum Chatbots hilfsbereit und höflich klingen. Es hat Nebenwirkungen: Ein Modell, das auf menschliche Zustimmung trainiert wurde, kann lernen, Menschen nach dem Mund zu reden. Das nennt man Sycophancy.

Own it

Wenn ein Modell dir zu schnell zustimmt, bitte es, die Gegenposition zu vertreten oder die Schwächen deines Plans aufzulisten. Nimm Freundlichkeit als Stil und prüf den Inhalt.

Verwandt