ARES: Sicherheitsverbesserung für LLMs

Das Papier präsentiert ARES, ein Framework zur systematischen Entdeckung und Beseitigung von Schwachstellen in Policy-Reward-Systemen von Large Language Models (LLMs). Durch die Verwendung eines „Safety Mentors“, der semantisch zusammenhängende feindliche Anfragen generiert, werden sowohl das Kernmodell als auch das Reward Model auf Sicherheitslücken untersucht und optimiert. ARES stellt einen neuen Ansatz für eine umfassendere Sicherheit in RLHF dar, indem es die Fähigkeit des Modells zur Erkennung schädlichen Inhalts verbessert und gleichzeitig dessen Leistungsfähigkeit erhält.