Unvorhersehbarkeit von LLMs

Die Studie untersucht die numerische Instabilität und Chaos in großen Sprachmodellen, die zu unerwarteten Ergebnissen führen können. Durch eine detaillierte Analyse der Auswirkungen von Rundungsfehlern auf die Transformer-Schichten identifizieren die Autoren drei Regime: ein stabiles, chaotisches und ein signaldominiertes. Diese Untersuchung hat tiefe Implikationen für die Verlässlichkeit und Kontrolle solcher Modelle in agilen Arbeitsabläufen und deren langfristige Auswirkungen auf Gesellschaft und Technologie.