AGCLR für kontinuierliches Latent Reasoning

Das Paper „Why Limit the Residual Stream to Layers and Not Tokens?“ von Farhan und Chaudhary präsentiert AGCLR, eine Methode zur Verbesserung der latenten Schlussfolgerungen in großen Sprachmodellen. Durch die Einführung eines persistenten Gedächtnisses mit drei gelernten Gattern (Write-, Read- und Forget-Gatter) wird das sogenannte „Concept Bottleneck“ überwunden, bei dem wichtige Informationen während des Schlussprozesses verloren gehen. AGCLR führt zu konsistenten Leistungssteigerungen in verschiedenen Aufgabenbereichen wie HotpotQA und GSM8K.