LLM-Workflows Optimierung

Dieser wissenschaftliche Artikel untersucht die grundlegenden Handelsabkommen zwischen Latenz, Zuverlässigkeit und Kosten in agilen Workflows, die große Sprachmodelle (LLMs) nutzen. Die Autoren präsentieren Leistungsmodelle für LLM- und nicht-LLM-Agents, die den Zusammenhang zwischen Rechenleistung und Ausgabequalität erfassen. Sie untersuchen sequentielle Workflows unter Latenz- und Kostenbeschränkungen und entwickeln eine Wasserfüllungstoken-Allokationsrichtlinie sowie Charakterisierungen der optimalen Workflow-Zuverlässigkeit in Bezug auf Schattenpreise.