Lokale LLM-Chatbots auf Embedded Hardware
Bachelorarbeit: Effiziente lokale Ausführung von LLM-basierten Chatbots auf dem Raspberry Pi 5 – Vergleich von llama.cpp und TinyChatEngine (AWQ) hinsichtlich Inferenzgeschwindigkeit, Speicher, Energieverbrauch und Modellgüte.
Projektbeschreibung
Die Arbeit untersucht, ob lokale LLM-Inferenz auf CPU-basierter Embedded Hardware praxistauglich ist. Verglichen werden TinyChatEngine (MIT Han Lab, AWQ-Quantisierung) und llama.cpp (GGUF, Q4_K_M). Da der Raspberry Pi 5 keine integrierte Leistungsmessung bietet, wurde eine externe Messinfrastruktur mit einem ESP32-Mikrocontroller und zwei INA219-Stromsensoren entwickelt. Ein FastAPI-Proxy (LLMProxy) abstrahiert beide Backends hinter einer OpenAI-kompatiblen Schnittstelle und erfasst Metriken pro Request. Modellgüte wird anhand MMLU, MATH500 und TinyBenchmarks bewertet.
Highlights
- llama.cpp (Q4_K_M) erreicht 2,1–2,3 tok/s auf dem Raspberry Pi 5
- TinyChatEngine (AWQ) erzielt 0,5–1,6 tok/s – konsistent langsamer
- 1B- und 3–5B-Modelle überschreiten den 3 tok/s Interaktions-Schwellenwert
- Externe Leistungsmessung via ESP32 + INA219 + InfluxDB/Grafana
- OpenAI-kompatibler LLMProxy für automatisierte Benchmarks (FastAPI)
- Evaluation: MMLU, MATH500, TinyBenchmarks, LocalScore
Technologien
Kategorie
KI / ML
Zeitraum
2025–2026
Bachelorarbeit
PDF · 2.8 MB