- Common Lisp 60.8%
- Python 29.1%
- JavaScript 6.9%
- CSS 2.1%
- HTML 0.6%
- Other 0.5%
A filter panel next to the search box picks the chat and a person (name, @username or user id, with suggestions from /api/users). With a person set the search text may be empty, listing all their messages newest first. Clicking a sender's name shows a card with the user id and links to their messages; ids also appear in tooltips, chat ids in the chat filter. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> |
||
|---|---|---|
| .forgejo/workflows | ||
| example | ||
| packaging | ||
| pipeline | ||
| src | ||
| test | ||
| web | ||
| .gitignore | ||
| build.lisp | ||
| Makefile | ||
| README.md | ||
| ruediger2.asd | ||
| systems.csv | ||
Rüdiger2
Telegram-Bot in Common Lisp. Message-Handler werden in einer Lisp-Config definiert, dazu kommen ein KV-Store für Zustand und Cron-Jobs. Dazu kommt ein lokales LLM („RüdigerGPT"), das die Leute im Chat über Steckbriefe kennt und sich per RAG an frühere Gespräche erinnert.
Entwicklung
Voraussetzungen: SBCL, ocicl.
make deps # ocicl install (Versionen aus systems.csv)
make test # fiveam-Suite
make build # bin/ruediger2
Der RAG-Test gegen eine echte Datenbank läuft nur mit RUEDIGER2_TEST_PG=postgresql://user@host:port/db (pgvector nötig). Er löscht dort rag_chunks und rag_state!
Starten
RUEDIGER2_TOKEN=... bin/ruediger2 /pfad/zur/config.lisp
Der Config-Pfad kommt aus dem Argument, sonst aus $RUEDIGER2_CONFIG, sonst aus ~/.config/ruediger2/config.lisp. Ein Beispiel mit allen Bausteinen (Regex-Handler, Medien-Antworten, KV-Store, Hintergrund-Jobs, Cron) liegt in example/config.lisp. Admins können die Config im Chat mit /reload neu laden.
Jedes Update geht wie beim alten Bot per HTTP-POST an den Logstash-HTTP-Input (:message-log): das innere Objekt plus "@type". Edits landen als eigene Dokumente. Auch die Nachrichten des Bots selbst werden geloggt. Ist Logstash nicht erreichbar, puffert eine Queue im Speicher und versucht es später erneut. Elasticsearch (:elasticsearch) liest der Bot nur, für Verlauf und RAG.
Web-Frontend
Mit :web in der Config startet der Bot einen Webserver (Standard 127.0.0.1:8090). Er zeigt den Chatverlauf aus Elasticsearch an: links die Chatliste, rechts der Verlauf mit Nachladen beim Scrollen und Sprung zu einem Datum, dazu eine Volltextsuche in einem Chat oder in allen. Der Filter neben dem Suchfeld schränkt auf einen Chat und eine Person ein (Name, @username oder User-ID, mit Vorschlägen). Mit gesetzter Person darf der Suchtext leer sein, dann erscheinen alle ihre Nachrichten, die neuesten zuerst. Ein Klick auf einen Absendernamen zeigt dessen User-ID und führt zu seinen Nachrichten. Die Chat-ID steht im Tooltip der Chatliste und im Chat-Filter. Fotos und Sticker holt er über die Bot-API (getFile) und speichert sie in <state-dir>/media/. Was Telegram nicht mehr kennt, erscheint als Platzhalter.
Die Anmeldung läuft über login.fagott.pw (OAuth2-Code-Flow). Ohne :oauth bleibt das Frontend aus. Die App wird dort mit der Redirect-URL <base-url>/auth/callback registriert. :users schränkt die erlaubten Logins ein, :chats die sichtbaren Chats. Siehe example/config.lisp und src/web.lisp.
Lokal ohne Login-Server:
:web '(:no-auth t :port 8090) ; nur auf 127.0.0.1/::1 erlaubt
Beim Arbeiten am Frontend liefert :assets-dir "web/" die Dateien direkt von der Platte aus, ohne Neubau. Im Binary sind sie eingebettet.
Hinter Caddy:
chat.fagott.pw {
reverse_proxy 127.0.0.1:8090
}
RüdigerGPT
Der eingebaute Handler ruediger-gpt (Priorität 1000, also nach allen Config-Handlern) antwortet in den Chats aus :gpt-chats:
- wenn jemand den Bot anspricht (
@username, ein Name aus:bot-namesoder ein Reply auf ihn), - sonst zufällig mit
:random-reply-probability, frühestens:cooldown-secondsnach seiner letzten Antwort.
Der Prompt besteht aus :persona plus festen Regeln (*gpt-rules* in src/gpt.lisp), Datum und Uhrzeit, den Steckbriefen aus :profiles-file (Absender, erwähnte Personen per Name oder Alias, Schreiber im Verlauf) und den letzten Nachrichten aus Elasticsearch. Was nicht in den Kontext passt, fällt weg, die ältesten Nachrichten zuerst. profiles.json wird neu geladen, sobald sich die Datei ändert. Ohne Datei oder ohne Elasticsearch antwortet er trotzdem, nur ohne dieses Wissen.
Die Antwort entsteht in einem eigenen Thread. Währenddessen zeigt der Chat „schreibt…“. Pro Chat läuft höchstens eine Antwort, weitere Trigger in der Zeit verfallen.
Mit :rag-db sucht er zusätzlich frühere Gespräche heraus, siehe RAG.
Achtung: Config-Handler mit kleinerer Priorität gewinnen. Der frage-Handler aus dem Beispiel fängt zum Beispiel alle Fragen an „Rüdiger …?“ ab.
llama-server auf dem Bot-Host
CPU-Betrieb, ca. 3 GB RAM. llama.cpp bauen oder ein Release-Binary nehmen, dann z.B. als systemd-Unit:
[Unit]
Description=llama-server for Rüdiger2
After=network.target
[Service]
DynamicUser=yes
StateDirectory=llama
Environment=LLAMA_CACHE=/var/lib/llama
ExecStart=/usr/local/bin/llama-server -hf unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M \
-c 6144 -np 1 --cache-type-k q8_0 --cache-type-v q8_0 --jinja \
--host 127.0.0.1 --port 8080
Restart=on-failure
[Install]
WantedBy=multi-user.target
-hf lädt das Modell beim ersten Start herunter. Ohne Internet auf dem Host: die GGUF-Datei hinkopieren und -m /pfad/Qwen3-4B-Instruct-2507-Q4_K_M.gguf nehmen. -c muss zu :context in :llm passen. Auf der CPU dauert eine Antwort je nach Prompt-Länge einige zehn Sekunden. Wird es zu langsam, hilft weniger Verlauf (:history pro Chat, :history-tokens in :llm).
RAG
Frühere Gespräche liegen als kleine Gesprächsfenster (~150–380 Tokens) mit Embedding in PostgreSQL mit pgvector (Tabellen rag_chunks, rag_state). Für jede Antwort bettet der Bot die aktuelle Nachricht plus die zwei davor ein. Er sucht per Vektor und per Volltext (german) und führt beides per Reciprocal Rank Fusion in einer SQL-Abfrage zusammen. Die besten Treffer (:results, höchstens :tokens) kommen in den Prompt. Gesucht wird nur in Gesprächen, die vor dem Verlauf im Prompt enden, und nur in den :knowledge-chats des Chats (Standard: der Chat selbst).
Den ersten Index baut die Pipeline auf dem 1070-Rechner (python -m ruediger2_pipeline rag, siehe pipeline/README.md). Danach indexiert der Bot selbst weiter: Alle :index-interval Sekunden holt er die Nachrichten nach rag_state aus Elasticsearch, bildet Fenster nach denselben Regeln wie die Pipeline und schreibt die abgeschlossenen Gespräche dazu. Ein Gespräch gilt als abgeschlossen, wenn seit der letzten Nachricht 30 Minuten vergangen sind. Nach einem pg_restore macht er so ab dem Stand des Dumps weiter. Ohne Eintrag in rag_state indexiert er einen Chat nicht.
Embedding-Modell und Quantisierung müssen auf beiden Seiten gleich sein. Jeder Chunk speichert seinen :model-Namen. Passt der nicht zur Config, schaltet der Bot RAG ab und meldet das im Log.
Server einrichten
-- als postgres
CREATE ROLE ruediger2 LOGIN PASSWORD '...';
CREATE DATABASE ruediger2 OWNER ruediger2;
\c ruediger2
CREATE EXTENSION vector;
Das Passwort kommt per RUEDIGER2_PG_PASSWORD in /etc/ruediger2/env. Dump vom 1070-Rechner einspielen:
pg_restore --clean --if-exists --no-owner --role=ruediger2 -d ruediger2 rag.dump
Dazu ein zweiter llama-server für die Query-Embeddings, mit derselben GGUF-Datei wie in der Pipeline (~0,3 GB RAM):
llama-server -m multilingual-e5-base-q8_0.gguf --embedding --pooling mean \
-c 4096 -np 8 -b 4096 -ub 512 --host 127.0.0.1 --port 8081
Als systemd-Unit wie oben, nur mit diesem ExecStart.
Pipeline
Die Steckbrief-Pipeline (Python) liegt in pipeline/.
Paket und Deployment
Forgejo (.forgejo/workflows/package.yml) testet jeden Push. Ein Tag v* baut zusätzlich fagott-ruediger2_<version>_amd64.deb und lädt es in die Debian-Registry (testing/main):
git tag v0.1.0 && git push origin v0.1.0
Lokal: make debian VERSION=0.1.0 DESTDIR=package PREFIX=/usr (braucht dpkg-deb).
Das Paket installiert /usr/bin/ruediger2, die systemd-Unit ruediger2.service und einen Systemnutzer ruediger2 über sysusers. Der Zustand (KV-Store) liegt in /var/lib/ruediger2. Einrichtung auf dem Host:
cp /usr/share/doc/fagott-ruediger2/config.example.lisp /etc/ruediger2/config.lisp # anpassen
printf 'RUEDIGER2_TOKEN=...\nELASTIC_USER=user:pass\n' > /etc/ruediger2/env
chown root:ruediger2 /etc/ruediger2/env && chmod 640 /etc/ruediger2/env
systemctl enable --now ruediger2