Wenn Rüdiger so gut ist, wo ist dann Rüdiger2?
  • Common Lisp 60.8%
  • Python 29.1%
  • JavaScript 6.9%
  • CSS 2.1%
  • HTML 0.6%
  • Other 0.5%
Find a file
Der König eb7512e518
All checks were successful
/ test (push) Successful in 2m39s
/ package (push) Has been skipped
Web: filter search by person and chat, show user ids
A filter panel next to the search box picks the chat and a person (name,
@username or user id, with suggestions from /api/users). With a person set
the search text may be empty, listing all their messages newest first.
Clicking a sender's name shows a card with the user id and links to their
messages; ids also appear in tooltips, chat ids in the chat filter.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-08 16:11:48 +01:00
.forgejo/workflows Add Forgejo CI and Debian packaging 2026-11-04 22:13:53 +01:00
example Add RAG: earlier conversations from PostgreSQL + pgvector 2026-11-08 15:46:22 +01:00
packaging Add Forgejo CI and Debian packaging 2026-11-04 22:13:53 +01:00
pipeline Add RAG: earlier conversations from PostgreSQL + pgvector 2026-11-08 15:46:22 +01:00
src Web: filter search by person and chat, show user ids 2026-11-08 16:11:48 +01:00
test Web: filter search by person and chat, show user ids 2026-11-08 16:11:48 +01:00
web Web: filter search by person and chat, show user ids 2026-11-08 16:11:48 +01:00
.gitignore Add Forgejo CI and Debian packaging 2026-11-04 22:13:53 +01:00
build.lisp Bot core: dispatch, handlers, KV store, cron, message log 2026-11-04 21:39:15 +01:00
Makefile Add Forgejo CI and Debian packaging 2026-11-04 22:13:53 +01:00
README.md Web: filter search by person and chat, show user ids 2026-11-08 16:11:48 +01:00
ruediger2.asd Add RAG: earlier conversations from PostgreSQL + pgvector 2026-11-08 15:46:22 +01:00
systems.csv Add RAG: earlier conversations from PostgreSQL + pgvector 2026-11-08 15:46:22 +01:00

Rüdiger2

Telegram-Bot in Common Lisp. Message-Handler werden in einer Lisp-Config definiert, dazu kommen ein KV-Store für Zustand und Cron-Jobs. Dazu kommt ein lokales LLM („RüdigerGPT"), das die Leute im Chat über Steckbriefe kennt und sich per RAG an frühere Gespräche erinnert.

Entwicklung

Voraussetzungen: SBCL, ocicl.

make deps    # ocicl install (Versionen aus systems.csv)
make test    # fiveam-Suite
make build   # bin/ruediger2

Der RAG-Test gegen eine echte Datenbank läuft nur mit RUEDIGER2_TEST_PG=postgresql://user@host:port/db (pgvector nötig). Er löscht dort rag_chunks und rag_state!

Starten

RUEDIGER2_TOKEN=... bin/ruediger2 /pfad/zur/config.lisp

Der Config-Pfad kommt aus dem Argument, sonst aus $RUEDIGER2_CONFIG, sonst aus ~/.config/ruediger2/config.lisp. Ein Beispiel mit allen Bausteinen (Regex-Handler, Medien-Antworten, KV-Store, Hintergrund-Jobs, Cron) liegt in example/config.lisp. Admins können die Config im Chat mit /reload neu laden.

Jedes Update geht wie beim alten Bot per HTTP-POST an den Logstash-HTTP-Input (:message-log): das innere Objekt plus "@type". Edits landen als eigene Dokumente. Auch die Nachrichten des Bots selbst werden geloggt. Ist Logstash nicht erreichbar, puffert eine Queue im Speicher und versucht es später erneut. Elasticsearch (:elasticsearch) liest der Bot nur, für Verlauf und RAG.

Web-Frontend

Mit :web in der Config startet der Bot einen Webserver (Standard 127.0.0.1:8090). Er zeigt den Chatverlauf aus Elasticsearch an: links die Chatliste, rechts der Verlauf mit Nachladen beim Scrollen und Sprung zu einem Datum, dazu eine Volltextsuche in einem Chat oder in allen. Der Filter neben dem Suchfeld schränkt auf einen Chat und eine Person ein (Name, @username oder User-ID, mit Vorschlägen). Mit gesetzter Person darf der Suchtext leer sein, dann erscheinen alle ihre Nachrichten, die neuesten zuerst. Ein Klick auf einen Absendernamen zeigt dessen User-ID und führt zu seinen Nachrichten. Die Chat-ID steht im Tooltip der Chatliste und im Chat-Filter. Fotos und Sticker holt er über die Bot-API (getFile) und speichert sie in <state-dir>/media/. Was Telegram nicht mehr kennt, erscheint als Platzhalter.

Die Anmeldung läuft über login.fagott.pw (OAuth2-Code-Flow). Ohne :oauth bleibt das Frontend aus. Die App wird dort mit der Redirect-URL <base-url>/auth/callback registriert. :users schränkt die erlaubten Logins ein, :chats die sichtbaren Chats. Siehe example/config.lisp und src/web.lisp.

Lokal ohne Login-Server:

:web '(:no-auth t :port 8090)   ; nur auf 127.0.0.1/::1 erlaubt

Beim Arbeiten am Frontend liefert :assets-dir "web/" die Dateien direkt von der Platte aus, ohne Neubau. Im Binary sind sie eingebettet.

Hinter Caddy:

chat.fagott.pw {
    reverse_proxy 127.0.0.1:8090
}

RüdigerGPT

Der eingebaute Handler ruediger-gpt (Priorität 1000, also nach allen Config-Handlern) antwortet in den Chats aus :gpt-chats:

  • wenn jemand den Bot anspricht (@username, ein Name aus :bot-names oder ein Reply auf ihn),
  • sonst zufällig mit :random-reply-probability, frühestens :cooldown-seconds nach seiner letzten Antwort.

Der Prompt besteht aus :persona plus festen Regeln (*gpt-rules* in src/gpt.lisp), Datum und Uhrzeit, den Steckbriefen aus :profiles-file (Absender, erwähnte Personen per Name oder Alias, Schreiber im Verlauf) und den letzten Nachrichten aus Elasticsearch. Was nicht in den Kontext passt, fällt weg, die ältesten Nachrichten zuerst. profiles.json wird neu geladen, sobald sich die Datei ändert. Ohne Datei oder ohne Elasticsearch antwortet er trotzdem, nur ohne dieses Wissen.

Die Antwort entsteht in einem eigenen Thread. Währenddessen zeigt der Chat „schreibt…“. Pro Chat läuft höchstens eine Antwort, weitere Trigger in der Zeit verfallen.

Mit :rag-db sucht er zusätzlich frühere Gespräche heraus, siehe RAG.

Achtung: Config-Handler mit kleinerer Priorität gewinnen. Der frage-Handler aus dem Beispiel fängt zum Beispiel alle Fragen an „Rüdiger …?“ ab.

llama-server auf dem Bot-Host

CPU-Betrieb, ca. 3 GB RAM. llama.cpp bauen oder ein Release-Binary nehmen, dann z.B. als systemd-Unit:

[Unit]
Description=llama-server for Rüdiger2
After=network.target

[Service]
DynamicUser=yes
StateDirectory=llama
Environment=LLAMA_CACHE=/var/lib/llama
ExecStart=/usr/local/bin/llama-server -hf unsloth/Qwen3-4B-Instruct-2507-GGUF:Q4_K_M \
  -c 6144 -np 1 --cache-type-k q8_0 --cache-type-v q8_0 --jinja \
  --host 127.0.0.1 --port 8080
Restart=on-failure

[Install]
WantedBy=multi-user.target

-hf lädt das Modell beim ersten Start herunter. Ohne Internet auf dem Host: die GGUF-Datei hinkopieren und -m /pfad/Qwen3-4B-Instruct-2507-Q4_K_M.gguf nehmen. -c muss zu :context in :llm passen. Auf der CPU dauert eine Antwort je nach Prompt-Länge einige zehn Sekunden. Wird es zu langsam, hilft weniger Verlauf (:history pro Chat, :history-tokens in :llm).

RAG

Frühere Gespräche liegen als kleine Gesprächsfenster (~150–380 Tokens) mit Embedding in PostgreSQL mit pgvector (Tabellen rag_chunks, rag_state). Für jede Antwort bettet der Bot die aktuelle Nachricht plus die zwei davor ein. Er sucht per Vektor und per Volltext (german) und führt beides per Reciprocal Rank Fusion in einer SQL-Abfrage zusammen. Die besten Treffer (:results, höchstens :tokens) kommen in den Prompt. Gesucht wird nur in Gesprächen, die vor dem Verlauf im Prompt enden, und nur in den :knowledge-chats des Chats (Standard: der Chat selbst).

Den ersten Index baut die Pipeline auf dem 1070-Rechner (python -m ruediger2_pipeline rag, siehe pipeline/README.md). Danach indexiert der Bot selbst weiter: Alle :index-interval Sekunden holt er die Nachrichten nach rag_state aus Elasticsearch, bildet Fenster nach denselben Regeln wie die Pipeline und schreibt die abgeschlossenen Gespräche dazu. Ein Gespräch gilt als abgeschlossen, wenn seit der letzten Nachricht 30 Minuten vergangen sind. Nach einem pg_restore macht er so ab dem Stand des Dumps weiter. Ohne Eintrag in rag_state indexiert er einen Chat nicht.

Embedding-Modell und Quantisierung müssen auf beiden Seiten gleich sein. Jeder Chunk speichert seinen :model-Namen. Passt der nicht zur Config, schaltet der Bot RAG ab und meldet das im Log.

Server einrichten

-- als postgres
CREATE ROLE ruediger2 LOGIN PASSWORD '...';
CREATE DATABASE ruediger2 OWNER ruediger2;
\c ruediger2
CREATE EXTENSION vector;

Das Passwort kommt per RUEDIGER2_PG_PASSWORD in /etc/ruediger2/env. Dump vom 1070-Rechner einspielen:

pg_restore --clean --if-exists --no-owner --role=ruediger2 -d ruediger2 rag.dump

Dazu ein zweiter llama-server für die Query-Embeddings, mit derselben GGUF-Datei wie in der Pipeline (~0,3 GB RAM):

llama-server -m multilingual-e5-base-q8_0.gguf --embedding --pooling mean \
  -c 4096 -np 8 -b 4096 -ub 512 --host 127.0.0.1 --port 8081

Als systemd-Unit wie oben, nur mit diesem ExecStart.

Pipeline

Die Steckbrief-Pipeline (Python) liegt in pipeline/.

Paket und Deployment

Forgejo (.forgejo/workflows/package.yml) testet jeden Push. Ein Tag v* baut zusätzlich fagott-ruediger2_<version>_amd64.deb und lädt es in die Debian-Registry (testing/main):

git tag v0.1.0 && git push origin v0.1.0

Lokal: make debian VERSION=0.1.0 DESTDIR=package PREFIX=/usr (braucht dpkg-deb).

Das Paket installiert /usr/bin/ruediger2, die systemd-Unit ruediger2.service und einen Systemnutzer ruediger2 über sysusers. Der Zustand (KV-Store) liegt in /var/lib/ruediger2. Einrichtung auf dem Host:

cp /usr/share/doc/fagott-ruediger2/config.example.lisp /etc/ruediger2/config.lisp   # anpassen
printf 'RUEDIGER2_TOKEN=...\nELASTIC_USER=user:pass\n' > /etc/ruediger2/env
chown root:ruediger2 /etc/ruediger2/env && chmod 640 /etc/ruediger2/env
systemctl enable --now ruediger2