AnythingLLM
Open-Source-App von Mintplex Labs, mit der du per RAG mit eigenen Dokumenten chattest – lokal am Rechner, per Docker oder in der Cloud.
Was es kann
AnythingLLM lädt deine Dokumente in Arbeitsbereiche, zerlegt sie in Vektoren und beantwortet Fragen auf Basis dieser Inhalte. Als Sprachmodell nutzt du wahlweise ein lokales Modell (etwa über Ollama oder LM Studio) oder einen Cloud-Anbieter wie OpenAI, Anthropic oder Mistral. Dazu kommen Agenten mit Fähigkeiten wie Websuche, Web-Scraping, SQL-Abfragen und Dateizugriff, MCP-Anbindung, eine API, einbettbare Chat-Widgets für Websites sowie in der Desktop-App ein Meeting-Assistent, der Gespräche auf dem Gerät transkribiert.
Für wen es passt
Für Teams und Einzelne, die interne Unterlagen durchsuchbar machen wollen, ohne sie bei einem fremden Dienst hochzuladen. Die Docker-Version eignet sich für den eigenen Server mit mehreren Nutzern und Rechtevergabe.
Datenschutz im Unternehmen
In der Desktop-App bleiben Chats und Dokumente laut Anbieter auf deinem Gerät; übertragen wird nur anonyme Telemetrie, die du in den Einstellungen abschaltest. Ein Training mit deinen Inhalten sieht der Anbieter nicht vor – nutzt du ein Cloud-Modell, gelten aber dessen Regeln. Die Cloud-Tarife laufen auf isolierten AWS-Instanzen; eine Region in Europa nennt der Anbieter nicht. Einen Auftragsverarbeitungsvertrag nennt der Anbieter nicht. Wer volle Kontrolle braucht, betreibt AnythingLLM selbst oder fragt den Enterprise-Tarif mit On-Premise-Betrieb, SSO und Rollenrechten an.
Grenzen
Die Cloud-Instanzen haben kein eingebautes Modell, keine MCP-Unterstützung und keine eigenen Agenten; große PDFs bringen sie teils an ihre Grenzen. Lokale Modelle brauchen leistungsfähige Hardware.