Zum Inhalt springen

Claude Science mit anderen Modellen nutzen

Claude Science muss seine Modelle nicht aus Anthropics Cloud beziehen: ein lokaler Gateway übersetzt zwischen App und einem Anbieter der Wahl bzw. lokaler Inferenz.

Claude Science ist Anthropics Workbench für wissenschaftliche Analysen: persistente Python- und R-Kernels, versionierte Artefakte, Anbindung an Literaturdatenbanken von Haus aus usw. Die App ist an einen Claude-Account mit Abo gebunden, und die Modelle kommen aus Anthropics Cloud. Dachte ich zumindest mit dem zweiten Teil. Stimmt nicht: Die Inferenz lässt sich auf Modelle meiner Wahl umleiten.

Warum dieser Weg?

Mir fallen mehrere Gründe ein, warum ich mir eine freie Modellwahl (offene Gewichte statt Claude) wünsche:

  1. Die Verarbeitung soll ohne US-Cloud-Act-Exposure in der EU oder lokal auf meinen Servern bleiben, denn ich möchte volle Kontrolle über meine Daten.
  2. Ich möchte auch andere spannende Modelle testen, weil ich neugierig bin.
  3. Ich wünsche mir blitzschnelle Inferenz.
  4. Ich kann Claudes Sprachstil nicht mehr ertragen.
  5. Ich habe einen Anbieter mit geringeren Kosten gefunden.

Wie es geht

Die offizielle Claude-Science-Doku listet die Umgebungsvariablen der App vollständig auf: DO_NOT_TRACK, GITHUB_TOKEN und die Proxy-Variablen. Ein Endpoint-Override fehlt.

Claude Science liegt als App mit einem 122 MB großen CLI-Binary vor (~/.claude-science/bin/claude-science). Ein Blick in die enthaltenen Zeichenketten zeigt:

strings ~/.claude-science/bin/claude-science | grep ANTHROPIC_BASE_URL

Der Daemon bettet das Anthropic-TypeScript-SDK ein, und dieses SDK liest ANTHROPIC_BASE_URL als Standardwert. Wichtiger ist eine eigene Funktion des Daemons (anthropicBaseUrl()), die die Variable auswertet, auf HTTPS prüft und Ausnahmen für lokale Adressen zulässt.

Die Technik funktioniert mit jedem Anbieter, der Anthropics Messages-API (POST /v1/messages) implementiert, oder mit eigener lokaler Inferenz hinter einem solchen Endpoint.

Was zwischen App und Anbieter liegen muss

Eine direkte Umleitung reicht nicht. Im Test mit einem echten Anbieter gab es drei Stellen, an denen sich die beiden Seiten nicht verstanden, und für jede eine Lösung, die in einem kleinen Übersetzer-Skript auf meinem Rechner landet:

  1. Anmeldung: App und Anbieter erwarten den Zugangsschlüssel in unterschiedlicher Form. Der Übersetzer setzt ihn ins richtige Format.
  2. Eingebaute Funktionen: Die App schickt Anthropic-eigene Zusatzfunktionen mit, die andere Anbieter nicht kennen. Der Übersetzer lässt sie weg. Der Preis: Die eingebaute Websuche des Agenten entfällt; freigegebene Datenbanken und eigene API-Abrufe bleiben davon unberührt.
  3. Modellnamen: Die App fragt Modelle unter Anthropic-Namen an. Der Übersetzer ersetzt sie durch die Modelle, die tatsächlich gebucht sind. Damit stimmt auch die Modellwahl im Auswahlfenster der App.

Die Bauanleitung

Technisch habe ich das nicht selbst gebaut, und ich verstehe auch nicht jede Zeile davon. Ich muss das auch nicht. Mein AI-Agent hat es erarbeitet. Was dabei herausgekommen ist, lässt sich so zusammenfassen, dass jedes andere KI-Modell es nachbauen kann:

Baue zwischen der Claude-Science-App und dem Endpoint eines Anbieters, der Anthropics Messages-API spricht, einen kleinen lokalen Übersetzer (Proxy). Er muss vier Dinge tun: den Zugangsschlüssel ins Format des Anbieters übersetzen, die Anthropic-eigenen Server-Tools aus den Anfragen entfernen, die angefragten Modellnamen auf die gebuchten Modelle abbilden und die Modell-Liste, die die App abruft, mit den gewünschten Modellen beantworten. Der Schlüssel liegt in einer nur für mich lesbaren Datei. Die App wird mit zwei Umgebungsvariablen gestartet: der Adresse des Übersetzers und dem Schlüssel. Ohne diese Variablen gestartet, läuft alles wie vorher über Anthropic; der Rückweg bleibt immer offen.

Wie sicher ist das?

Lokal bleibt die Sandbox unberührt. Ordner- und Netzwerkfreigaben, Ausführungsgenehmigungen und Artefakte ändern sich durch den Proxy nicht.

Der Übersetzer liest jeden Request im Klartext. Er muss den Inhalt sehen, um Modellnamen und mitgeschickte Funktionen umzuschreiben. Für Prompts und Analyseergebnisse ist er damit eine Vertrauensstelle auf dem eigenen Rechner: Wer das Skript nicht selbst geprüft hat, sollte keine sensiblen Daten durch es schicken. Für Patientendaten gilt eine harte Grenze: Ein Modellanbieter, der Prompts mit Patientenbezug sieht, ist eine mitwirkende Person im Sinne des § 203 Abs. 3 StGB und muss neben dem Auftragsverarbeitungsvertrag nach Art. 28 DSGVO gesondert zur Verschwiegenheit verpflichtet werden. Beides muss vertraglich stehen, bevor solche Daten durch die Kette gehen.

Die Modellverarbeitung wandert von Anthropic zum gewählten Anbieter. Ob damit die US-Cloud-Act-Exposure verschwindet, hängt vom Anbieter ab; EU-Hosting oder lokale Inferenz erfüllen das. Die Sorgfalt bleibt beim Nutzer: Wer verarbeitet meine Prompts, wo, mit welcher Retention?

Grenzen, die bleiben

Vier Einschränkungen bleiben bestehen: Die Umleitung beruht auf einer undokumentierten Eigenschaft einer Beta-App; ein Update kann sie brechen. Die eingebaute Websuche des Agenten ist weg, aber das soll mir recht sein; wer sie braucht, gibt ihr die Literatur-Domänen über die Netzwerk-Freigaben frei und arbeitet mit Abrufen aus der Sandbox. Und die Provenance der Artefakte stimmt nicht mehr: Die App schreibt in jedes Artefakt, mit welchem Modell es entstanden ist; nach der Umleitung steht dort der Anthropic-Name, gerechnet hat ein anderes Modell. Für eine Workbench, deren Punkt Auditierbarkeit ist, wiegt das. Wer die Kette weiter nutzt, sollte den echten Provider im Übersetzer protokollieren und die Artefaktbeschreibung entsprechend korrigieren; für Publikationen oder regulierte Kontexte gehört das zwingend dazu. Und zuletzt ein Risiko jenseits der Technik: Anthropics Consumer Terms verbieten, Systeme oder Schutzmaßnahmen des Dienstes zu umgehen. Ob eine Umleitung über eine Umgebungsvariable so eine Umgehung ist, lässt sich aus den Bedingungen nicht herauslesen; im Zweifel entscheidet das Anthropic. Das greifbare Risiko ist der Account: Nach den Bedingungen darf Anthropic Zugang und Abo jederzeit sperren oder beenden. Wer dieses Risiko nicht tragen will, lässt die Umleitung bleiben und nutzt die Workbench über Anthropics eigene Modelle.

Fazit

Die Frage, ob das funktioniert, ließ sich der Dokumentation nicht entnehmen; nur der Test konnte es. Der Test ergab: ja, mit einem kleinen Übersetzer zwischen App und Anbieter. Wer wissenschaftliche Analysen mit offenen Modellen fahren will, bekommt damit die komplette Science-Workbench auf der Infrastruktur seiner Wahl.

Quellen

← Alle Artikel