Zum Inhalt springen
rdlabo.devdocs
Local LLMv2.2.0
@rdlabo/capacitor-local-llm

KI auf dem Gerät ausführen

Eine gemeinsame Chat-API für native Apps und unterstützte Chrome-Desktopversionen verwenden, mit Streaming, Abbruch und Verfügbarkeitsprüfungen. Bildfunktionen nutzen native Backends. Unabhängig gepflegter Fork von Ionic Local LLM.

KI-Funktionen auf dem Gerät

  • Textgenerierung in Chrome

    Die integrierte Prompt API von Chrome ohne Server oder API-Schlüssel verwenden. Vor dem Start die Modellverfügbarkeit prüfen.

  • Chat-Lebenszyklus

    Chats erstellen, Antworten streamen, den Generierungszustand beobachten und Vorgänge abbrechen.

  • Verfügbarkeit zuerst prüfen

    Verfügbarkeit von Text- und Bildfunktionen vor der Generierung getrennt prüfen.

  • Explizites Android-Fallback

    Bei Bedarf ein von der App verwaltetes LiteRT-LM-Modell konfigurieren und auf echten Geräten prüfen.

Gesamte Dokumentation