Aller au contenu
rdlabo.devdocs
Local LLMv2.2.0
@rdlabo/capacitor-local-llm

Exécuter l’IA sur l’appareil

Utilisez une API de chat unique pour les applications natives et les versions de Chrome de bureau compatibles, avec diffusion en continu, annulation et vérification de la disponibilité. Les fonctions d’image utilisent des backends natifs. Fork d’Ionic Local LLM maintenu indépendamment.

Fonctions d’IA sur l’appareil

  • Génération de texte dans Chrome

    Utilisez la Prompt API intégrée à Chrome sans serveur ni clé d’API. Vérifiez la disponibilité du modèle avant de commencer.

  • Cycle de vie du chat

    Créez des conversations, diffusez les réponses en continu, observez l’état de la génération et annulez les tâches.

  • Vérifier d’abord la disponibilité

    Vérifiez séparément les capacités de traitement du texte et des images avant toute génération.

  • Repli Android explicite

    Configurez, si nécessaire, un modèle LiteRT-LM géré par l’application ; validez-le sur des appareils physiques.

Toute la documentation