Local LLMv2.2.0
@rdlabo/capacitor-local-llm
デバイス上でAIを実行する
ネイティブアプリと対応デスクトップChromeで共通のチャットAPIを使い、ストリーミング、キャンセル、利用可否を扱えます。画像機能はネイティブのバックエンドを利用します。Ionic Local LLMの独立管理フォークです。
オンデバイスAI機能
Chromeでテキスト生成
Chrome内蔵のPrompt APIで、サーバーやAPIキーなしに生成します。開始前にモデルの利用可否を確認します。
チャットのライフサイクル
チャット作成、応答のストリーミング、生成状態の監視、キャンセルに対応します。
利用可否を先に確認
生成前にテキストと画像それぞれの利用可否を確認します。
明示的なAndroidフォールバック
必要に応じてアプリ管理のLiteRT-LMモデルを設定します。実機検証が必要です。