AI モデルのダウンロード

[モデル] タブではテキスト埋め込み、イメージ埋め込み、イメージキャプション、およびテキスト生成用の AI モデルをダウンロードしてロードできます。各タイプの複数のモデルをダウンロードできますが、一度にメモリにロードして使用できるのはそれぞれ 1 つだけです。

重要  [モデル] タブを使用するには、まずモデルサーバーを有効にする必要があります。一部のモデルをダウンロードするには [モデルサーバー] タブで Hugging Face トークンを含める必要があります。AI モデルサーバーの起動、停止、および更新を参照してください。

モデルを追加するには:

  1. [AI サービス] > [モデル] タブをクリックします。

  2. [モデルを追加] をクリックします。

  3. [モデルを追加] ダイアログボックスで、次の情報を入力します:

    • モデル名: Hugging Face の Web サイトに表示されるモデルの正確な名前。

    • モデルタイプ: [埋め込み]、[イメージキャプション]、または [テキスト生成] を選択します。

    • Hugging Face からモデルのダウンロードを許可する場合は [はい] を選択します。

  4. [モデルを追加] をクリックします。

モデルをダウンロードするには:

  1. [AI サービス] > [モデル] タブをクリックします。

  2. ダウンロードするモデルの隣にある [ダウンロード] をクリックします。

  3. モデルのダウンロードが承認されていない場合は、[モデルを追加] ダイアログボックスで [はい] を選択してから、[モデルを追加] をクリックします。

メモ  Hugging Face トークンが必要なモデルは [モデルサーバー] タブにトークンが入力されていないとダウンロードに失敗します。

モデルのダウンロードをキャンセルするには:

  1. [AI サービス] > [モデル] タブをクリックします。

  2. ダウンロードが進行中のモデルの隣にある [キャンセル] をクリックします。

モデルをメモリにロードするには:

  1. [AI サービス] > [モデル] タブをクリックします。

  2. ダウンロードするモデルの隣にある [ロード] をクリックします。

メモ  モデルはダウンロードが完了するまでロードできません。

モデルの設定を管理するには:

  1. [AI サービス] > [モデル] タブをクリックします。

  2. ウインドウの右上にある [管理] をクリックします。

  3. 次の設定のいずれかを変更します:

    • ローカルモデルキャッシュパス

    • vLLM 推論エンジンを使用

    • オンデマンドでモデルをロード

    • 埋め込みモデルの最大ロード数

    • イメージキャプションモデルの最大ロード数

    • テキスト生成モデルの最大ロード数

    • 最大応答トークン - テキスト生成応答のトークンの最大数。-1 に設定した場合、各モデルがそれぞれの上限まで出力トークンを生成します。応答を制限することで応答の遅延およびパフォーマンスを最適化できます。

モデルを取り除くには:

  1. [AI サービス] > [モデル] タブをクリックします。

  2. 取り除くモデルの隣にあるチェックボックスをクリックします。

  3. ウインドウの上部にある [取り除く] をクリックします。

  4. (オプション) [モデルを取り除く] ダイアログボックスで [はい] を選択すると、ディスクから対応するモデルのファイルも削除されます。