Download di modelli di AI

La scheda Modelli consente di scaricare e caricare modelli di AI per l'embedding di testo, l'embedding di immagini e la generazione di testo. È possibile scaricare più modelli di ogni tipo, ma solo uno di ogni tipo può essere caricato in memoria per essere utilizzato in un momento prestabilito.

Importante  Occorre prima di tutto abilitare il server modello affinché la scheda Chat sia disponibile. Alcuni modelli richiedono l'inserimento di un token Hugging Face nella scheda Server modello per scaricare il modello. Vedere Avvio, arresto e aggiornamento del server modello AI.

Per aggiungere un modello:

  1. Fare clic sulla scheda Servizi di AI > Modelli.

  2. Fare clic su Aggiungi modello.

  3. Nella finestra di dialogo Aggiungi un modello, inserire le seguenti informazioni:

    • Nome modello: il nome esatto del modello così come appare sul sito Web Hugging Face.

    • Tipo di modello: selezionare Embedding, Didascalia immagine o Generazione di testo.

    • Selezionare Sì se si desidera acconsentire al download del modello da Hugging Face.

  4. Fare clic su Aggiungi modello .

Per scaricare un modello:

  1. Fare clic sulla scheda Servizi di AI > Modelli.

  2. Fare clic su Download accanto al modello che si desidera scaricare.

  3. Se il modello non è stato confermato per il download, selezionare Sì nella finestra di dialogo Aggiungi modello, quindi fare clic su Aggiungi modello.

Nota  I download del modello non andranno a buon fine se richiedono un token Hugging Face e non ne è ancora stato inserito uno nella scheda Server modello.

Per annullare il download di un modello:

  1. Fare clic sulla scheda Servizi di AI > Modelli.

  2. Fare clic su Annulla accanto al modello che si sta scaricando.

Per caricare un modello in memoria:

  1. Fare clic sulla scheda Servizi di AI > Modelli.

  2. Fare clic su Carica accanto al modello che si desidera scaricare.

Nota  I modelli non possono essere caricati finché non sono stati scaricati.

Per gestire le impostazioni dei modelli:

  1. Fare clic sulla scheda Servizi di AI > Modelli.

  2. Fare clic su Gestisci in alto a destra nella finestra.

  3. Modificare una delle seguenti impostazioni:

    • Directory cache del modello locale

    • Utilizza motore di inferenza vLLM

    • Carica modelli su richiesta

    • Numero massimo modelli di embedding caricati

    • Numero massimo modelli di didascalia immagini caricati

    • Numero massimo modelli di generazione di testo caricati

    • Token di risposta max - Numero massimo di token nelle risposte di generazione di testo. Quando è impostato su -1, ogni modello genera token di output fino al proprio limite. Limitare la risposta consente di ottimizzare la latenza di risposta e le prestazioni.

Per rimuovere un modello:

  1. Fare clic sulla scheda Servizi di AI > Modelli.

  2. Fare clic sulla casella di controllo accanto al modello o ai modelli che si desidera rimuovere.

  3. Fare clic su Rimuovi in alto nella finestra.

  4. (Opzionale) Selezionare Sì nella finestra di dialogo Rimuovi modelli per eliminare dal disco anche i file del modello corrispondenti.