Creazione di modelli di AI affinati

La scheda Modelli affinati consente di creare modelli affinati a partire da modelli scaricati che possono poi essere caricati e utilizzati per la generazione di testo. È possibile creare più modelli affinati, ma solo una generazione di testo può essere caricata in memoria per essere utilizzata in un momento prestabilito.

Importante  È necessario innanzitutto abilitare il server del modello e l'opzione di messa a punto per rendere disponibile la scheda Modelli affinati. Alcuni modelli richiedono l'inserimento di un token Hugging Face nella scheda Server modello per scaricare il modello. Vedere Avvio, arresto e aggiornamento del server modello AI e Configurazione delle impostazioni di AI.

Per creare un modello affinato:

  1. Fare clic sulla scheda Servizi AI > Modelli affinati.

  2. Fare clic su Crea modello affinato.

  3. Nella finestra di dialogo Crea un modello affinato, fare clic su Sfoglia..., quindi cercare il file JSONL contenente i dati di addestramento.

    Ogni riga del file JSONL dei dati di addestramento dovrebbe contenere un esempio di input dell'utente e la risposta valida all'input. Ad esempio:

    Copia 
    {"messaggi":[{"contenuto":"Prompt di sistema","ruolo":"sistema"},{"contenuto":"Esempio dati utente","ruolo":"utente"},{"contenuto":"Esempio output del sistema dopo l'elaborazione dei dati utente"}]}
    {"messaggi":[{"contenuto":"sys.123","ruolo":"sistema"},{"contenuto":"usr.234","ruolo":"utente"},{"contenuto":"ast.345","ruolo":"assistente"}]}
    {"messaggi":[{"contenuto":"sys.456","ruolo":"sistema"},{"contenuto":"usr.567","ruolo":"utente"},{"contenuto":"ast.678","ruolo":"assistente"}]}

  4. Nella finestra di dialogo Crea un modello affinato, inserire le seguenti informazioni:

    • Nome modello affinato: il nome del modello che si desidera utilizzare per le connessioni dei client. AI Model Server anteporrà al nome specificato il prefisso "fm-mlx-", pertanto il nome effettivo del modello affinato sarà "fm-mlx-<nome_specificato>".

    • Modello base: selezionare il modello che si desidera affinare.

      Nota  I modelli base devono essere un modello di generazione di testo già scaricato e riconosciuto.

    • Numero di iterazioni: il numero di iterazioni di addestramento. Più iterazioni richiedono più memoria e più tempo per essere elaborate.

    • Livelli LoRA: il numero di livelli LoRA (Low-Rank adaptation). Più livelli richiedono più memoria e più tempo.

    • Dimensioni batch: il numero di esempi di addestramento con cui addestrare il modello in una volta. Maggiori sono le dimensioni del batch, maggiore è la quantità di memoria richiesta, anche se l'addestramento può essere completato più rapidamente.

  5. Fare clic su Crea modello.