DeskLLM - Guia

Per Començar

1. Descarrega un Model

El DeskLLM necessita un model de llenguatge per funcionar. En el primer inici, fes clic a la icona de descàrrega de la barra d’eines inferior per obrir el Model Manager.

Recommend tab — Tria un model que s’adeqüi al teu ordinador:

Fes clic a Download en qualsevol targeta de model. El progrés de la descàrrega es mostra en temps real.

Browse tab — Cerca a Hugging Face qualsevol model GGUF per paraula clau.

2. Comença a Xatejar

1. Selecciona un model del menú desplegable de la barra inferior
2. Fes clic a la icona de càrrega (el model es carrega automàticament al primer missatge si no està carregat)
3. Escriu el teu missatge i prem Return per enviar
4. La IA respon en temps real, token a token

Visió General de la Interfície

Barra Lateral

Activa-la amb la icona d’hamburguesa (a dalt a l’esquerra). Mostra les teves sessions de xat.

• Fes clic a una sessió per canviar-hi
• Clic dret per Rename o Delete
• Fes clic a + New Chat per iniciar una nova conversa

Àrea de Xat

• Els teus missatges apareixen a la dreta (bombolles de color)
• Les respostes de la IA apareixen a l’esquerra
• Fes clic a la icona de copiar de qualsevol missatge per copiar-lo al porta-retalls
• Prem Shift + Return per a una nova línia sense enviar

Barra d Eines Inferior

Gestió de Models

Obre amb la icona de descàrrega de la barra d’eines.

• Downloaded tab — Llista tots els models al teu disc. Elimina els models que ja no necessites per alliberar espai.
• Recommend tab — Llista seleccionada de models populars amb descàrrega d’un sol clic. L’espai en disc es mostra abans de descarregar.
• Browse tab — Cerca directament a Hugging Face. Filtra per nom i navega pels fitxers GGUF disponibles per a qualsevol repositori.

On s’Emmagatzemen els Models

Configuració

Accedeix-hi des de la icona de l’engranatge (a baix a l’esquerra) o des del menú de l’aplicació.

Triar la Configuració Adequada

• Temperature — Més baix (0.1–0.3) per a respostes factuals. Més alt (0.7–1.0) per a escriptura creativa.
• Max Tokens — Augmenta-ho per a respostes més llargues. 512 va bé per a la majoria de converses.
• Context Size — Valors més grans permeten que el model recordi més de la conversa, però utilitzen més RAM.

REST API

El DeskLLM executa un servidor API local compatible amb el format OpenAI. Altres aplicacions del teu ordinador el poden fer servir.

Endpoint: http://localhost:8800

Exemple (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Exemple (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Dreceres de Teclat

Consells

• Canvia de model lliurement — Pots canviar de model enmig d’una conversa en qualsevol moment.
• System prompt — Personalitza’l per a diferents casos d’ús: traductor, assistent de programació, ajudant d’escriptura, etc.
• Múltiples sessions — Mantén converses separades per a temes diferents. La barra lateral facilita el canvi.
• Ús sense connexió — Un cop descarregat un model, el DeskLLM funciona completament sense connexió.
• Integració d’API — Fes servir l’API integrada per connectar el DeskLLM amb altres eines, scripts o aplicacions de la teva màquina.

Resolució de Problemes

Privacitat

• Tot el processament d’IA passa localment al teu ordinador
• No s’envien dades a cap servidor extern
• L’historial de xat es desa només al teu disc local
• Els models es descarreguen de Hugging Face (l’únic accés a la xarxa)