DeskLLM - Vodič

Početak rada

1. Preuzmite model

DeskLLM treba jezični model za rad. Pri prvom pokretanju kliknite ikonu za preuzimanje u donjoj alatnoj traci da otvorite Model Manager.

Recommend tab — Odaberite model koji odgovara vašem računalu:

Kliknite Download na bilo kojoj kartici modela. Napredak preuzimanja prikazuje se u stvarnom vremenu.

Browse tab — Pretražite Hugging Face za bilo koji GGUF model po ključnoj riječi.

2. Započnite razgovor

1. Odaberite model iz padajućeg izbornika u donjoj alatnoj traci
2. Kliknite ikonu za učitavanje (model se automatski učitava na prvu poruku ako nije učitan)
3. Upišite poruku i pritisnite Return za slanje
4. AI odgovara u stvarnom vremenu, token po token

Pregled sučelja

Bočna traka

Prebacite ikonom hamburgera (gore lijevo). Prikazuje vaše chat sesije.

• Kliknite sesiju za prebacivanje
• Desnim klikom za Rename ili Delete
• Kliknite + New Chat za pokretanje novog razgovora

Područje chata

• Vaše poruke pojavljuju se s desne strane (obojeni oblačići)
• Odgovori AI-ja pojavljuju se s lijeve strane
• Kliknite ikonu kopiranja na bilo kojoj poruci da je kopirate u međuspremnik
• Pritisnite Shift + Return za novi red bez slanja

Donja alatna traka

Upravljanje modelima

Otvorite ikonom za preuzimanje u alatnoj traci.

• Downloaded tab — Popis svih modela na vašem disku. Izbrišite modele koji vam više ne trebaju kako biste oslobodili prostor.
• Recommend tab — Kurirani popis popularnih modela s preuzimanjem jednim klikom. Prostor na disku prikazuje se prije preuzimanja.
• Browse tab — Pretražujte Hugging Face izravno. Filtrirajte po imenu i pregledavajte dostupne GGUF datoteke za bilo koji repozitorij.

Gdje se pohranjuju modeli

Postavke

Pristupite preko ikone zupčanika (dolje lijevo) ili izbornika aplikacije.

Odabir pravih postavki

• Temperature — Niža (0.1–0.3) za činjenične odgovore. Viša (0.7–1.0) za kreativno pisanje.
• Max Tokens — Povećajte za duže odgovore. 512 je dobro za većinu razgovora.
• Context Size — Veće vrijednosti omogućuju modelu da pamti više razgovora, ali koriste više RAM-a.

REST API

DeskLLM pokreće lokalni API server kompatibilan s OpenAI formatom. Druge aplikacije na vašem računalu mogu ga koristiti.

Endpoint: http://localhost:8800

Primjer (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Primjer (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Tipkovnički prečaci

Savjeti

• Slobodno mijenjajte modele — Modele možete mijenjati usred razgovora u bilo kojem trenutku.
• System prompt — Prilagodite ga za različite slučajeve uporabe: prevoditelj, asistent za kodiranje, pomoćnik za pisanje itd.
• Više sesija — Držite odvojene razgovore za različite teme. Bočna traka olakšava prebacivanje.
• Offline korištenje — Nakon preuzimanja modela, DeskLLM radi potpuno offline.
• API integracija — Koristite ugrađeni API za povezivanje DeskLLM s drugim alatima, skriptama ili aplikacijama na vašem računalu.

Rješavanje problema

Privatnost

• Sva AI obrada događa se lokalno na vašem računalu
• Nikakvi podaci se ne šalju na vanjski poslužitelj
• Povijest chata pohranjuje se samo na vašem lokalnom disku
• Modeli se preuzimaju s Hugging Face (jedini mrežni pristup)