DeskLLM - Sprievodca

Začíname

1. Stiahnite model

DeskLLM potrebuje na fungovanie jazykový model. Pri prvom spustení kliknite na ikonu sťahovania v dolnom paneli nástrojov, aby ste otvorili Model Manager.

Recommend tab — Vyberte model, ktorý sa hodí k vášmu počítaču:

Kliknite na Download pri ľubovoľnej karte modelu. Postup sťahovania sa zobrazuje v reálnom čase.

Browse tab — Prehľadajte Hugging Face pre ľubovoľný GGUF model podľa kľúčového slova.

2. Začnite chatovať

1. Vyberte model z rozbaľovacieho menu v dolnom paneli nástrojov
2. Kliknite na ikonu načítania (model sa načíta automaticky pri prvej správe, ak nie je načítaný)
3. Napíšte správu a stlačte Return na odoslanie
4. AI odpovedá v reálnom čase, token po tokene

Prehľad rozhrania

Bočný panel

Prepínajte ikonou hamburgera (vľavo hore). Zobrazuje vaše chat relácie.

• Kliknite na reláciu pre prepnutie
• Kliknite pravým tlačidlom pre Rename alebo Delete
• Kliknite na + New Chat pre začatie novej konverzácie

Oblasť chatu

• Vaše správy sa zobrazujú vpravo (farebné bubliny)
• Odpovede AI sa zobrazujú vľavo
• Kliknite na ikonu kopírovania pri ľubovoľnej správe pre skopírovanie do schránky
• Stlačte Shift + Return pre nový riadok bez odoslania

Dolný panel nástrojov

Správa modelov

Otvorte ikonou sťahovania v paneli nástrojov.

• Downloaded tab — Zoznam všetkých modelov na vašom disku. Vymažte modely, ktoré už nepotrebujete, aby ste uvoľnili miesto.
• Recommend tab — Kurátorovaný zoznam populárnych modelov s jednoklikovým sťahovaním. Miesto na disku sa zobrazuje pred sťahovaním.
• Browse tab — Prehľadávajte Hugging Face priamo. Filtrujte podľa názvu a prechádzajte dostupné GGUF súbory pre ľubovoľný repozitár.

Kde sú modely uložené

Nastavenia

Prístup z ikony ozubeného kolesa (vľavo dole) alebo z menu aplikácie.

Voľba správnych nastavení

• Temperature — Nižšia (0.1–0.3) pre faktické odpovede. Vyššia (0.7–1.0) pre kreatívne písanie.
• Max Tokens — Zvýšte pre dlhšie odpovede. 512 je dobré pre väčšinu konverzácií.
• Context Size — Väčšie hodnoty umožňujú modelu pamätať si viac konverzácie, ale využívajú viac RAM.

REST API

DeskLLM prevádzkuje lokálny API server kompatibilný s formátom OpenAI. Ostatné aplikácie na vašom počítači ho môžu používať.

Endpoint: http://localhost:8800

Príklad (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Príklad (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Klávesové skratky

Tipy

• Voľne prepínajte modely — Modely môžete kedykoľvek meniť uprostred konverzácie.
• System prompt — Prispôsobte ho pre rôzne prípady použitia: prekladač, asistent kódovania, pomocník písania atď.
• Viac relácií — Udržujte oddelené konverzácie pre rôzne témy. Bočný panel uľahčuje prepínanie.
• Použitie offline — Po stiahnutí modelu DeskLLM funguje úplne offline.
• Integrácia API — Použite vstavané API na prepojenie DeskLLM s inými nástrojmi, skriptami alebo aplikáciami na vašom počítači.

Riešenie problémov

Súkromie

• Všetko spracovanie AI prebieha lokálne na vašom počítači
• Žiadne dáta sa neodosielajú na žiadny externý server
• História chatu je uložená len na vašom lokálnom disku
• Modely sa sťahujú z Hugging Face (jediný sieťový prístup)