Guia d'usuari de QuickLLM
QuickLLM manté la inferència, les converses, els documents, les incrustacions, la recuperació i el text generat al dispositiu, alhora que mostra clarament quins models hi caben i amb quina finalitat s'utilitza la xarxa.
Primers passos
- Executeu el diagnòstic del dispositiu i trieu un model que hi càpiga.
- Baixeu, verifiqueu i carregueu el model.
- Inicieu una conversa i trieu un Profile.
- Opcionalment, creeu una Knowledge Base, afegiu-hi documents de confiança i verifiqueu-ne les cites.
- Exporteu el treball important o creeu una còpia de seguretat xifrada abans de moure o suprimir dades.
Consell: Trieu un context o un model més petit abans de forçar una configuració que no càpiga a la memòria.
Descripció general de la interfície
| Àrea | Finalitat |
|---|---|
| Xat | Llista de converses, selecció de model/Profile/Knowledge, missatges, cites, context, Envia i Atura. |
| Models | Catàleg, cerca, compatibilitat, baixades, fitxers instal·lats, Profiles, adaptadors i estat d'execució. |
| Knowledge | Knowledge Bases, documents, extracció, indexació, proves de recuperació, fonamentació i cites. |
| Templates & Actions | Indicacions reutilitzables, fluxos de treball tipats, entrada compartida des del mòbil, revisió de resultats i rutes de desament. |
| Utilitats | Diagnòstic, baixades, API d'escriptori, còpia de seguretat/restauració, acció ràpida, Configuració, Ajuda, privadesa i llicències. |
Models que hi caben, respostes que podeu rastrejar
QuickLLM diferencia la capacitat mesurada del dispositiu de les estimacions i manté les respostes fonamentades vinculades a fragments de documents locals, en lloc d'inventar cites sense suport.
- Xat local privat: Executeu converses mitjançant inferència local integrada, amb el model, el Profile, el Knowledge, el context, la generació i l'estat d'Atura sempre visibles.
- Adequació del model: Mesureu la capacitat del dispositiu, compareu les necessitats de memòria i emmagatzematge, baixeu models verificats i enteneu per què algunes configuracions no són compatibles.
- Knowledge Bases: Incorporeu documents compatibles, creeu índexs locals, recupereu fragments fonamentats i obriu les cites al seu origen.
- Profiles i LoRA: Deseu combinacions de model, context, mostreig, sistema d'execució i adaptador per repetir fluxos de treball.
- Templates i Actions: Reutilitzeu indicacions privades i executeu fluxos de text compartit que mantinguin els resultats disponibles per copiar-los, compartir-los o continuar en una conversa.
- Control portable: Exporteu converses, executeu una API local d'escriptori quan l'habiliteu explícitament i creeu fitxers xifrats de còpia de seguretat i restauració.
Nota: Els models baixats i els documents d'origen poden tenir llicències i restriccions d'ús pròpies. Reviseu-les abans d'utilitzar-los o redistribuir-los.
Configuració
Obriu Configuració per revisar els controls següents específics de l’aplicació:
- Motor nadiu, sistema d'execució, fils, context, memòria cau, emmagatzematge i preferències de model
- Extracció de coneixement, incrustacions, recuperació, fonamentació i comportament de les cites
- API local d'escriptori, xarxa, compartició mòbil, templates i actions
- Privadesa, còpia de seguretat xifrada, supressió, aparença, dreceres, diagnòstic i llicències
Prova, Free i Pro utilitzen el mateix conjunt de funcions. Pro elimina els anuncis al mòbil i el recordatori diari de suport a l’escriptori.
Dreceres de teclat
A les plataformes d’Apple, utilitzeu Command quan l’aplicació assigni una drecera Ctrl mostrada al modificador principal de la plataforma. La pàgina de dreceres de l’aplicació continua sent la referència definitiva.
| Drecera | Acció |
|---|---|
| Cmd/Ctrl + N | Conversa nova |
| Cmd/Ctrl + K | Cerca converses |
| Cmd/Ctrl + M | Tria el model |
| Cmd/Ctrl + B | Tria la Knowledge Base |
| Cmd/Ctrl + Alt/Option + I | Detalls de la conversa |
| Esc | Atura la generació |
Consells & trucs
Trieu un context o un model més petit abans de forçar una configuració que no càpiga a la memòria.
Utilitzeu una fonamentació estricta quan una resposta s'hagi de limitar a les fonts indexades.
Obriu les citacions i compareu-ne el fragment extret abans de confiar en una afirmació generada.
Manteniu les frases de contrasenya de les còpies de seguretat separades del fitxer de còpia xifrat.
Resolució de problemes
| Problema | Què cal comprovar |
|---|---|
| No es pot carregar un model | Comproveu la compatibilitat, l'estimació de memòria, l'emmagatzematge, la verificació del fitxer, el backend seleccionat i si hi ha una altra sessió de model activa. |
| La generació és lenta | Utilitzeu els diagnòstics del dispositiu, un model o context més petit, un backend adequat i dades de rendiment mesurades, no pas suposades. |
| Knowledge no troba cap resposta | Reviseu l'extracció del document, l'estat de l'índex, la prova de recuperació, els filtres i si la font conté realment proves. |
| No es pot restaurar una còpia de seguretat | Verifiqueu la frase de contrasenya, la integritat del fitxer, la compatibilitat de l'esquema, l'espai lliure i la revisió de la restauració abans de substituir les dades actuals. |
Privadesa
- Les instruccions, les converses, els documents, les incrustacions, la recuperació i el text generat romanen al dispositiu.
- L'ús de la xarxa es limita a les consultes de catàleg o cerca sol·licitades, la baixada de models, la comprovació d'actualitzacions o un endpoint d'API que habiliteu explícitament.
- Les entrades compartides des del mòbil són temporals i els originals externs no se suprimeixen mai.
- Les dades de l'espai de treball propietat de l'aplicació i les còpies gestionades es poden eliminar mitjançant el flux de privadesa revisat.
La teva responsabilitat: No exposeu l'API d'escriptori opcional més enllà d'un límit de confiança ni utilitzeu models i documents de manera contrària a les seves llicències.