Custom LLM

Připojení Custom LLM umožňuje Siesta AI používat vlastní nebo externě provozovaný modelový endpoint, který implementuje OpenAI-compatible Chat Completions API. Modely se deklarují pro každé připojení zvlášť, místo aby se vybíraly ze společného katalogu modelů Siesta AI.

Custom LLM je modelové připojení pro agenty. Nejde o připojení nástroje, definici REST funkce ani datový zdroj.

Požadavky

• Absolutní OpenAI-compatible Base URL včetně cesty k verzi API, například https://llm.example.com/v1.
• Podpora Chat Completions na nakonfigurovaném endpointu.
• API key. Siesta AI jej pro Custom LLM inference vyžaduje, i když endpoint jinak přijímá požadavky bez autentizace.
• Síťová dostupnost endpointu z backendu Siesta AI.
• Alespoň jeden model deklarovaný v připojení, aby jej bylo možné vybrat pro agenta.

Pro automatické načtení nabízených modelů musí endpoint podporovat také OpenAI-compatible models endpoint na <Base URL>/models, například https://llm.example.com/v1/models.

Přidání připojení

1. Otevřete Connections.
2. Klikněte na Add Connection a vyberte Custom LLM.
3. Zadejte srozumitelný Name, například Private LLM - PROD.
4. Zadejte OpenAI-compatible Base URL, včetně /v1, pokud ji poskytovatel vyžaduje.
5. Zadejte ApiKey a vyberte odpovídající soukromou nebo sdílenou přístupovou politiku.
6. Přidejte a zkontrolujte alespoň jednu definici modelu a připojení uložte.
7. Otevřete agenta a vyberte připojení Custom LLM a jeden z deklarovaných modelů.

Aktuální dostupnost v aplikaci

Backend podporuje zjišťování modelů a jejich definice pro jednotlivá připojení, některé aktuální verze aplikace Siesta AI však ovládací prvky modelů ve formuláři připojení ještě nezobrazují. Pokud ve vašem nasazení není dostupná sekce Models, nelze prostřednictvím zobrazeného formuláře dokončit použitelné nastavení Custom LLM. Před produkčním použitím kontaktujte administrátora Siesta AI.

Deklarace modelů

Pokud je ovládací prvek dostupný, použijte Load models k načtení ID modelů z <Base URL>/models. Model, jehož název odpovídá katalogu Siesta AI, získá best-effort výchozí nastavení schopností. Tyto hodnoty jsou upravitelné návrhy, nikoli záruka kompatibility. Neznámý model lze deklarovat ručně.

Pole	Jak je Siesta AI používá	Doporučení
Name	Toto přesné ID modelu odesílá v Chat Completions požadavcích a zpřístupní je agentům.	Zkopírujte ID vrácené endpointem. Názvy nesmí být prázdné a v rámci připojení musí být jedinečné bez ohledu na velikost písmen.
Context Window	Určuje velikost kontextu používanou pro automatickou kompakci konverzace.	Zadejte poskytovatelem dokumentovaný limit tokenů. 0 znamená neznámou hodnotu a automatickou kompakci vypne.
Supports Reasoning	Zapne best-effort parametry pro reasoning a načítání reasoning obsahu deklarovaného modelu.	Zapněte pouze tehdy, když jste očekávané reasoning chování modelu a gatewaye otestovali.
Function Invocation	Deklaruje, že model podporuje volání funkcí nebo nástrojů.	U modelů, které nedokážou spolehlivě vytvářet kompatibilní tool calls, tuto volbu vypněte a nástroje agenta ověřte v pilotu.

Schopnosti neodvozujte pouze z názvu modelu. Různé gatewaye mohou pod stejným ID modelu nabízet jiné limity kontextu nebo funkce.

Při úpravě připojení zůstávají názvy modelů omezené na toto připojení. Siesta AI zablokuje odebrání deklarovaného modelu, pokud jej stále používá jeden nebo více agentů; nejprve je přepněte na jiný model.

Ověření připojení

Před produkčním použitím:

1. Ověřte, že zjišťování modelů vrací očekávaná ID, nebo přesné ID zadejte ručně.
2. Vytvořte testovacího agenta s připojením Custom LLM a deklarovaným modelem.
3. Spusťte krátký chat bez nástrojů.
4. Pokud jsou zapnuté, otestujte reasoning a function invocation samostatně.
5. Otestujte konverzaci, která se blíží nakonfigurovanému context window, a ověřte očekávané chování kompakce.
6. Zkontrolujte logy poskytovatele, latenci, rate limits a chybové odpovědi.

Úspěšné zjištění modelů potvrzuje pouze dostupnost models endpointu. Nezaručuje správnou funkci Chat Completions, reasoning, nástrojů ani nakonfigurovaného context window.

Bezpečnost a provoz

• Siesta AI ukládá API key prostřednictvím backendového úložiště tajných údajů a nezachází s ním jako s běžným polem připojení.
• Používejte klíč s co nejužším oprávněním a oddělené přihlašovací údaje pro vývoj, testování a produkci.
• Sdílený přístup používejte pouze tehdy, když jsou endpoint a přihlašovací údaje schválené pro zamýšlené týmy.
• Pokud poskytovatel podporuje allowlist, omezte síťový přístup na důvěryhodný odchozí provoz backendu Siesta AI.
• Dostupnost endpointu, rate limits, latenci, využití tokenů a náklady poskytovatele monitorujte nezávisle na Siesta AI.
• Kompromitovaný nebo expirovaný klíč otočte u poskytovatele a před obnovením práce agentů aktualizujte připojení.

Řešení problémů

Projev	Pravděpodobná příčina	Co zkontrolovat
Base URL je odmítnuta	Hodnota není absolutní URL nebo odkazuje na nesprávný kořen API.	Použijte https:// URL a zahrňte cestu verze OpenAI-compatible API, obvykle /v1.
Modely nelze načíst	<Base URL>/models není dostupná, je blokovaná nebo vyžaduje jinou autentizaci.	Ověřte síťový přístup z backendu, TLS, API key a models endpoint poskytovatele. Pokud jsou ovládací prvky modelů dostupné, můžete známé ID zadat ručně.
Agent hlásí, že model neexistuje	Deklarovaný název se liší od ID přijímaného endpointem.	Zkopírujte přesné ID modelu včetně interpunkce a označení verze.
Chat funguje, ale volání nástrojů selhává	Gateway nebo model neimplementuje kompatibilní function invocation.	Vypněte Function Invocation nebo opravte podporu tool calls v Chat Completions na straně poskytovatele.
Reasoning chybí nebo má nesprávný formát	Reasoning pole nejsou mezi kompatibilními gatewayemi standardizovaná.	Vypněte Supports Reasoning nebo chování gatewaye potvrďte pilotním požadavkem.
Dlouhé konverzace neočekávaně selhávají	Deklarovaný context window je vyšší než skutečný limit endpointu nebo je nastaven na 0.	Zadejte dokumentovaný limit a před produkčním použitím znovu otestujte kompakci.
Model nelze odebrat	Stále na něj odkazuje agent.	Přepněte všechny dotčené agenty na jiný model a potom připojení aktualizujte.

Technické poznámky

• Custom LLM používá OpenAI-compatible Chat Completions API, nikoli OpenAI Responses API.
• Zjišťování modelů používá zadanou Base URL a může použít zadaný API key. Volání modelu vyžaduje obojí a zjišťování může selhat nezávisle na chatu.
• Podpora reasoningu je best-effort, protože ji kompatibilní gatewaye nezpřístupňují jednotně.
• Siesta AI pro připojení Custom LLM nepotvrzuje generování obrázků, přepis zvuku, vision ani jiné funkce OpenAI API.
• Custom LLM nemá vlastní katalogové modely; každý použitelný model je deklarován v konkrétním připojení.

Shrnutí

Custom LLM propojuje agenty Siesta AI s OpenAI-compatible modelovým endpointem, který provozujete nebo jste si zvolili. Nastavte Base URL včetně verze a API key, deklarujte a otestujte schopnosti každého modelu a výchozí hodnoty ze zjišťování považujte za návrhy, nikoli za důkaz kompatibility.