Ollama Local LLM
Esegui modelli linguistici di grandi dimensioni open-source in locale dalle tue applicazioni Delphi, C++ Builder e .NET. L'inferenza resta privata, offline e on-premise, eseguita sul tuo hardware senza alcuna API cloud richiesta.
Esegui modelli linguistici di grandi dimensioni open-source in locale dalle tue applicazioni Delphi, C++ Builder e .NET. L'inferenza resta privata, offline e on-premise, eseguita sul tuo hardware senza alcuna API cloud richiesta.
Client REST API Ollama per chat completions in locale, embeddings e gestione dei modelli.
TsgcHTTP_API_Ollama
API REST Ollama su HTTP
Windows, macOS, Linux, iOS, Android
Enterprise (add-on IA)
Ollama gira in locale e non richiede alcuna API key. Imposta OllamaOptions.BaseUrl sul tuo server locale (default http://localhost:11434/api), poi chiama _CreateMessage oppure costruisci un TsgcOllamaClass_Request_ChatCompletion e chiama CreateMessage.
uses
sgcHTTP_API_Ollama;
var
Ollama: TsgcHTTP_API_Ollama;
begin
Ollama := TsgcHTTP_API_Ollama.Create(nil);
// Server locale, nessuna API key necessaria
Ollama.OllamaOptions.BaseUrl := 'http://localhost:11434/api';
// Messaggio one-shot semplice
Memo1.Lines.Text := Ollama._CreateMessage(
'llama3',
'What are the benefits of WebSockets?');
// Streaming — gestisci OnHTTPAPISSE per ogni chunk
Ollama.OnHTTPAPISSE := HandleSSE;
Ollama._CreateMessageStream(
'llama3',
'Summarise RFC 6455');
end;
procedure TForm1.HandleSSE(Sender: TObject;
const aEvent, aData: string;
var Cancel: Boolean);
begin
Memo1.Lines.Add(aEvent + ': ' + aData);
end;// uses: sgcHTTP_API_Ollama
TsgcHTTP_API_Ollama *Ollama = new TsgcHTTP_API_Ollama(this);
// Server locale, nessuna API key necessaria
Ollama->OllamaOptions->BaseUrl = "http://localhost:11434/api";
// Messaggio one-shot semplice
Memo1->Lines->Text = Ollama->_CreateMessage(
"llama3",
"What are the benefits of WebSockets?");
// Streaming — OnHTTPAPISSE viene chiamato per ogni chunk
Ollama->OnHTTPAPISSE = HandleSSE;
Ollama->_CreateMessageStream(
"llama3",
"Summarise RFC 6455");using esegece.sgcWebSockets;
var ollama = new TsgcHTTPAPI_Ollama();
// Server locale, nessuna API key necessaria
ollama.OllamaOptions.BaseUrl = "http://localhost:11434/api";
// Messaggio one-shot semplice
Console.WriteLine(ollama._CreateMessage(
"llama3",
"What are the benefits of WebSockets?"));
// Streaming tramite Server-Sent Events
ollama.OnHTTPAPISSE += (sender, ev, data, cancel) => Console.Write(data);
ollama._CreateMessageStream(
"llama3",
"Summarise RFC 6455");Classi tipizzate di request / response per chat completions ed embeddings, oltre a gestione dei modelli e streaming tramite Server-Sent Events.
CreateMessage invia un TsgcOllamaClass_Request_ChatCompletion tipizzato e restituisce una risposta parsata. _CreateMessage, _CreateMessageWithSystem e _CreateMessageStream sono shortcut basati su stringhe, con i delta di streaming consegnati tramite OnHTTPAPISSE.
CreateEmbeddings trasforma il testo di input in un vettore denso usando un modello di embedding scaricato in locale come nomic-embed-text o mxbai-embed-large, restituendo un TsgcOllamaClass_Response_Embeddings.
Gestisci i modelli sulla tua macchina: _GetModels e _GetTags elencano ciò che è disponibile, _ShowModel legge i dettagli del modello, _PullModel scarica dalla libreria Ollama e _DeleteModel rimuove un modello locale.
Ogni richiesta è diretta a un server Ollama locale (default http://localhost:11434/api) così nessun dato lascia la tua rete e non è richiesta alcuna API key. Punta OllamaOptions.BaseUrl su un'istanza remota o containerizzata quando ne hai bisogno.
CircuitBreaker interrompe le richieste quando il server è in uno stato non sano; ReadTimeout e TLSOptions regolano il layer HTTP/HTTPS; OnHTTPAPIException emerge in caso di errori; OnHTTPAPISSE trasmette i server-sent event.
Fonti autorevoli per i protocolli implementati da questo componente.
Vai al riferimento del componente, scarica il progetto demo pronto all'uso e prova la versione trial.
| Guida online — Ollama Riferimento completo di proprietà, metodi ed eventi per questo componente. | Apri | |
| Progetto demo — Demos\AI\Ollama Progetto di esempio pronto all'uso. Incluso nel pacchetto sgcWebSockets — scarica la versione di prova qui sotto. | Apri | |
| Manuale utente (PDF) Manuale completo che copre tutti i componenti della libreria. | Apri |