Ollama Local LLM

Exécute des grands modèles de langage open source en local depuis tes applications Delphi, C++ Builder et .NET. L'inférence reste privée, hors ligne et on-premise, en s'exécutant sur ton propre matériel sans aucune API cloud requise.

TsgcHTTP_API_Ollama

Client REST API Ollama pour les chat completions locales, les embeddings et la gestion des modèles.

Classe du composant

TsgcHTTP_API_Ollama

Protocole

API REST Ollama sur HTTP

Plateformes

Windows, macOS, Linux, iOS, Android

Édition

Enterprise (module IA)

Pose le composant, pointe-le vers localhost, c'est parti

Ollama s'exécute en local et ne nécessite aucune clé API. Configure OllamaOptions.BaseUrl sur ton serveur local (par défaut http://localhost:11434/api), puis appelle _CreateMessage ou construis un TsgcOllamaClass_Request_ChatCompletion et appelle CreateMessage.

uses
  sgcHTTP_API_Ollama;

var
  Ollama: TsgcHTTP_API_Ollama;
begin
  Ollama := TsgcHTTP_API_Ollama.Create(nil);
  // Local server, no API key needed
  Ollama.OllamaOptions.BaseUrl := 'http://localhost:11434/api';

  // Simple one-shot message
  Memo1.Lines.Text := Ollama._CreateMessage(
    'llama3',
    'What are the benefits of WebSockets?');

  // Streaming — handle OnHTTPAPISSE per chunk
  Ollama.OnHTTPAPISSE := HandleSSE;
  Ollama._CreateMessageStream(
    'llama3',
    'Summarise RFC 6455');
end;

procedure TForm1.HandleSSE(Sender: TObject;
  const aEvent, aData: string;
  var Cancel: Boolean);
begin
  Memo1.Lines.Add(aEvent + ': ' + aData);
end;
// uses: sgcHTTP_API_Ollama
TsgcHTTP_API_Ollama *Ollama = new TsgcHTTP_API_Ollama(this);
// Local server, no API key needed
Ollama->OllamaOptions->BaseUrl = "http://localhost:11434/api";

// Simple one-shot message
Memo1->Lines->Text = Ollama->_CreateMessage(
  "llama3",
  "What are the benefits of WebSockets?");

// Streaming — OnHTTPAPISSE fires per chunk
Ollama->OnHTTPAPISSE = HandleSSE;
Ollama->_CreateMessageStream(
  "llama3",
  "Summarise RFC 6455");
using esegece.sgcWebSockets;

var ollama = new TsgcHTTPAPI_Ollama();
// Local server, no API key needed
ollama.OllamaOptions.BaseUrl = "http://localhost:11434/api";

// Simple one-shot message
Console.WriteLine(ollama._CreateMessage(
  "llama3",
  "What are the benefits of WebSockets?"));

// Streaming via Server-Sent Events
ollama.OnHTTPAPISSE += (sender, ev, data, cancel) => Console.Write(data);
ollama._CreateMessageStream(
  "llama3",
  "Summarise RFC 6455");

Sous le capot

Classes de requête / réponse typées pour les chat completions et les embeddings, plus la gestion des modèles et le streaming via Server-Sent Events.

Messages et chat

CreateMessage envoie un TsgcOllamaClass_Request_ChatCompletion typé et renvoie une réponse analysée. _CreateMessage, _CreateMessageWithSystem et _CreateMessageStream sont des raccourcis string, avec les deltas de streaming diffusés via OnHTTPAPISSE.

Embeddings

CreateEmbeddings transforme un texte d'entrée en un vecteur dense à l'aide d'un modèle d'embedding récupéré en local tel que nomic-embed-text ou mxbai-embed-large, en renvoyant un TsgcOllamaClass_Response_Embeddings.

Modèles

Gère les modèles sur ta machine : _GetModels et _GetTags listent ce qui est disponible, _ShowModel lit les détails d'un modèle, _PullModel télécharge depuis la bibliothèque Ollama et _DeleteModel supprime un modèle local.

Local et privé

Chaque requête cible un serveur Ollama local (par défaut http://localhost:11434/api), de sorte qu'aucune donnée ne quitte ton réseau et qu'aucune clé API n'est requise. Pointe OllamaOptions.BaseUrl vers une instance distante ou conteneurisée lorsque tu en as besoin.

Fiabilité et diagnostics

CircuitBreaker court-circuite les requêtes quand le serveur est en mauvaise santé ; ReadTimeout et TLSOptions ajustent la couche HTTP/HTTPS ; OnHTTPAPIException remonte les échecs ; OnHTTPAPISSE diffuse les server-sent events.

Spécifications et références

Sources de référence pour les protocoles implémentés par ce composant.

Documentation et démos

Lien direct vers la référence du composant, projet de démo prêt à l'emploi et téléchargement de l'essai.

Aide en ligne — Ollama Référence complète des propriétés, méthodes et événements de ce composant.
Projet de démo — Demos\AI\Ollama Projet d'exemple prêt à l'emploi. Livré dans le package sgcWebSockets — télécharge l'essai ci-dessous.
Manuel utilisateur (PDF) Manuel complet couvrant tous les composants de la bibliothèque.

Prêt à exécuter des LLM locaux avec Ollama ?

Télécharge l'essai gratuit et commence à construire en quelques minutes.