KI

linqi bietet verschiedene KI Funktionen. Wenn Sie diese in einer OnPremise Installation nutzen wollen, benötigen Sie entsprechende Hardware oder eine API Anbindung.

Übersicht

linqi bearbeitet KI Aufgaben über ein Warteschlangensystem. Das bedeutet, dass wenn eine neue KI Aufgabe (z.B. dem Auslesen von Daten, generieren eines Textes etc.) durch einen Prozess angestoßen wird, fügt linqi eine entsprechende Aufgabe in die Warteschlange ein.
Im Hintergrund nutzt linqi dann einen (oder mehrere) Service, der diese Aufgaben abarbeitet und das Ergebnis anschließend an linqi zurückmeldet. Dieser kann dann z.B. auf einem Server laufen, der entsprechende Hardware, für KI Aufgaben hat.

Jobworker

Die Jobworker führen KI über OpenAI kompatible APIs aus. Für OnPremise bietet sich hier an z.B. auf demselben Server einen llama-server, ollama oder vLLM auf derselben Maschine zu hosten.
Alternativ können Sie auch direkt z.B. OpenAI anbinden. Hinweis: In diesem Fall fallen Kosten pro Anfrage an.
OCR wird über ein Modell genutzt das direkt vom Jobworker selbst ausgeführt wird.

Als Hardware können Sie hier, je nach Workload, NPUs oder auch Grafikkarten nutzen.