Generative KI auf dem PC: VNC und Intel machen es möglich

LLMs auf einem lokalen PC zu betreiben, ist auch für Unternehmen möglich, die streng reguliert sind und sensible Daten nicht in fremde Rechenzentren auslagern wollen. Intels neue Prozessor-Generation Lunar-Lake und das Toolkit OpenVINO sowie die Plattform VNClagoon des Schweizer Open-Source-Anbieters VNC ermöglichen Local AI – ein "Durchbruch", sagt Andrea Wörrlein ist Geschäftsführerin von VNC.

Die X86-Architektur ist so alt wie der PC. 9 von 10 Desktop- und Server-Rechner sind X86-basiert, Intel ist mit 76 Prozent Marktanteil bei CPUs für Clients weltweiter Marktführer, AMD besetzt das restliche Viertel. Die Konkurrenz setzt auf Arm-basierte PCs , wird aber die Dominanz der beiden Chiphersteller kaum gefährden – auch im KI-Zeitalter nicht. Zumal die kürzlich von Intel und AMD gemeinsam gegründete x86-Beratungsgruppe die X86-Prozessarchitektur innovieren wollen, ja müssen. Sie tun das mit vielen Tech-Riesen, die sich der neuen Gruppe angeschlossen haben, darunter Microsoft, Dell, HP, HPE, Lenovo, Google sowie der Linux-Erfinder Linus Torvalds.

Ihr Ziel: dynamische KI-Workloads und kundenspezifische Chiplet-Designs zu entwickeln, die auf der x86-Befehlsarchitekur basieren. "Wir stehen an der Schwelle zu einer der bedeutendsten Veränderungen der x86-Architektur und des Ökosystems seit Jahrzehnten", sagte Pat Gelsinger im vergangenen Oktober. Da war er noch Intel-CEO. Am Innovationsdruck, ausgelöst durch KI, änderst sich nichts.

Wie können solche Innovationen ausstehen? Wo sind sie heute schon praktisch greifbar? Ein Szenario könnte sein: Behörden, Militärs, KRITIS-Unternehmen statten ihre Mitarbeiter mit KI-Notebooks aus, auf denen komprimierte LLMs lokal laufen und sensible Daten in einer sicheren Sandbox-Umgebung lokal auf Intel-Rechnern verarbeitet werden. Alle Daten, Dokumente und Modelle funktionieren offline, KI-Prompts werden lokal auf den Rechnern ausgeführt. "Local AI" ist "Confidential AI", die datensouveränen Clients sind vor unbefugten Zugriffen Dritter geschützt und sollen funktionieren ohne funktionale Einschränkungen, sagen die Partner VNC und Intel.

Sie stellen generative KI auf dem eigenen Rechner vor. Nur eines fehlt noch: ein griffiger Name für dieses Konzept.

Vom Rechenzentrum auf den eigenen Rechner

Mit Hilfe von Toolkits wie Intel OpenVINO konnten LLMs bisher in das eigene Rechenzentrum geladen und dort performant genutzt werden – "ein erster Schritt zu mehr Datensouveränität im Umgang mit GenAI", lobt VNC. Desktop-PCs und Notebooks blieben bislang außen vor, denn für KI-Workloads waren die Rechenoperationen zu mächtig. "Durch die Kombination von VNClagoon sowie OpenVINO und der leistungsfähigen neuen Lunar-Lake-Architektur von Intel ist es jetzt möglich, die LLMs lokal auf Intel-Rechnern zu nutzen", stellt VNC das neue System vor. Hosting in proprietären Cloud-Plattformen der Hyperscaler, wegen Compliance und Datenschutz für viele Unternehmen nicht gangbar, wird durch das Konzept Local AI auf dem Client ersetzt.

"So unverzichtbar KI mittlerweile geworden ist, so gravierend sind bislang auch die berechtigten Sicherheitsbedenken im Umfeld kritischer Anwendungen", sagt Andrea Wörrlein, Geschäftsführerin von VNC in Berlin und Verwaltungsrätin der VNC AG in Zug. "Local AI bringe "jetzt den Durchbruch", sagt Wörrlein.