AI NPCs und opensim

[Cheryl Furse]

Hallo zusammen

ich bin total thrilled von den ganzen Möglichkeiten mit KI und hatte auch gleich chatGPT 3.5 auf meinem MacBook ausprobiert. Allerdings nicht mit einem API key von openAI sondern GPT4all in der ersten version 0.1.0 die offline funktioniert. Das war richtig spannend, auch wenn es immer noch dachte Merkel wäre Kanzlerin und Olaf Scholz Finanzminister. Die Datenbank war nicht aktuell und neue Ereignisse wie die Wahl kannte es noch nicht. Aber es hat schon richtig gute Ergebnisse geliefert.Schon damals hatte ich mit dem Gedanken gespielt, wie Total Sorbet auf OSgrid, einen NPC zu bauen, der mit einem sprechen kann und das nach damaligen neusten Möglichkeiten was noch chatGPT 3.5 Turbo war. Total Sorbet hatte es mit der API key Version gelost und brauchte dafür einen PHP layer von einer Website um von openAI dann auch die Daten zu bekommen. Ich dachte mir, dass es vielleicht einfacher gehen könnte ohne dass openAI bescheid weiss, wer und was wir so in opensim besprechen mit einem chatGPT bot NPC. 

Für diesen Fall wäre es also gut, wenn man einen eigenen Computer hätte, der die Daten liefert und mit GPT4All ist das ja auch möglich. Es müsste also möglich sein einfach seinen Grid gleichzeitig mit einem GPT4All bot bestücken zu können ohne umwege über andere Server durchs ganze Internet.

Das scheiterte schon alleine daran, weil es noch keine Schnittstellen gab von GPT4All in der 0.1.0 Version und es einfach nur chatGPT 3.5 in untrainierter rohfassung laufen liess. 

Das könnte heute aber anders sein, denn man bekommt sogar für die neue GPT4All version 2.5.2 sogar viele unterschiedliche AI modelle zum download und kann gefüttert werden. Ich füttere mein Mistral AI nun mit meinen Pharmakologie und Biochemie Lehrbüchern, die ich als pdf or epub habe und unterhalte mich so mit meinem MacBook mit schwierigen Fragen über Medikamenten design und andere Probleme in der Pharmakologie.

Ich weiss nicht wie man das praktisch realisieren könnte aber irgend wie müsste es ja möglich sein z.B. einen Sim zu bauen mit einem Apotheker den man über medizinische Fragen befragen könnte. Der Apotheker in der Apotheke auf dem sim wäre ein chatbot NPC und das ganze könnte dann völlig unüberwacht von Internetkonzernen laufen, wenn GPT4All auf dem gleichen Server liefe wie die grid software. So stelle ich mir das vor.

Es gäbe keine accounts bei openAI oder sonstwem. Man wäre einfach nur Besucher auf einer Sim und ein Apotheker als chatbot könnte professionelle Antworten geben, wenn man ihn mit Lehrbüchern vorher gefüttert hat.

Mistral AI ist unzensiert und kann nur selber denken, wenn man die richtigen Fragen stellt. Es gibt kein ideologisches wokes Vortraining wie bei anderer chatGPT AI.

Es braucht also nur ein Füttern mit Lehrbüchern und die AI muss sich daran halten, rein Lehrbuch faktenbasiert.

Ich habe schon einen testlauf gemacht, und Mistral AI hat sehr gut geantwortet. Kein sozialpädagogisieren oder wokes Gequatsche, was dann den Anschein geben soll zu moderieren.

Hat jemand mit chatGPT Erfahrung und kennt sich mit GPT4All aus um sowas als NPC integrieren zu können? Für openAI API key Anbindung hat es total sorbet ja schon gemacht. Aber für GPT4All ohne Server anbindung an openAI müsste es dann anders laufen.

[Cheryl Furse]

Ich hatte heute ein sehr langes Gespräch mit Total Sorbet auf Lbsa und sie hat selbst schon an vielen neuerungen für ihre Version gearbeitet. Sie hat auch schon ihre neuste Version mit zugang zu verschiedenen Modellen, die man auswählen kann, gearbeitet.

Hier ist ihr Coding für den PHP Layer und das script.

https://forums.osgrid.org/viewtopic.php?...it=chatGPT

Wir haben uns über Möglichkeiten unterhalten wie man auf den PHP Layer verzichten könnte, und es wäre theoretisch möglich. GPT4All hat eine API Interface Schnittstelle und es wäre möglich so mit opensimulator direkt zu verbinden.

Man muss es sich so vorstellen wie mit einem VLC Mediaplayer, wo man eine Playlist als Sim Radio abspielen lässt. Hier bei GPT4All wäre die Playlist dann eher das womit man die AI füttert. Also mit Lehrbüchern um gewünschte kompetenten, professionellen Gesprächspartner zu haben oder eben für "educational" sims egal, was es dann wäre.

GPT4All kann auch mit text to speech dazu gebracht werden mit Voice zu handhaben, aber das sollte dann verschlüsselt sein, wie mit Matrix Protokoll z.B. Ist aber alles aufwändig und die Herausforderung wäre sowas wie einen Stream zu erzeugen, wie es in gleicher Geschwindigkeit spricht und schreibt. GPT4All macht es automatisch so, aber es dann auch im public chat genauso als stream erscheinen zu lassen, wäre dann wohl die Herausforderung. Normalerweise sieht man sonst bei alten ChatGPT NPC Versionen, dass sofort der ganze Text als Tapete im public chat erscheint. Manche haben sogar soviel text geschrieben, dass gleich das ganze Fenster zugeklatscht ist. Das sollte man vermeiden, denn die AI Software redet gerne viel. Daher muss dann auch der Stream erfolgen und nicht gleich das ganze Chatfenster zugeknallt sein mit Text.

Die Vorteile würden für GPT4All mit der KI Mistral instruct auf der Hand liegen im Gegensatz Internetbasiert chatGPT4 von OpenAI die Daten anzufordern:

1. Es kostet nix
2. Es kann unzensiert ohne wokes training und Sozialpädagogisieren rein Lehrbuch Faktenbasiert funktionieren (nur mit Mistral Instruct)
3. Es schützt die Privatsphäre und läuft im Prinzip nur auf dem Gridserver offline ohne Daten von Dritten bekommen zu müssen. Man erstellt also nur seine eigene Playlist mit Lehrbüchern sozusagen.

Man könnte natürlich auch GPT4All mit PHP Layer bauen, aber dann läuft LSL script nur mit einem HTTP PHP Layer und nicht SSL verschlüsselt. Wie ich von Total Sorbet erfahren habe unterstützt LSL scripting nur HTTP und nicht HTTPS.

Die beste Variante wäre aber direkt mit Opensimulator zu verbinden so wie es auch mit dem VLC Mediaplayer szusagen funktioniert. Ich werde dazu mal Fred befragen was er dazu meint.

[DarkWolf]

Hallo Cheryl,

das ist Pelen vor die Säue werfen, wie man hie rim Ruhrgebiet so schön sagt.
Bis auf ein paar technischen Kleinigkeiten hast Du ja recht mit dem was Du im vorherigen Beitrag schreibst, ABER wozu?
Wozu sollen sich Leute, die das scripten könnten, die Zeit dazu nehmen wenn die Basics in OpenSim schon was für den Hammer sind.

Grundlegend geht es doch schon damit los, dass man sich in OS nicht auf einen Standart einiegen kann. Was zur Folge hat, das Erweiterungen in Grid A laufen und in Grid B nicht mehr.


Dann sehe ich das Problem, daß viele Gridbetreiber leider Daten von OpenSim mit Daten des FBI Verwechseln. SIcherheit ist richtig wichtig, auch in OS, aber leider wird hier und da mit Kannonen auf Spatzen geschossen. Und ohne externe Daten kannst Du so ein "Projekt" gleich in die Tonne treten. Eine KI zu füttern ist keine Sache, die man zwischen Kaffe, Zigarette und eine Nummer zwischen durch macht.

Auch wenn man NPCs oder Bots dafür nutzt, kommen wir wieder ganz schnell zum Anfang dieses Beitrags. Der gemeinsame Standart. Ich erinnere Dich hier an den, die Amis würden nun "the fucking bullshit" sagen, was zum Bsp. Pagane in OsW verzapft.

Du siehst, du drehst Dich im Kreis hier in OS. Die meisten User und Grid Betreiber sind in der Schiene X festgefahren und können oder wollen da nicht raus.

Fassen wir zusammen:
1. Schaffe es, dass die Grid und SIM Betreiber sich auf einen GEMEINSAMEN technischen Standart einiegen
2. Schaffe es, dass Grid und SIM Betreiber aus ihren Kompfort Zonen bewegen und offen für neues werden

Ich denke das sind Punkte, da bist Du bis Weihnachten 2307 beschäftigt.

Und ich meine diesen Beitrag nicht böse, bevor aus anderen Foren wieder unqualifizierte Nachrtichten kommen.

[Cheryl Furse]

Du hast sicher recht mit den Perlen und hatte es ja schon vor einem Jahr mit RLV gesehen, dass es keine Möglichkeit gibt sich auf Standards und Kooperation zu einigen. Netzwerken und kooperieren für ein win-win liegt in weiter Ferne in der Mentalität von der Opensim Kultur. Jeder glaubt nun Lindenlab selbst zu sein nur weil sie Häkchen auf der Benutzeroberfläche von Opensimulator software setzen können. Ich weiss.

Dennoch denke ich, dass es Anreize geben sollte sich zu bemühen. Da den meisten Männern in Opensim schon das Testosteron abhanden gekommen ist, ist es aussichtslos mit RLV etwas hinzubekommen. Aber mit anderen Projekten, die vielleicht auch Neugierde entfaltet, wäre es möglich. So jedenfalls meine Hoffnung.

Ich denke Opensim ist bislang noch die einzige Plattform mit soviel Content, dass es noch spass macht, auch wenn ich selbst mit meinem MacBook eher gehandicapt bin und nicht die Performance habe wie Gamer Computer durch die OpenGL Unterstützung der Graphikkarten. Aber es reicht auch wenn MacOS seit 10 Jahren schon kein OpenGL mehr unterstützt. Aber ich denke hier auch weiter und unterhalte mich genauso auch in Thirdroom darüber, was m.E. das zukünftige Potential hat. Daher würde ich es dann auch gleich mit dem Matrix Protokoll verbinden wollen, was es dann einfacher macht einen sanften Übergang zu schaffen.

Was KI füttern angeht, so ist es heute wirklich schon so einfach. Gerade mit GPT4All kann man es heute so einfach machen. Ich habe mein GPT4All meinen Dokumentenordner zugreifen lassen und es kann nun alles nutzen was ich dort drin liegen habe. Bücher, peer reviewed Papers usw. Ich frage mein Mistral offline Schritt für Schritt Dinge ab, so wie ich es auch im Studium gelernt habe und kann mittlerweile sogar mit ihm kompetent diskutieren über Probleme in der Pharmakologie und Biochemie. Es ist tatsächlich so einfach. Die AI von heute ist nicht mehr chatGPT 3.5 In einem Jahr hat sich die AI exponentiell verbessert.

[DarkWolf]

Huhu,

und da sind wir doch genau an dem Punkt. Wenn man sich in OS auf "Standarts" einigen könnte, hätte es auch Phoenix (FireStorm Viewer) wesenlich einfacher. Sie bräuchten sich nicht um jede Eventualität Gedanken machen. Das würde auch, so denke ich, die Entwicklung der Grafik Engine nach vorne bringen.

Hast mal nen Link zu der freien KI?

[Cheryl Furse]

https://gpt4all.io/index.html

Du kannst alle möglichen Modelle downloaden. Aber probier Mistral Instruct. Ist gleich die zweite AI, die angegeben wird.

[Cheryl Furse]

Fred scheint schwer zu erreichen zu sein. Egal ob opensim auf eigenem Grid, Osgrid oder Facebook.In der Zwischenzeit haben sich aber schon mehrere Interessierte gemeldet und Kashi Takeshi scheint wohl selbst noch ganz andere AI auszuprobieren, die es noch nicht als Modell in GPT4All gibt.

@CherylFurse kewl!
I am now playing with oobaboog.

https://github.com/oobabooga/text-generation-webui

Mittlerweile gibt es eine Hand voll Menschen, die auch gerne im Austausch dazu stehen würden. Jeder scheint wohl für sich selbst herum zu tüfteln. Ein Austausch darüber würde aber sicherlich helfen selbst weiter zu kommen.

Ein Forum für so eine kleine Gruppe würde sich nicht lohnen, aber ist immer gut zu wissen, wer da selbst herum tüftelt und kann sich in opensim treffen.

[Cheryl Furse]

Kashi hat bei seiner Chatbot AI auch die Möglichkeit mit Textfiles zu füttern

[DarkWolf]

Huhu,

ich habe mir das mal angesehen. Leider ist es unter Linux Mint, was ich lokal nutze, nicht installierbar.

[Cheryl Furse]

welches? GPT4All ist für Linux zum download verfügbar

Das von Kashi weiss ich nicht. Hab es selbst noch nicht ausprobiert.