So könnt ihr "ChatGPT" lokal auf eurem PC betreiben, Facebook/Meta hat die Open-Source GPT Bewegung mit unzensurierten Modellen entfacht 🚀

Ende Februar hat Meta LLaMA (Large Language Model Meta AI) für wissenschaftliche Zwecke veröffentlicht, eine Serie von Sprachmodellen in unterschiedlichen Größen. Diese reichen von 7 Milliarden für das kleinste Modell bis 65 Milliarden Parameter. Zum Vergleich ChatGPT soll mit 175 Milliarden Parameter trainiert worden sein.

Es dauerte nicht lange und die LLaMA-Modelle wurden ins Internet geleakt und von der Stanford Universität (Alpaca) und der Open-Source-Community aufgegriffen und mit Antworten von ChatGPT weiter trainiert.

Mittlerweile ist es möglich, die kleineren auf LLaMA-basierte Modelle sogar lokal auf dem PC zu betreiben.

Und das Beste ist, es gibt auch Modelle, die nicht zensuriert sind. Yeah, endlich.

Allerdings gibt es auch einen Hacken, die Large Language Modelle brauchen enorm viel VRAM (unter 12 GB kann man es eher vergessen) und die kleineren Open-Source-Modelle sind noch ziemlich doof und deutlich schwächer als ChatGPT / GPT-4 und in der Praxis im Moment kaum verwendbar, da sie so viele Fehler machen oder sogar in Endlosschleifen stecken bleiben und immer denselben Text erzeugen.

Aber die Open-Source-Modelle werden immer besser und entwickeln sich rasend schnell weiter. Fast jeden Tag wird ein neues Modell veröffentlicht, das ein bisschen besser ist oder eine Nische abdeckt.

## So könnt ihr die LLaMA Modelle lokal auf eurem PC ausführen

Eines der Interfaces, das sich unter Windows am einfachsten installieren lässt, ist GPT4All.

https://gpt4all.io/

https://github.com/nomic-ai/gpt4all

Einfach den Windows Installer ausführen und dann GPT4All starten und ein Modell auswählen und herunterladen und loslegen. Es ist keine GPU notwendig,  die Berechnung findet auf der CPU statt und es sind circa 8 GB RAM für die kleinsten 7B Modelle notwendig.

Voilà.

Ein weiteres LLM-Interface, das sich etabliert hat, ist Oobabooga, das allerdings etwas aufwendiger zum Installieren ist.

https://github.com/oobabooga/text-generation-webui

Eine ausführliche Installations-Anleitung findet ihr auf dem Channel von Aitrepreneur.

Was sagt ihr dazu, dass man dank Facebook und der Open-Source-Community LLMs in der Zwischenzeit sogar lokal am PC betreiben kann? Habt ihr es schon ausprobiert?

## GPT4All

![image.png](https://images.hive.blog/DQmWvGJ79RKizXrbnTHAxxTr6pve9PRchfZx2eJBx5LnfR7/image.png)

https://gpt4all.io/

## Oobabooga (Installation guide)

https://www.youtube.com/watch?v=lb_lC4XFedU

Video credit: [Aitrepreneur](https://www.youtube.com/watch?v=lb_lC4XFedU)

## mpt-47b-chat Demo

### Q

What is the Hive Blockchain?

### A (mpt-47b-chat)

The Hiive blockchain is a decentralized, secure and transparent platform for verifying identity and managing personal data. It allows individuals to take control of their digital identity by creating a unique digital identity that is verified through biometric authentication. The Hiive blockchain provides a tamper-proof record of all identity verification activities, ensuring that personal information is kept safe and secure.

### Q

solve the puzzle: When I was 6 my sister was half my age, now i'm 70. How old's my sister?

### A ( mpt-47b-chat)

Your sister is currently 50 years old.

### Result

Both answers are terribly wrong and the 7B model also misspelled "Hiive"  🙈 ChatGPT can solve both prompts btw.

## English

This is how you can run "ChatGPT" locally on your PC, Facebook/Meta has sparked the open-source GPT movement with uncensored models 🚀

In late February, Meta released LLaMA (Large Language Model Meta AI) for scientific purposes, a series of language models in different sizes. These range from 7 billion for the smallest model to 65 billion parameters. For comparison, ChatGPT is said to have been trained with 175 billion parameters.

It wasn't long before the LLaMA models were leaked to the Internet and picked up by Stanford University (Alpaca) and the open source community and further trained with responses from ChatGPT.

Meanwhile, it is possible to run the smaller LLaMA-based models even locally on a PC.

And the best thing is, there are also models that are not censored. Yeah, finally.

However, there is also a hitch, the large language models need an enormous amount of VRAM (below 12 GB you can rather forget it) and the smaller open source models are still pretty dumb and much weaker than ChatGPT / GPT-4 and in practice hardly usable at the moment, because they make so many errors or even get stuck in infinite loops and always generate the same text.

But the open source models are getting better and better and evolving rapidly. Almost every day a new model is released that is a little bit better or covers a niche.

## How to run the LLaMA models locally on your PC

One of the interfaces that is easiest to install on Windows is GPT4All.

https://gpt4all.io/

https://github.com/nomic-ai/gpt4all

Just run the Windows installer and then run GPT4All and select and download a model and get started. No GPU is needed, the computation is done solely on the CPU and about 8 GB of RAM is needed for the smallest 7B models.

Voilà.

Another LLM interface that has become established is Oobabooga, but it is a bit more complex to install.

https://github.com/oobabooga/text-generation-webui

You can find a detailed installation guide on the channel of Aitrepreneur.

What do you think about the fact that thanks to Facebook and the open source community you can run LLMs locally on your PC in the meantime? Have you already tried it out?

*Live your Secrets and Hive Prosper* 🍯

xx Viki @vikisecrets

Posted with [STEMGeeks](https://stemgeeks.net)