ubuntuusers.de

Liest du mit? WHISPER_OPENBLAS=1 habe ich auf meinem System verwendet, wenn du eine Nvidiagrafikkarte hast, ergibt die genannte Option WHISPER_CUDA=1 viel mehr Sinn, weil Whisper dann um ein mehrfaches flotter läuft. Du bist doch ein erfahrener Entwickler, dann lies dich doch mal auf der Projektseite ein?

nach Suche im Netz

root@kmul:/usr# sudo apt-get install libopenblas-dev
cd whisper.cpp
make WHISPER_OPENBLAS=1

erfolgreich.
./main -m large-v3 -ng -p 4 -l deutsch -otxt -of wh-out -mc 1000 -np -nt
und wie Mikrofon → Text ?
whisper:
es muss doch heraus zu finden sein was man whisper-options --task umd --device eintragen muss.
/home/wolf/whisper/bin/activate
# This file must be used with "source bin/activate" *from bash*
hat mal funktioniert, source ist verschwunden wie bekomme ich es zurück ?

verdooft schrieb:

sudo apt install libsdl2-dev
make stream WHISPER_OPENBLAS=1

verdooft schrieb:

./stream -m models/ggml-tiny.bin --language de --length 6000 -t 8
[..]
[Start speaking]
 Das ist ein Test.
 * Musik *

Bist du sicher, dass du das auf der CPU laufen lassen möchtest? Da du wieder als root unterwegs bist, bin ich hier jetzt raus.

zu opennai:
ist für FreeBSD, ich habe es mit KDE versucht, geht natürlich nicht.
Entschuldigung für meinen Versuch es unter KDE zu versuchen,
für openai gibt es mehr als 3000 Vorschläge zur Installation zu speech-text
zu whisper.cpp:
ich habe mir eine Liste gemacht was alles installiert werden muss, die Liste hat 168 Zeilen, es hat 2 Tage gedauert. es kommen errors und fehlende Software. ich kann eine start fähige Version erstellen:

1

./main -m gegel-large-v3-bin -ng -p2  -l deutsch -otxt -of wh-out -mc 1000 -nt

aber es macht nichts. wie kann man einen Testaufruf beenden ? ^C funktioniert nicht. ich habe sehr umfangreiche Listen mit Optionen deren Bedeutung nicht erkennbar sind. welche includes werden benötigt und wie bekommee sie in mein ~/whisper,cpp ? das zeitaufwendige suchen auf Hinweise im Netz hat keinen Nutzen erbracht. bei Antworten bitte nur Fragen beantworten und ausführbare Befehle als Code verwenden.

we bekomme ich mit meinem Notebook Sprache vom eingebautem Mikrofon als Text auf den Bildschirm ? für whisperAI komme ich nicht an das benötigte ffmpeg 5.

whisper.cpp 
 https://github.com/ggerganov/whisper.cpp -> Readme ->
  -> Linux / FreeBSD ->  Build on FreeBSD #56 
  -> Quick start -> git clone https://github.com/ggerganov/whisper.cpp.gi
  -> whisper.h
  -> whisper.cpp/whisper.cpp
  -> ggml
  -> /whisper.cpp
  -> whisper.cpp/examples/command
  -> whisper.cpp/examples/talk.wasm
  -> ... 

dies ist der Anfang eines endlosen Irrgartens. ich habe es mit der Quick start Version probiert und kann -/main starten aber es hat keine Funkion. wofür ist die Quick start Version gedacht ? ist es überhaupt möglich ohne FreeBSD mit kubuntu 24.04 eine Lösung zu erreichen ?

Das Programm stream im examples Ordner ist dazu geeignet. Siehe weiter vorne im Thread.

es funktioniert nicht

Building
sudo apt-get install libsdl2-dev # OK

make stream
ggml.c:(.text+0x18a16): undefined reference to `cblas_sgemm'
collect2: error: ld returned 1 exit status

whisper.cpp/examples/stream$ make stream
g++ stream.cpp   -o stream
stream.cpp:6:10: fatal error: common/sdl.h: No such file or directory
    6 | #include "common/sdl.h"
      |          ^~~~~~~~~~~~~~
compilation terminated.
make: *** [<builtin>: stream] Error 1

t

wolf49 schrieb:

whisper.cpp/examples/stream$ make stream
g++ stream.cpp   -o stream
stream.cpp:6:10: fatal error: common/sdl.h: No such file or directory
    6 | #include "common/sdl.h"
      |          ^~~~~~~~~~~~~~
compilation terminated.
make: *** [<builtin>: stream] Error 1

README.md im stream-Verzeichnis gelesen gelesen?

Ensure you are at the root of the repo when running make stream. Not within the examples/stream dir as the libraries needed like common-sdl.h are located within examples

Sollte dein Notebook eine richtige Grafikkarte haben, pass die make-Optionen an, läufts per CPU nur werden sonst Spracheingaben übersprungen, es kommt nicht der ganze Text an, inbesondere unter Verwendung der größeren Modelle.

GPU: [AMD/ATI] Kabini [Radeon HD 8280 / R3 Series]

1
2
3
4
5

https://github.com/ggerganov/whisper.cpp ->
Quick start -> whisper.cpp -> OpenCL GPU support via CLBlast # ->
https://www.openblas.net/
 root@kmul:/home/wolf# https://www.openblas.net/
 bash: https://www.openblas.net/: Datei oder Verzeichnis nicht gefunden

1

https://forum.ubuntuusers.de/

nur CPU ohne GPU geht das ?

WHISPER_OPENBLAS=1 kompilierts schon mit OpenBlas-Unterstützung. Da das per CPU wesentlich langsamer geht, ist mit Einschränkungen zu rechnen, wenn es um Realtimeanwendungen geht.

Die Webadresse von OpenBlas im Terminal zu entern bringt nichts, man kann stream mit OpenBlas-Support z.B. so kompilieren, wenn man im Wurzelverzeichnis von whisper.cpp ist:

make stream WHISPER_OPENBLAS=1

make stream WHISPER_OPENBLAS=1
make: „stream“ ist bereits aktuell.

nochmal: nur CPU ohne GPU geht das ?

Wahrscheinlich nicht perfekt, bei größeren Modellen kommt es zu Aussetzern.

Bei mir klappt das z.B. per CPU:

./stream -m models/ggml-small.en.bin --language en --length 6000 -t 8
...
[Start speaking]
whisper_mel_init: n_len = 3300, n_len_org = 299, n_mel = 80
 This language model understands my bad English.
whisper_mel_init: n_len = 3320, n_len_org = 319, n_mel = 80
 [BLANK_AUDIO]

In DE:

./stream -m models/ggml-small.bin --language de --length 6000 -t 8
...
[Start speaking]
whisper_mel_init: n_len = 3300, n_len_org = 299, n_mel = 80
 Das ist ein Test in deutscher Sprache.
whisper_mel_init: n_len = 3320, n_len_org = 319, n_mel = 80
 [Musik]

Mal erkennt das Programm das Rauschen meines Mikros als Stille, mal als Musik.

Audio im Nachhinein zu transkribieren oder zu übersetzen ist auf meinem System aber wesentlich zuverlässiger.

# Real-time audio input example usage. ./stream -m ./models/ggml-base.en.bin -t 8 --step 500 --length 5000 # .de geht nicht startet, ich kann es nicht beenden, wie beenden ? in ~/.cache/whisper ist keine Datei

./stream -m models/ggml-small.en.bin --language en --length 6000 -t 8 Speicherzugriffsfehler (Speicherabzug geschrieben) keine Ausgabe

wolf49 schrieb:

root@kmul:/home/wolf# https://www.openblas.net/

Kein Support für Ausführungen als root. Nur eines: Beenden geht mittels Strg + C. Threadzahl ist auf deine Hardware anzupassen. Lies dich doch mal aufmerksa in die Anwendungen ein. die du verwenden möchtest.

wolf@kmul:~/whisper.cpp$  https://www.openblas.net/
bash: https://www.openblas.net/: Datei oder Verzeichnis nicht gefunden

das lesen vonden Dokumentation hat bisher keinen Erfolg gebracht sondern nur ins Nichts weiter geleitet. nur ausführbare Befehle helfen weiter.