ubuntuusers.de

Firefox hat beim letzten Release so viele Fehler wie noch nie korrigiert, die dank einer KI gefunden wurden. Da frage ich mich: wenn diese KI erstmal die Bösen in die Hände bekommen oder schon haben, was ist dann mit all den kleinen Open Source Projekten, die nicht die Power wie Firefox haben, um in kürzester Zeit hunderte Bugs zu korrigieren. Wird hier Open Source zu einem Schwachpunkt? Wird es zu einem Wettrüsten zwischen den RootKit erstellen und den Open Source Programmierern, wer die potentere KI zum Fehler finden hat?

Ich sehe hier eine Schere zwischen dem Ideal, nämlich dass jede Software dank KI von Bugs befreit oder schon bugfrei entwickelt wird. Und der Realität, dass es Menschen braucht, die ihre Zeit dafür verwenden, die Bugs dann auch zu beheben und dass es da bei vielen Projekten fehlen wird, die dann Frewild für die Gauner sind, die Exploits entwickeln.

Wie schätzt ihr das Thema ein?

“Programming today is a race between software engineers striving to build bigger and better idiot-proof programs, and the Universe trying to produce bigger and better idiots. So far, the Universe is winning.”

― Rick Cook, The Wizardry Compiled

Und Werkzeuge sind Werkzeuge, egal ob sie von Entwicklern, Handwerkern, Idioten oder Gaunern benutzt werden.

Ich bin mittelmäßig besorgt.

Kürzlich sah ich ein Video, und versuche noch mich zu erinnern, welches Opensourceprojekt das war, welches mit intensivem KI-Einsatz nach möglichen Bugs durchsucht wurde. Es wurden zwar erschreckend viele Bugs gefunden, aber es hat - wenn ich mich recht entsinne - auch 20.000 € für die Tokens gekostet, um viele Durchläufe zu generieren. So viel Geld hat nicht jeder, der Malware in Umlauf bringen will, die das ausnutzt.

Außerdem hat die Kontrolle, ob das wirklich Bugs sind oder Halluzinationen auch viel Zeit gekostet. Auch das kann nicht jeder investieren.

Die LLMs können sowohl in der Absicht, die Software anzugreifen, eingesetzt werden, als auch zur Härtung. Kurzfristig sind wohl die Angreifer im Vorteil, aber wenn die Entwickler nachziehen, und ihre Software absichern, dürfte es schwieriger und schwieriger werden, weitere Schwachstellen zu finden.

Wenn man keinen Server ins Netz hängt, dann ist es für Angreifer auch immer noch schwer, einen Bug auszunutzen. Angenommen man könnte Gimp mit frisierten Bildern dazu bringen, untergeschobenen Code auszuführen, dann muss man den Anwender ja immer noch dazu bringen, eine solche Grafik mit Gimp zu öffnen.

Der Browser ist wohl das verwundbarste Stück Software auf dem Anwenderrechner. Danach vielleicht Mailprogramm, Officesuite, PDF-Viewer. Womöglich wird die Bugsuche aber auch so teuer, dass gar nicht viel passieren wird. Bei welchem Preis die LLMs kostendeckend arbeiten ist meines Wissens ja noch nicht raus.

Ich bin in dem Themengebiet aber interessierter Laie, also genießt meine Aussage mit Skepsis.

user_unknown schrieb:

Angenommen man könnte Gimp mit frisierten Bildern dazu bringen, untergeschobenen Code auszuführen, dann [...]

... wäre es noch pfiffiger, die zu Grunde liegenden Bibliotheken für Bildformate anzugreifen. Aber da gab es erst kürzlich einige Sicherheitspatches.

• https://ubuntu.com/security/notices/USN-8252-1

• https://ubuntu.com/security/notices/USN-8251-1

Für ImageMagick gibt es auch Patches, aber mit denen lief der Compilerlauf am Wochenende bei mir nicht mehr durch.

• ImageMagick/ImageMagick/commits/main

Irgendwas ist ja immer, im Pinguin- und Frickelland. ¯\_(ツ)_/¯

trollsportverein schrieb:

user_unknown schrieb:

Angenommen man könnte Gimp mit frisierten Bildern dazu bringen, untergeschobenen Code auszuführen, dann [...]

... wäre es noch pfiffiger, die zu Grunde liegenden Bibliotheken für Bildformate anzugreifen. Aber da gab es erst kürzlich einige Sicherheitspatches.

Dass es noch pfiffiger wäre, dem kann ich nicht ganz zustimmen, denn es gäbe dann ja eine Schnittmenge von Gimp angreifen/zugrundeliegende Bibliothek angreifen. Der Angriff wäre dann ja nicht pfiffiger als er selbst.

Da ich noch keine Exploits zu entwickeln versucht habe bin ich hier am spekulieren, aber vermute, dass alle Angriffe über das Bildformat letztlich auf Bibliotheken zugreifen. Man könnte natürlich Gimp als Source runterladen, selbst kompilieren, und die Libs statisch dazubinden - ich glaube diese Überlegung führt aber zu keinem interessanten Punkt.

Ob es für einen Exploit auf eine Bibliothek einen Unterschied macht oder machen kann, ob diese von Gimp, vom Browser, von sonstwem aufgerufen wird, weiß ich nicht. So oder so muss der Angegriffene den Payload, das manipulierte Bild bekommen und arglos öffnen (oder ein Video, Musik, ...).

Die Tage sind mir zwei Angriffe aufgefallen. Außer den Angriffen auf die Canonical Infrastuktur. Da war das da:

• https://www.deskmodder.de/blog/2026/05/09/jdownloader-warnt-vor-manipulierten-installern-nach-angriff-auf-website

Und auf Youtube sollen irgendwelche Gauner den Kanal von Weichreite gehackt haben, und Bitcoin oder ähnliches Zeug unter geschoben haben, trotz Youtubes Zwei-Faktor-Authentisierung. Ob bei den Vorfällen KI als Werkzeug benutzt wurde? Wer weiß? ¯\_(ツ)_/¯

Ein CMS angreifen, oder eine Webseite kapern, um verseuchte Downloads unterzuschieben, das gab es aber auch schon vor KI.

user_unknown schrieb:

Es wurden zwar erschreckend viele Bugs gefunden, aber es hat - wenn ich mich recht entsinne - auch 20.000 € für die Tokens gekostet

Gerade das macht mir Sorgen: Dass viele Entwickler NICHT diese Prozedur durchmachen, weil es zu teuer und zu aufwändig ist, und die betreffende Software dann darauf wartet, bis sie einem kriminellen Netzwerk genug wert ist, das Geld zu investieren.

Eine Sache, die ich nicht weiß: Funktioniert das auch mit kompilierter Software (also auch mit Closed Source Programmen)? Denn in dem Fall wäre es nicht mehr ein Open-Source-spezifisches Problem. Ich könnte mir gut vorstellen, dass KI auch auf lesen von Binärcode trainiert werden (oder schon sein) könnte.

Da ich noch keine Exploits zu entwickeln versucht habe bin ich hier am spekulieren, aber vermute, dass alle Angriffe über das Bildformat letztlich auf Bibliotheken zugreifen.

Ich erinnere mich dunkel, dass da zu Win98 Zeiten mal so etwas war. Da wurde im Kommentar Bereich einer JPG Datei eine URL untergebracht. Da wurde die "Übergriffigkeit" von MS Office ausgenutzt.

Bei mir hat Gimp mal eine Datei angemeckert, wo nach den Bilddaten noch ein überflüssiges Byte vorhanden war (mein Fehler).