[…] VPN Server mit Standort 1 steht im Rechenzentrum, mit der public IP XXX.XXX.XXX.44 auf br0. […] Standort 2 ein Gateway mit der VPN IP 192.168.80.2 auf tun0, und der lokalen IP 192.168.150.20.
Bei Verbindungen über das Internet benötigen grundsätzlich und ausnahmslos beide Kommunikationspartner öffentliche und routingfähige IP-Adressen. Ist das bei Dir gegeben?
Jede Seite, die private Adressen verwenden will, muss daher diese per NAT/PT auf eine öffentliche und routingfähige IP-Adresse umsetzen, wobei wir wieder beim vorstehenden Absatz landen.
Auch manche Internet-Provider und Server-Vermieter vergeben an ihre Kunden keine öffentliche, routingfähige IP-Adresse, sondern verwenden NAT, dann CGN (Carrier Grade NAT) genannt – was aber technisch genau so einschränkend wie NAT auf Seite des Endkunden ist.
Wenn Du nicht wirklich auf beiden Seiten eine öffentliche und routingfähige IP-Adresse hast (was wir nicht beurteilen können, da Du hierzu keine Angaben machst), lässt sich Dein Vorhaben nicht realisieren.