Der einfachste Weg wäre es, wenn du einen PiHole oder generell einen eigenen DNS Server betreibst, dort einen A Record zu setzten. D.h. du setzt bei deinem Hosting Provider (Strato, Hetzner, etc.) deine Öffentliche IP (z.B. 89.123.12.21) und in deinem eigenen DNS Server die interne IP von deinem Server (z.B. 192.168.178.20). Die Fritzbox kann das aber leider nicht.
So hast du über all den gleichen Namen, gehst aber den Direktesten weg. Mit IPv6 ist der DNS Server eigentlich egal, da der Server keine Private IP hat, sondern eine öffentlich Routbare Adresse (z.B. 2003…)