Sorry @pako hatte es gestern nicht mehr geschafft. Hier eine schnelle laienhafte Skizze 
Die Version ohne Diode habe ich bei mir umgesetzt. Klappt super seit Monaten.
Die Version mit Diode müsste auch gehen, aber bei der Diode auf den maximal möglichen Strom achten. Sie muss dafür ausreichend dimensioniert sein. Ist aber von mir nicht getestet. Also nur Theorie.
Ohne Diode auf keinen Fall die rechte Version machen, da dann bei angesteckten 5 Volt per USB der DC-DC Rückwärts versorgt wird. Dies mag er nicht und er wird mächtig warm.
Hoffe das hilft dir.
Viele Grüße Steffen