Toujours en 1929, Love Me Or Leave Me est une chanson à la mode que Fats reprend à sa manière. Dans un style energique et amusé, Fats introduit avec un couplet puis enchaîne des variations sur le refrain.