こすり落とす、擦り取る

The gold coloring had begun to rub off.

金色が落ち始めていました。

Rub that smile off your face and get serious!

にやにやしていないで、真剣になってください。