L'expression ne désigne pas nécessairement des actes dangereux, mais plutôt des dépenses jugées superflues, luxueuses ou impulsives, par rapport à son train de vie habituel. Elle a une connotation à la fois critique (gaspillage) et positive (plaisir, liberté). Elle peut aussi s'appliquer à des comportements non financiers (aventures sentimentales, excès).

Le terme "folie" a longtemps désigné, depuis le Moyen Âge, un état de déraison, de perte du sens commun. Au XVIIe et XVIIIe siècles, dans l'aristocratie et la bourgeoisie montante, "faire des folies" signifiait s'adonner à des dépenses somptuaires, des caprices coûteux (bijoux, toilettes, fêtes) qui pouvaient ruiner une fortune. Les "folies" étaient aussi de petites maisons de plaisance construites à la campagne par des riches oisifs. L'expression s'est démocratisée au XIXe siècle pour décrire tout écart financier jugé irraisonné par rapport aux normes de frugalité bourgeoise.

Pour son anniversaire, on a fait des folies au restaurant.

Il a fait la folie de s'acheter une voiture de sport.

De temps en temps, faire une petite folie, ça fait du bien.