Disclaimer: The following incident took place a number of years ago, and my account is at best only roughly accurate:
I was observing Rav Nissim Karelitz’s קבלת קהל. A very earnest and pious looking אברך approached Rav Nissim with some sort of pullback motor powered toy car, and asked him if operating it was permitted on shabbas. R. Nissim, with a beatific smile, gently suggested that learning Torah would be preferable. The chagrined אברך hastened to explain that he was not, of course, asking for himself, but for a young child, who might occasionally need a break from more spiritual activity. R. Nissim was undeterred: “He, too, should preferably learn!”
The classic argument over the value and legitimacy of play (on Shabbas and Yom Tov in particular) concerns playing ball on Yom Tov in an area without an eruv; various rishonim, followed by Rema, attest to such a custom of ball playing and endorse it, considering fun a legitimate Yom Tov need, while the more austere Maharshal, while grudgingly willing to allow play by children, cannot countenance it for adults:
משנה
מתני’ בית שמאי אומרים אין מוציאין לא את הקטן ולא את הלולב ולא את ספר תורה לרשות הרבים ובית הלל מתירין:1
תוספות
לאו דוקא קטן למולו דה”ה שלא למולו דשרי גם טיול דהא אשכחן נמי דמשחקין בכדור שקורין פלוט”א בלע”ז ביו”ט ברה”ר אע”ג דליכא אלא טיול2
מהרש”ל
ודבר תימה להתיר ביום טוב לשחק בכדור, דאין בו צורך היום כלל, אלא שחוק של ילדים, שלא הגיעו לכלל חיוב, הנח. אבל גדולים, נראה מנהג רע בעיני, כי זה אינו טיול, אלא שיחת ילדים, וקלות ראש. ואף שרבינו ירוחם (נ”ד ח”א) כתב כדברים האלו משום רבינו תם לא ניחא לי, כי אפשר שהוא לא בא אלא ליישב המנהג שנהגו כן. ואי איישר חילי אבטלנה, שהרי הרא”ש שהעתיק דברי רבינו תם לא הזכיר דבר זה, ואף בטור לא הביאו. ומענין הכדור בשבת כתבתי בפרק כירה סימן ל”ו, ואין דומה זה להוצאת קטן, מאחר שאביו משמח בו, וגיגועו על בנו, גם כן שמחת יום טוב היא, שלא יהא עצב על בנו.3
I recently was delighted to see that Rav Shlomo Kluger (Maharshak) stoutly defends innocent fun against Maharshal’s Puritanism, insisting that enjoyment is entirely subjective and includes whatever one finds enjoyable and noting that even דברים בטלים are permitted insofar as one enjoys them:
ובאמת אין זה תימה דגדולה מזו מצינו גבי שבת מי שיש לו תענוג משמיעת דברים בטלים וכו’ מותר לו לשמוע וכן בחורים המתענגים בקפיצתם מותר בשבת הרי דדבר התלוי בעונג תלוי בדעת האדם במה הוא נהנה כן ה”נ בזה כיון דבעינן רק צורך קצת אף זה הוי בכלל צורך וזה פשוט:4
Also worth noting in this general context is the recognition by the very serious minded sages of medieval Ashkenaz that a little recess from (Torah) study can sometimes be a good thing for a child, “and we do not compel him against his will”:
פעמים שהוא בריאות לתינוק שנותנין לו מעט ריוח מן הלמוד ואין כופין אותו אלא לרצונו5
Update: The Debrecener also disapproves of fun.6
The focus here seems to be on oneg shabbos and simchas yom tov. What about play/fun during the week?
You are correct that the cited sources are discussing שבת ויום טוב. I have actually long been somewhat uncertain as to whether Maharshal’s objection is to fun in and of itself, as a generally inappropriate pastime for adults, or (as Maharshak understands) merely to the idea that fun is considered enough of a human need to legitimize carrying on יום טוב.
http://forward.com/articles/205119/when-jews-and-everyone-else-learned-how-to-hav/?