Kedysi pod Babou horou i pod Pilskom bolo iba málo ľudí, nuž páni na Oravskom zámku usúdili, že by ich tam malo byť viac. Úžitok chceli mať aj z toho kraja, nielen z polí a lúk, ale najmä z lesov. A tak jedného dňa Helena, Thurzova dcéra a grófka vydatá za Gašpara Illésházyho, rozhodla sa, že ten kraj zahustí ľuďmi. Vraj tam založí nové dediny. Nuž dala jedného dňa rozhlásiť, či by sa nenašiel dakto taký, čo by chcel pole pod tými vrchmi zúžitkovať. V roku 1629 sa o tom ľudia dozvedeli.

No s poľami a lúkami sa panstvo na zámku ani nemuselo veľmi vynukovať. Sotva sa to dozvedel mladý Roman z Námestova a jeho kamarát Matej Benčík z Jasenice, zaraz leteli na zámok ako bez duše. Veľká chuť im prišla na to pole. A na zámku sa priznali, že by veru radi tam hneď zjari dohnali ovce a že by tam aj ostali dlhšie. Páni Oravského zámku ich posmelili v ich úmysle a privolili, že by na lúkach mohli naozaj pásť statok, ba že by časom uvážili, či by tam nechceli založiť novú dedinu. A tí naskutku pristali, no a nezabudli sa aj spýtať grófky:

„A akými dlžníkmi budeme, osvietená pani?“

„Nuž budete dávať pozor na hranice, že by nám do Oravskej stolice neprichodili ľudia, čo tu nepatria. No keď si čo-to zgazdujete, musíte pamätať aj na zámok. Nezaškodilo by, keby ste sem-tam masla, či podajednu hrudu syra doniesli, aj vykŕmená ovca sa zíde na zámku...“

V prvej polovici 18. storočia zaznamenala obec Veselé pokles obyvateľov. V roku 1751, za richtára Vojtecha Škuláka, mala len 302 obyvateľov. Ľudia žijúci vo Veselom si od Oravského panstva prenajímali pasienky na holiach Pilsko, Magurka, Bučina a Priehyby. Matej Veselovský, Juraj Motičák a Juraj Zaják vlastnili deväť úľov a v priebehu desiatich rokov zvýšili počet úľov na dvadsaťštyri. V obci bolo šesť múčnych mlynov, z toho štyri prevádzkovali osadníci šoltýskej rale. Jeden múčny mlyn pri Hájke zdieľali s Jaseničanmi, neskoršie ho od nich odkúpili. Veselovci mali výhodu páliť pálenku a variť pivo, a to v období od sv. Michala do Vianoc. Za tzv. páleničné kotlíky platili zemepánovi daň dva zlaté. V tom čase štyria gazdovia pálili pálenku a jeden varil pivo. Ľudia chodili na trhy predávať nite, med, dobytok, prútené košíky, drevené náradie, hlinený riad a lesné plodiny.

Na začiatku dvadsiateho storočia malo Veselé 2070 obyvateľov a 442 domov, avšak v nasledujúcom období počet obyvateľov a domov vplyvom nepriaznivých životných podmienok klesal. Následkom požiarov, povodní, dažďových prívalov a veterných smrští klesol v rokoch 1900 – 1920 počet obyvateľov o 252. V roku 1927 bolo vo Veselom 411 domov, z toho 119 bolo chatrných a 292 veľmi skromných. Väčšina obyvateľov Veselého sa živila roľníctvom a drevorubačstvom. Zachovávali pôvodné kopaničiarske osídlenie. Každý gazda mal pôdu v okolí svojej usadlosti. Uličné cesty k domom neexistovali. K dispozícii bola len hlavná cesta, ktorá viedla cez dedinu ku kostolu. Roľníci pestovali ovos, jačmeň, žito, zemiaky, ľan a na menších plochách kapustu, kŕmnu repu, hrach, viku, konský bôb a ďatelinu. Kvalitu lúk znižovala nadmerná zamokrenosť. V rokoch 1930 – 1932 bola zrealizovaná meliorácia lúk od Mušáka ku Rakovke, na Mydliarovke, Kozoňovke, Frankovke a Žajovke.