Nevypadá ani trochu jako britské královské sídlo. Spíš jako palác z Pohádek tisíce a jedné noci.
V anglickém přímořském letovisku Brighton ho nechává zbudovat král Jiří IV., který si v něm chce léčit bolestivou dnu, a navíc potřebuje zázemí pro své milostné eskapády.
Zpočátku stojí na místě této extravagantní stavby letní sídlo pro prince z Walesu, pozdějšího britského krále Jiřího IV. (1762–1830).
Ten si ho pronajímá hlavně proto, že se nachází daleko ode dvora a on se zde může tajně stýkat se svojí milenkou Marií Fitzherbertovou (1756–1837). Ti dva se nakonec tajně vezmou.
Krátce nato se Jiří pouští do velkolepé přestavby sídla, která zabere s přestávkami více než 30 let.

Její závěrečné fáze se ujme proslulý anglický architekt John Nash (1752–1835), jenž palác navrhne v indicko-saracénském stylu. Zajímavé je, že Nash Indii nikdy předtím nenavštívil.
Konečné úpravy se královský palác dočká v letech 1815–1822, kdy je kompletně vyzdoben a vybaven. Přesně podle králova vkusu – Jiří IV. je totiž fascinován exotickými kulturami a sbírá umění z nejrůznějších koutů světa.

Viktorii se tu nelíbí
Po jeho smrti pobývá v Brightonu poměrně často i jeho bratr a nástupce na trůnu Vilém IV. (1765–1837). Pro královnu Viktorii (1819–1901) však palác představuje příliš velkou výstřednost a nejezdí sem zrovna ráda.
Vadí jí i velké množství lidí, kteří sem pravidelně přijíždějí. Nechává si proto své venkovské sídlo postavit na ostrově Wight a palác v Brightonu prodá městu. Než se tak stane, přikáže z něj ještě odvézt většinu cenného nábytku, uměleckých děl a dekorací.
Město využívá prostory k různým společenským akcím, nějaký čas tu funguje i čajovna, nemocnice, koncertní sál, za války pak radarová stanice nebo kancelář na výdej přídělových lístků.
