Nejvíce zdobí město hraběcí larischovský zámek, položený na jihozápadní straně náměstí. Lze s určitostí předpokládat, že tento zámek nebýval stálým sídlem všech předešlých vrchností, ježto to dosvědčuje více historických údajů. Podle první historické stopy ve druhé polovině l4. století byl zámek vystavěn ze dřeva a nebyl asi, jak už dřevěné stavby zámků za starých časů bývaly, příliš vzhledný a pohodlný. Kromě toho nepatřila tehdy k zámku nynější zámecká zahrada. Teprve v 15. století činí se o tomto zámku zmínka, podle níž prý vybavení zámku bylo takové, jak to způsob života na vévodském dvoře vyžadoval. Je nyní prokázáno, že Boleslav II. vévoda těšínský, sídlil v roce 1458 ve Fryštátě, obýval zde dřevěný zámek, nádherně zařízený, a vedl skvělý dvůr. Žádná listina se nezmiňuje, že by tento zámek, v němž měl vévoda sídlo, stával na místě jiném než dnešní zámek. Jen ústní podání, historicky však nikterak doložené, umisťuje dřevěný palác vévody Boleslava II. na Horní předměstí do městské zahrady na Babišovci.

       Když Boleslav II. v roce 1452 zemřel, měla jeho manželka, vévodkyně Anna na tomto zámku své vdovské sídlo a později zde sídlil vévoda Kazimír jako vévoda těšínský. Podle dalších zpráv potkalo zámek neštěstí, neboť při požáru dne 17. dubna 1511, který vznikl o 3. hodině v noci od zámeckého komína, lehl do základů popelem. Znovu vybudován byl v průběhu doby, až koncem 18. století v důsledku změny svého panstva, sloužil brzy jako sídlo fryštátské vrchnosti, brzy opět byl zařízen a používán jako sídlo hospodářské správy.

       Když se v roce 1563 stal těšínský vévoda Bedřich Kazimír majitelem Fryštátu, bylo město, jak známo, navždy edloučeno včetně všech osad, k němu náležejících, od statků Komory Těšínské. V té době byl též Ráj přičleněn k panství fryštátskému a zdá se, že Bedřich Kazimír, který vládl svému vévodství z Fryštátu, měl zpočátku své sídlo na zámku fryštátském, později však na zámku v Ráji, který si sám pro sebe vystavěl. Od,té doby začíná též zvláštní historie Ráje (Viz "Ráj").

       V roce 1792 jeho Excelence hrabě Jan Larisch-Mönnich nabyl koupí stavovské panství (status minor) Fryštát od mylorda Rudolfa Taaffeho, Hraběte z Karlingfurtu (který sídlil na rajeckém zámku). Tehdy měla na fryštátském zámku svou úřední kancelář panská hospodářská správa. Hrabě Larisch dal zámek, který při předposledním požáru v roce 1781 utrpěl velké škody, znovuzřídit a rozšířit o dvě postranní křídla. Také budova stojící stranou zámku, oddělená od něho ulicí, náležející však k zámku, byla v té době vystavěna. Jak novostavba, tak i starší budova zámku, byly ozdobeny krásnou fasádou; na níž je patrný hraběcí znak, ciselovaný v kameni. S výjimkou malých stavebních úprav, zachoval se zámek ve své podobě, jak byl kdysi vystavěn, až do současnosti a abychom čtenářům o tom umožnili názorný obraz, odkazujeme na vyobrazení zámku. Zámek vytváří tím; že vystupuje od jižní řady domů na náměstí dozadu, své vlastní zámecké náměstí. Je jednopatrový a spojen vzpěrným obloukem (podjezdem), v jehož hořejší části se nachází pohodlný průchod, s farním kostelem. V létě zdobí poklady skleníků vnější strany zámku, čímž zámek dostává velmi vkusný, vábný vzhled. Malou zámeckou zahradu před zámkem, která je ohraničena z jedné strany od vlastní zámecké fronty, z druhé strany pak od 2 vybíhajících postranních křídel a vpředu železným zábradlím, zdobí fontána, zřízená uprostřed zahrádky neobyčejně krásná, která vznikla v roce 1865. Hlavní zámeckou bránu zdobí hraběcí znak, který představuje uměleckou xylografickou práci, prolamovanou arabeskami. Vnitřní zařízení je po všech stránkách účelné a elegantní, dekorace hraběcích komnat odpovídá nejnovějšímu módnímu vkusu. Střední trakt budovy obsahuje prostorné schodiště, nalevo od něho v 1. poschodí se nachází appartement paní hraběnky, vpravo mnoho jiných komnat a sálů. Appartement Jeho Excelence pana hraběte Larische-Mönnicha se nachází v 1. poschodí východního zámeckého křídla. Z přízemí se dostaneme po podlaze zdobené mazaikou a po kamenných schodech dolů do parku. V blízkosti tohoto východu lze zpozorovat tento nápis:

       Nápis je tvořen zčásti ze starých konvenčních označení minerálů a chemických prvků, jinak však, jak se zdá, jde o svévolné sestavené písmo, jehož části jsou podobné řeckým a cyrilským písmenům. obsah prvních tří řádků zní: Johann Graf Larisch von Mönnich. Hieroglyfy čtvrtého řádku nelze rozluštit, skrývají asi rok převzetí zámku 1792.