现在苏东坡所有的，几乎只有那一栋房子了。按照他名义上的官阶计算，朝廷三年来欠他两百贯当地的钱币，按京都币值计算，是一百五十贯。所欠的官俸既未发下，苏东坡写信给好友广州太守，求他帮忙请税吏付给他。这个朋友王古曾经听苏东坡的话兴建过医院，赒济过贫民，可是不久即以“妄赈饥民”的罪名遭上方罢斥了，前面已然提过。苏东坡的欠薪发下与否，已不能稽考。
他现年六十岁，这是按西方计算。到底以后他还流放在外多久，颇难预卜，生还中国之望，甚为渺茫。两个儿子一直陪伴到广州。苏迈在河边向他告别，苏过则将家室留在惠州，陪伴他同到海南。为了到达任所，苏东坡必须溯西江而上，船行数百里到梧州（在现代的广西），然后南转，从雷州半岛渡海。他一到雷州，听说他弟弟子由在往雷州半岛贬谪之处，刚刚经过此地。据揣测说，苏氏兄弟被贬谪到这个地方，是因为他俩的名字与地名相似（子瞻到儋州，子由到雷州），章惇觉得颇有趣味。子由也带了妻子、第三个儿子和三儿媳妇，他们几年前一直和他在高安住过的。
苏东坡到了梧州附近的藤州，与弟弟子由相遇，而今境况凄凉。当地是个穷县份，兄弟二人到一个小馆子去吃午饭。子由吃惯了讲究的饭食，对那粗糙麦面饼实在难以入口。苏东坡把自己的饼几口吃光，笑着向弟弟说：“这种美味，你还要细嚼慢咽吗？”他们站起身来走出小铺子去，带着家人慢慢向前走，尽可能慢走，因为他知道一到雷州，就要立刻渡海了。
雷州太守一向仰慕苏氏兄弟。他予二人盛大欢迎接待，送酒食，结果第二年因此遭受弹劾，调离任所。子由在雷州的住处，后来改为一座庙，是他兄弟二人死后，用以纪念他们的。
苏东坡必须出发了，子由送他到海边。离别的前夕，兄弟二人及家人在船上过了一夜。苏东坡的痔疮又发，甚为痛苦，子由劝他戒酒。二人用一部分时间一同作诗，苏东坡试探出子由最小的儿子的诗才。这次离别是生离死别，真是令人黯然销魂，一直愁坐整夜。离别之前，苏东坡给王古写了下面的文句：“某垂老投荒，无复生还之望。春与长子迈诀，已处置后事矣。今到海南，首当做棺，次便做墓。仍留手疏与诸子，死即葬于海外，生不契棺，死不扶柩，此亦东坡之家风也。”
那天，他向先贤祠祈祷。有一个庙，供奉征南二将军的神像。凡是在此风涛险恶之处，过海的旅客，都求神谕，决定吉日良辰开船。过去发现神谕无不应验。苏东坡也遵照习俗行事。
在绍圣四年（1097年）六月十一日，苏氏兄弟分手，苏东坡及幼子和雷州太守派的沿途侍奉他的几个兵上了船。航程很短，在此晴朗的天气，苏东坡可以看见岛上山峦的轮廓矗立于天际。他心中思潮起伏。大海对他不像对西方诗人那么富有魔力。实际上，他已经是“眩怀丧魄”了。但是一路平安无事。登岸之后，苏东坡父子向西北岸的儋州目的地前进，七月二日到达。
他到达不久，一位很好的县官张中就到了。张中不但对苏东坡这位诗人佩服得五体投地，而且他本人又是个围棋高手。他和苏过后来成了莫逆之交。二人常常终日下棋，苏东坡在旁观战。由于张中的热诚招待，苏东坡就住在张中公馆旁边的一所官舍里。不过也是一所小旧房子，秋雨一来，房顶就漏，所以夜里苏东坡得把床东移西移。因为是官家的房子，张中用公款修缮一番，后来因此为他招了麻烦。
由中国人看来，海南岛根本不适于人居住。在夏天极其潮湿、气闷；冬天雾气很重，秋雨连绵，一切东西无不发霉。一次苏东坡看见好多白蚁死在他的床柱上。这种有害于人的气候，颇使人想到长生之道。苏东坡写过下面一段文字：
岭南天气卑湿，地气蒸溽，而海南为甚。夏秋之交，物无不腐坏者。人非金石，其何能久？然儋耳颇有老人百余岁者，八九十者不论也。乃知寿夭无定，习而安之，则冰蚕火鼠皆可以生。吾甚湛然无思，寓此觉于物表。使折胶之寒无所施其冽，流金之暑无所措其毒，百余岁岂足道哉！彼愚老人者初不知此。如蚕鼠生于其中，兀然受之而已。一呼之温，一吸之凉，相续无有间断，虽长生可也。
九月二十七日
在海岸上的市镇之中，岛内居住的黎族，与中国的移民相处并不融洽。他们住在热带的山上，后来在日军偷袭珍珠港之前，他们为日本效力，训练丛林战术。本地人不能读书写字，但规矩老实，常受狡诈的汉人欺骗。他们懒于耕种，以打猎为生。像在四川或福建的一部分地方一样，他们也是妇女操作，男人在家照顾孩子。黎民的妇人在丛林中砍柴，背到市镇去卖。所有的金属、用具，如斧子、刀、五谷、布、盐、咸菜，都自中国输入。他们用乌龟壳和沉水香来交换，沉水香是中国应用甚广的有名熏香。甚至米也自中国输入，因为当地人只吃芋头喝白水当做饭食。在冬天自大陆运米船不到时，苏东坡也得以此维持生活。
当地居民非常迷信，患病时由术士看病，没有医生。土人治病的唯一办法是在庙中祷告，杀牛以祭神。结果，每年由大陆运进不少的牛专为祭神之用。苏东坡是佛教徒，设法改变此一风俗，但风俗改变，谈何容易，他曾写过下列文字：
岭外俗皆杀牛，而海南为甚。客自高化载牛渡海，百尾一舟。遇风不顺，渴饥相倚以死者无数，牛登舟皆哀鸣出涕。既至海南，耕者与屠者常相半。病不饮药，但杀牛以祷，富者至杀十数牛。死者不复云，幸而不死，即归德于巫。以巫为医，以牛为药。间有饮药者，巫辄云神怒，病不可复治。亲戚皆为却药禁医，不得入门，人牛皆死而后已。地产沉水香，香必以牛易之。黎人得牛皆以祭鬼，无脱者，中国人以沉水香供佛燎帝求福，此皆烧牛肉也，何福之能得？
中国人始终不能征服那些丛林中的居民。官兵一到，他们只要退入丛林中，官兵根本不想到山中居住，自然不肯深入。黎民有时因与汉人有争吵纠纷，也偶会进袭市镇。有时被商人所欺，在衙门得不到公道审判，他们唯一的办法，就是把此人捉住不放，然后将金钱索回。苏过后来写了两千字一篇长文，论此种情形，并表示对此丛林蛮族无法征服，只有公平相待，公正管理。他认为此等土著是老实规矩的百姓，因为官府不替他们主持公道，他们才被迫而自行执法。
这次到海南岛，以身体的折磨加之于老年人身上，这才是流放。据苏东坡说，在岛上可以说要什么没有什么。他说：“此间食无肉，病无药，居无室，出无友，冬无炭，夏无寒泉，然亦未易悉数，大率皆无尔。唯有一幸，无甚瘴也。”
但是他那不屈不挠的精神和达观的人生哲学，却不许他失去人生的快乐。他写信给朋友说：“尚有此身付与造物者，听其运转流行坎止无不可者，故人知之，免忧煎。”
使章惇和苏东坡的其他敌人烦恼的，是他们竟无奈苏东坡何。在哲宗元符元年（1098年）十二月十二日，他在日记中写自己的坎坷说：
吾始至南海，环视天水无际，凄然伤之曰：“何时得出此岛也？”己而思之：天地在积水中，九洲在大瀛海中，中国在少海中。有生孰不在岛者？譬如注水于地，小草浮其上，一蚁抱草叶求活。已而水干，遇他蚁而泣曰：“不意尚能相见尔！”小蚁岂知瞬间竟得全哉？思及此事甚妙。与诸友人小饮后记之。
苏东坡也许是固执，也许真是克己自制，至少他从未失去那份诙谐轻松。僧人参寥派一个小沙弥到海南岛去看他，带有一封信和礼品，并说要亲身去探望。苏东坡回信说：“某到贬所半年，几百粗遣，更不能细说。大略似灵隐天竺和尚退院后，却在一个小村院子折足铛中罨糙米饭吃，便过一生也得。其余瘴疠病人，北方何尝不病，是病皆死得人，何必瘴气？但若无医药，京师国医手里，死汉尤多。参寥闻此一笑。当不复忧我也。相知者即以此语之。”
他在此岛上的人生态度，也许在他贬居此地最后一年后，在杂记中所写的那段话表现得最清楚：
己卯上元，余在儋耳，有老书生数人来。过曰：“良月佳夜，先生能一出乎？”子欣然从之，步城西，入僧舍，历小巷。民夷杂糅，屠酤纷然，归舍已三鼓矣。
舍中掩关熟寝，已再鼾矣。放杖而笑，孰为得失？过问：“先生何笑？”“盖自笑也，然亦笑韩退之钓鱼无得，便欲远去。不知走海者未必得大鱼也。”
苏东坡一次对他弟弟说：“我上可以陪玉皇大帝，下可以陪卑田院乞儿。在我眼中天下没有一个不是好人。”现在他就和默默无名的读书人、匹夫匹妇相往还。和这些老实人在一起，他无须乎言语谨慎，他可以完全自由，可以名士本色示人。他从没有一天没有客人，若是没人去看他，他会出去看邻居。像以前在黄州一样，他与身份高身份低的各色人、读书人、农夫等相交往。闲谈时，他常是席地而坐。他只是以闲谈为乐。但是他也愿听别人说话。他带着一条海南种的大狗“乌嘴”，随意到处游逛。和村民在槟榔树下一坐，就畅谈起来。那些无知的穷庄稼汉，能对他说什么呢？庄稼汉震于他的学识渊博，只能说：“我们不知道说什么。”苏东坡说：“那就谈鬼。好，告诉我几个鬼故事。”那些人说并不知道什么有趣的鬼故事。苏东坡说：“没关系，随便说你听到的就行。”后来苏过告诉他的朋友说，他父亲若一天没有客人来，他就觉得父亲好像不舒服。
甚至于在如此地远天偏的地方，那群政敌小人也不让他安静消停。绍圣三年（1096年）是迫害老臣雷厉风行的一年。在绍圣四年（1097年），快到旧年除夕了，两个元祐大官在十天之内先后死亡，情况可疑。在春天，那两个官员的子女也遭监禁，老太后的秘书也处了死刑。所有遭贬谪的官员，都又调迁地方。那年夏天遭到调迁的官员之中，有苏子由、秦观、郑侠，我们还记得郑侠就是献图推翻王安石的宫门小吏。
三月，神奇道士吴复古，又在海南岛出现，和苏东坡住了几个月。他带来的消息是，朝廷派董必来视察并报告受贬谪的大臣的情形，如有必要，再弹劾起诉。那时儋州隶属广西省。最初朝廷打算派吕升卿到广西（吕升卿是恶迹昭彰的元祐大臣的死敌吕惠卿的弟弟）。对苏氏兄弟说，吕升卿一来，他俩不死也要脱层皮。但是曾布和另一个官员劝阻皇帝，说吕升卿必不能从公禀报，必致激起私仇大恨。那样，朝廷就是超乎极端了。因此一劝，吕升卿改派到广东，董必派到广西。果不出所料，董必找出了纰漏，他说苏子由强占民房，雷州太守厚待罪臣并善予照顾。太守乃遭撤职，苏子由改调到惠州迤东地区，当年苏东坡曾谪居在那里。
董必要自雷州半岛到海南，就如瘟神下降，但是他的副手彭子明对他说：“别忘记你也有子孙。”董必听了遂停止不去，只派下属过海，察看苏东坡的情形。那个官员发现苏东坡住在官舍里，颇受太守张中优待，张中后来遂遭革职。
苏东坡被从官舍逐出，必须用仅有的一点钱搭个陋室居住。他住的地方是城南一个椰子林。当地的居民，尤其是那些穷读书人的子弟，来亲自动手帮助他盖房子。那是一栋简陋的房子，面积是五间大，但大概只盖了三间。他名此新居“桄榔庵”。房后就是槟榔林。夜里躺在床上，能听见黎民猎鹿的声音，鹿在那个地区为数甚多。有时早晨有猎人叩门，以鹿肉相赠。在五月他给朋友写信说：“初至僦官屋数椽，近复遭迫逐。不免买地结茅，仅免露处。而囊为一空。困厄之中，何所不有？置之不足道，聊为一笑而已。”
苏东坡很少恨别人，但他至少不喜爱董必。他必须向把自己赶出屋去的这个朝廷官员开个玩笑。“必”字在中文其音同鳖。他写了一篇寓言，最后提到鳖相公。有一次，东坡喝醉，这篇故事就这样开始。有鱼头水怪奉龙王之命，前来把东坡拉往海中。他去时身穿道袍，头戴黄帽，足登道履，不久便觉行于水下。忽然雷声隆隆，海水沸腾。突然强光一闪，他发现自己已经站在水晶宫中。像普通所说的龙宫一样，龙宫中有好多珠宝、珊瑚、玛瑙、其他宝石等物，真是精工点缀，琳琅满目。不久，龙王盛装而出，二宫女随侍。苏东坡问有何吩咐。不久，龙后自屏风后出来，递给他一块绢，有十尺长，求他在上面写诗一首。对苏东坡而言，再没有比作诗容易的事。他在绢上画了水国风光和水晶宫的霞光瑞气。他写完诗，各水中精灵都围着看。虾兵蟹将莫不赞美连声。鳖相公当时也在。他迈步走出，向龙王指出东坡诗内有一个字，是龙王的名字，应当避圣讳。龙王一听，对苏东坡大怒。苏东坡退而叹曰：“到处被鳖相公撕坏！”
苏东坡写了三四个寓言故事，但是中国文人写的想象故事，直到宋时代才真有发展，苏东坡写的也和唐宋寓言作家一样，都是明显的道德教条加上微薄的一点想象而已。
在他自己盖了几间陋室之后的两年半期间，他过的倒是轻松自在的日子，只是一贫如洗而已。他有两个颇不俗气的朋友，一个是为他转信的广州道士何德顺，另一个是供给他食物、药物、米、咸菜的谦逊读书人。夏天的热带海岛上，因为潮湿的缘故，人是很受煎熬。苏东坡只有静坐在椰子林中，一天一天地数，直到秋季来临为止。秋季多雨。因为风雨太多，自广州福建来的船只都已停航。食粮不继，连稻米都不可得。苏东坡真个一筹莫展。在哲宗元符元年（1098年）冬天，他给朋友写信说他和儿子“相对如两苦行僧尔”。那年冬天，一点食物接济也没有，父子二人直有饥饿之虞。他又采用煮青菜的老办法，开始煮苍耳为食。
他曾在杂记中写食阳光止饿办法，不知是认真还是俚戏。人人知道，道家要决心脱离此一世界时，往往忍饥不食而自行饿死。苏东坡在杂记《辟谷之法》中说了一个故事。他说洛阳有一人，一次坠入深坑。其中有蛇有青蛙。那个人注意到，在黎明之时，这等动物都将头转向从缝隙中射进来的太阳光，而且好像将阳光吞食下去。此人既饥饿又好奇，也试着模仿动物吞食阳光的动作，饥饿之感竟尔消失。后来此人遇救，竟不再知饥饿为何事。苏东坡说：“此法甚易知易行，然天下莫能知，知者莫能行者何？则虚一而静者世无有也。元符二年，儋耳米贵，吾方有绝食之忧，欲与过行此法，故书以授。四月十九日记。”
实际上，苏东坡不必挨饿，他的好朋友好邻居也不会让他挨饿，他似乎是过得蛮轻松。有一天，他在头上顶着一个大西瓜，在田地里边唱边走时，一个七十多岁的老太婆向他说：“翰林大人，你过去在朝当大官，现在想来，是不是像一场春梦？”此后苏东坡就称她“春梦婆”。他有时在朋友家遇到下雨，就借那家庄稼汉的斗笠蓑衣木屐，在泥水路上溅泥淌水而归。狗见而吠，邻人大笑吼叫。他一遇有机会，还继续月下漫步的老习惯。有时他和儿子到六里以外西北海边，那里有一块巨大的岩石，像一个和尚面海而望。好多船在那里失事，本地人就说那块岩石有什么灵异。那块岩石下面，长了许多荔枝橘子树。在那里正好摘水果吃。但是倘若有人打算摘得吃不了，要带着走，立刻就风涛大作。
