唐朝，有个叫西门思恭的人，常出使朝鲜半岛的新罗国。
一次，他搭船去新罗，海上刮起了旋风，船不能自主。一个多月都在海面上飘零，只见天水相连，望不到边。突然，前面呈现一个小斑点。船上人兴奋地叫道：“是个小岛，有救了！”船就往小岛方向开，大家准备上岸去。西门思恭阻止大家说：“谁知道是什么地方，小岛上住的是何人，让我先上岸去探察一下。”
西门思恭披甲佩刀，独自驾着小船往南划去，船靠上了岸，岛上是一派田园风光。所区别的是，这儿的稻子长得特别茁壮，可稻杆儿还不及西门思恭见到的一般稻子的三分之一高。但田间里的阡陌却比长安的大道还要宽几倍。
忽然一座大山似的东西堵在他眼前，西门思恭抬头一看，是个身高数十丈的巨人。他的穿着同凡人一样，只是语言区别。巨人蹲下身子，把西门思恭捏在手里。然后，巨人跨着大步走去。
很快，巨人来到一个庞大的洞里，大喝一声，很多大巨细小的巨人就从洞里出来了。大家望着西门思恭，脸上露出了诧异和欢畅的笑容，恰似得到一件稀世瑰宝，巨人蹲下用手指往地上一戳，便呈现了一个大坑。巨人把西门思恭放在坑里，自己在旁守候着。入夜，巨人在坑旁睡着了。西门思恭在坑顶用佩刀挖了一级级阶梯。快天亮时，他乘巨人还在沉睡，就沿阶梯爬了出来，撒腿往本来的路上奔逃。到岸边找到小船，又立即用力划着向大船靠拢。
当西门思恭刚攀上大船时，巨人已追赶过来了。
他见船要开了，踏着水用庞大的手抓住船舷不放，吓得船上的人面如死灰，不敢动弹。只有西门思恭十分镇定，他拔出佩剑，向巨人的手指猛力地砍去，砍下了巨人三个手指。巨人疼痛难受，只得弃船逃跑了。西门思恭捡起被砍下的巨人手指，当即下令船长起程。
船在海中航行了好几天。这时，船上的淡水和粮食发生了危机。
他们险些一个月没有进食，有人甚至脱下身上的脏衣服，用嘴吮吸那上面的油渍和盐沫。后来，他们终于克服了艰巨回到了大陆。在返回长安后，西门思恭就向朝廷进贡了巨人的三个手指头。帝王听了他们的遭遇，看了巨人的手指，十分兴奋。
后来，西门思恭当上了将军，可他仍十分勤俭，不贪财，因为他不能健忘当年在海上的历险。