文氏鬼屋已有六十多年歷史, 有傳大宅在日軍佔港時期前已經存在, 但真確出處卻無人得知。顧名思義, 大宅主人姓文, 因文氏酷愛紅梅, 所以大宅四周均種有紅梅樹, 以供大宅主人鑑賞。亦因如此, 所以當時此屋另有「紅屋」之稱。
日軍佔港前, 文氏一家均已逃難, 大宅後來則被日軍佔領。其後日軍投降撤離香港, 英軍進駐, 大宅則為英軍宿捨。靈異事件, 便於此時發生。
自大宅為英軍宿捨初期, 已有怪事發生。有士兵經常聽到有哭泣聲傳出, 但開始時眾人皆不以為然, 後來一士兵於浴室準備洗澡時, 浴缸內的水卻盡皆為血。其後該名士兵被嚇致精神失常, 需送返英國接受治療。
此後怪事繼續發生, 亦有更多人受牽連。當時每天晚上均有士兵於營捨四周巡邏, 但翌日卻皆不見士兵返歸營捨, 宿捨主管初時以為失蹤士兵只是迷路, 或離開營地前往其他軍營, 故未有尋找。後來, 失蹤士兵人數越來越多, 主管下令四出找尋,
卻遍尋不獲, 尋回的只是一些軍服, 加上宿捨連日來所發生的怪事, 令眾人引起恐慌。其中有人認為是妖獸作祟, 將巡邏的士兵都吃掉了。而主管亦束手無策, 唯有發報回國求助, 而英國則任命一名牧師前往香港。
牧師到達宿捨後, 表示邪氣甚深, 更託宿捨主管於宿捨內外四處調查。其後發現大宅花園一小型建築物下竟建有地下室。地下室詭異非常, 室內所佈的顏色全為血紅色, 中央設有祭壇, 壇上放滿祭祀所需之物, 而四周則置有木架, 架上全都放置一個個細小的玻璃瓶,
瓶內所放的均是一些未成形的嬰兒屍體, 是為「靈嬰」。牧師驚見此場面,
認為地下室內所存靈嬰盡為邪靈, 若放之離開會為害人間,
逐託宿捨主管馬上下令眾人撤離宿捨, 而自己則留在地下室, 望能消滅室內所有靈嬰。經過數天後, 所有人皆未見牧師現身, 而地下室及所在位置上的建築物則起火, 火勢之大令眾人都不能接近查看牧師的情況。三天後, 只剩一堆火事過後的瓦礫, 眾人均在瓦礫堆中找尋牧師,
但都找不到牧師的屍體。眾說紛紜, 有人說牧師身受重傷, 早已返國, 亦有人說牧師已於該場火中被燒個精光, 與靈嬰同歸於盡。
最後曾於大宅居住的軍官及士兵, 均全數返回英國, 大宅則從此被丟空。
早年曾有一本以靈異故事為材的漫畫以該處為專題作報導, 其後更有風水術數師指出, 大宅內的浴室為全屋陰氣最重之地, 且外有竹林, 加上圓窗建築設計為浴室大忌, 極容易吸引惡靈以該處為棲息地。若不慎招惹, 可能無辜喪命