百年前，沈从文曾两度来到芷江生活和工作。善于观察、喜欢名胜古迹的他经常登上钟鼓楼，将古城内的“小八景”——“铜壶滴漏”“五爪抓天”“铁打栏杆”“雄溪亮虾”“三步两拱桥，过桥不见桥”“大庙对小庙，过庙不见庙”尽收眼底。或是登上古城墙，观赏城外的秀丽山川，眺望城外的“明山叠翠”“秀水拖蓝”“龙津春浪”等景观，无不让人心旷神怡。在芷江期间，他对芷江的人文地理、城市概貌、社会状况、风土人情都有了全面的了解。在他眼里，芷江是一座有悠久历史的古城，文化底蕴深厚，特别是城内外的标志性古建筑物，令他印象极为深刻。

芷江，古属“五溪蛮地”。战国时期屈原在《九歌·湘夫人》中有一千古名句“沅有芷兮澧有兰，思公子兮未敢言”，虽然这位中国浪漫主义文学的奠基人被沈从文戏称作“疯疯癫癫的楚逐臣”（《桃源与沅州》），但沈从文仍是饶有兴致地就着屈子“沅有芷兮澧有兰”与“乘舲船余上沅兮”这些话，“估想他当年或许就坐了这种小船，溯流而上，到过出产香草香花的沅州”。

若真包了小船来沅州，首先映入眼帘的便是古城的城门，正如沈从文写道：“到了沅州南门城边，也许无意中会一眼瞥见城门……”城门之上自然是城墙与城楼，芷江古城有东西南北四座城楼，由四个城门连接着高而厚的城墙。芷江古城墙特别高大坚实，在当时是湖南省境内最坚固、最雄伟壮观的古城墙之一，是芷江县城一道亮丽的风景。古城墙建于宋熙宁七年（1074），荆湖北路察访章惇奉命进兵懿州，平定田元猛地方势力后，诏改懿州为沅州（今芷江），始在沅州州治筑土城，先修筑西面（临湃水），相继筑东南北三面。明洪武六年（1373），江夏侯周德兴将原城拓宽二里。明弘治九年（1496），副使顾源在沅州城建城楼四座，曰东城门、南城门、西城门和北城门。东南名“澄霁”，西南名“筹边”，东北名“秀水”，西北名“威远”。在临河西面用青石建西门码头，同时在北、东、南三面城墙外开壕蓄水，俗称“护城河”。明正德十六年（1521），沅州兵备道黄天爵以城西一带濒临濞水河常被洪水冲塌，而“砌石垒岸，以固城垣”。后人将西门外沿河大堤称为“黄公堤”。明嘉靖三十二年（1553），湖、广、云、贵、川五省总督府总督冯岳对城墙又加固扩建，将土筑的城墙建成石砌城墙，周长三千四百五十米，并全面扩宽疏通东、南、北三面护城河。