1922年，还在湘西王陈渠珍手下任司书的沈从文便负责为陈管理收藏的书籍、字画，为了做好工作，他读过《西清古鉴》、《薛氏遗器钟鼎款识》等书，对字画作过一些研究。到北平后，沈喜欢逛古董店，学到了许多文物知识。
抗战时期，初到昆明的沈从文常和在云南大学任教的施蛰存逛夜市，淘古董，在电石灯的绿光里晃动着他们的身影。一次，沈从文在一堆盆子碗盏中发现一个小小的瓷碟，瓷质洁白，很薄，画着一匹青花奔马。他很高兴地买下，对施蛰存说，这是康熙青花瓷，一定有八个一套，名为“八骏图”。施蛰存在《滇云浦雨话从文》中说：“这个康熙八骏图瓷碟，引起了从文很大的兴趣。他告诉我，他专收古瓷，古瓷之中，又专收盆子碟子。在北平家里，已有了几十个明清两代的瓷盆。这回到昆明，却想不到也有一个大有希望的拓荒地。”
抗战结束回北平后，沈从文总拉着妻妹张充和他一起去淘古董。张充和对古董不大感兴趣，她知道“沈二哥”拉她一起去的目的，一是回家合谋谎报古董的价格，以免姐姐张兆和生气；二是张充和逛的高兴了，可以大方地掏钱代他买下。
与沈从文一起买古董的还有朱光潜，到了年关，沈从文到朱家对朱夫人说：“快过年，我想邀孟实（朱光潜的字）陪我去逛逛古董店。”意思是让朱夫人给朱一些钱。朱也到沈家对张兆和如是说。后来两位夫人见了面，他们的小把戏便被戳穿了。
沈从文也常光顾旧书店。1945年10月5日，沈从文购得中华书局1936年版《漆器考》。他在此书上批注：“从枪声盈耳中购来”，“书过于简率不合用。多错误，少材料”。
1947年左右，北大开始筹备建立博物馆，沈从文表现出莫大的热情。他把自己多年来搜罗到的一些有历史或艺术价值的文物都赠送给博物馆筹备处，并积极做大量事务性工作。他还动员别人捐文物。周定一就被沈从文说服，捐了一个康熙青花小瓷杯、一枚吴三桂在云南所铸“利用通宝”铜钱。
50年代，沈从文到古玩业检查组负责文物的检查鉴定工作，演员郑榕曾和沈一起到收藏大户赵家清查。郑回忆，沈从文“身材不高，戴近视镜，讲话很快，像是和思想赛跑。一进赵家，面对琳琅满室，立即全神贯注，把一切都置之度外了！当他来到四五件宋代的钧窑瓷器面前时，面色凝重起来，轻轻托起一件，反复审视，喃喃自语道：‘这……不会是真的吧？’身旁的赵老听到，立即跳了起来，大声吼叫：‘什么？你说我这瓷器不是真的？’像要扑上去和沈先生拼命……在场的人都笑了”。
1953年，有一个能读的波兰东方博物馆主任来北京考察，在历史博物馆时，她提出要看铜镜，沈从文不查账本，直接列出300个铜镜的目录，摆出来后当场给她讲解，这位波兰专家大表惊异和钦佩。
1954年，沈从文发表了一篇关于胡子的文章，他认为，作为历史博物馆人员，必须懂得胡子这门学问，因为历代各个历史人物的胡子，各朝老年人的胡子，都各有不同，他认为根据历史文物整理出历代胡子的状貌，是很有价值和必要的，但这项研究遭到了粗暴的干涉，没有继续下去。
在博物馆，沈从文只是个小职员，上面有组长、本部主任、馆长，每天按时签到，离开办公桌也要禀告主任，印二寸大照片作资料，必先得到主任批准，然后再报另一部主任批准，才能进行。工作时间，沈从文不是写卡片就是在仓库里清理尘封已久的文物，他清理得非常投入，到了中午下班时间还浑然不觉，甚至被工作人员锁在仓库中，到下午上班才被人发现，他也不以为意。
沈从文希望能有一间自己的办公室，尽管馆中房舍很多，他的要求却始终得不到满足。他热心为馆中购买文物，看见有价值的，先自己花钱买下来，馆中不要的，他就自己留下。时间长了，也分不清是他的还是馆里的，于是他的东西就稀里糊涂地归了公，包括他的《阿房宫》长卷。有人发现沈买了很多“破烂”，还以此为题举办了一场“反浪费”的展览。沈从文埋头工作也被看成“不合群”、“清高”的资产阶级思想的表现，往往他从库房辛苦工作半天出来，“一切似乎照旧，钓鱼的钓鱼，打闹的打闹，毁人的毁人，很是悲悯”。
1958年，人艺排《蔡文姬》，请沈从文当顾问。他作了大量的准备工作，将全组人领进历史博物馆，捧出大量资料，引经据典，给大家讲解了几个小时，每份资料里都插有他事先做好的标签。为了介绍宋画《文姬归汉图》，他特地拿出两函台湾影印的《故宫博物院藏画集》，向大家介绍。
一次，沈从文带着王亚蓉等人到历史博物馆看一幅社会生活图《大驾卤簿图》，这幅残卷上还有两千多个人物。回来后，沈问大家：“你们看第七方队，前排人腰间的物件是什么？”大家都答不上来。于是沈将第几方队头戴什么、手执什么、身上佩戴什么，一连说了很多。王予予一一记下，抽空去核对，竟完全无误。
沈从文后来到咸宁干校劳动。他随身携带的30万字的《中国服饰史》初稿被扣下来，结果被弄丢了，而他居然又重新写出一本来。
70年代，沈从文和黄苗子住得很近，经常互相拜访、聊天。黄苗子不在家的时候，沈从文就把收集到的汉代或是明朝的绣花拿给黄13岁的三儿子看，说：“这个东西美极了！美极了！”
黄苗子回忆，沈从文形容新出土的楚漆器纹样，战国玉器的雕工，洛阳博物馆陈列的汉壁画……总是带着悠然神往的心情说：“真美呀！美得简直叫你不可想象。”
沈从文擅长鉴别古画的真伪。世人多认为展子虔的《游春图》是隋代的作品，但沈却考证应是唐代。一次，李辉问他如何辨别真伪，他说，一般人鉴定真伪，多是根据笔墨、印章的真假，他则是根据画面上人物的服饰、物件的摸样来判断。譬如说，有的画里的人物穿着是唐代的，可画面上有的物件确实唐以后才有的，那就证明不是唐代的，是后人模仿的。
黄永玉回忆，日本政府曾派了三个专家向他请教，说日本某张钱币上古代皇太子的画像的服装有些问题，所以他们觉得这位皇太子不是真的皇太子，如果不是，那就要废止这张钱币。黄并不擅长这方面的知识，推荐了沈从文。
沈从文看后说：“既然这位太子在长安住过很久，人又年轻，那一定是很开心的了。青年人嘛！长安是很繁荣的，那么买点外国服饰穿戴穿戴，在迎合新潮中得到快乐那是有的，就好像现在的青年男女穿牛仔裤赶时髦一样。……敦煌壁画上有穿黑白直条窄裤子的青年，看得出是西域的进口裤子（至今意大利还有同样直纹黑白道的衣装）。不要因为服装某些地不统一就否定全局，要研究那段社会历史生活、制度的‘意外’和‘偶然’。”经过沈从文的解释，日本政府才明白了，据说这张钱币到目前还在使用。