但无论如何，最后胡适和江冬秀携手走完了一生，蒋介石评价他是“新文化中旧道德的楷模，旧伦理中新思想的师表”，和这个不无关系。
新历的1923年即将结束时，胡适恋恋不舍地离开了人间天堂——杭州，离开了已经怀孕的曹珮声，回到北京。
为辟谣胡适曾写道：在留学时代，我与陈女士虽然只见过一面，但通信是很多的。我对她当然有一种很深的和纯洁的敬爱，使我十分重视我们的友谊。但我们从来没有谈到婚姻的问题。这是因为，第一，我们那时都在青年的理想时代，谁都不把婚姻看作一件重要的事；第二，当时一班朋友都知道陈女士是主张不婚主义的，所以没有一个人敢去碰钉子。她与任君相识最久，相知最深，但他们也没有婚姻之约。直到任君于1919年第二次到美国，陈女士感到他三万里求婚的诚意，方才抛弃了她的不婚主义，和他订婚。
江冬秀以杀死他们的两个儿子相威胁，胡适只好作罢。但他心中依旧念念不忘曹珮声。与妻子争吵后，胡适离家出走，住在北京西山的朋友家中，心中的苦闷、感伤和凄凉无处排遣，在一个寒冷的夜晚，胡适写道：“山风吹乱了窗纸上的松痕，吹不散我心头上的人影。”
曹珮声（曹诚英）是胡适三嫂同父异母的妹妹，以后是我国农学界第一位女教授。曹珮声比胡适大约小10岁。二人第一次见面是在胡适与江冬秀的婚礼上。当时婚礼上的“小伴娘”曹珮声就已经吸引了胡适的目光。曹佩声喜欢种花草，胡适夫妇到北京后，常写信给胡适，要他寄花籽给她，也不时作些小诗请胡适评阅，两人通信往返，互有好感。
两人同居时刚好是曹珮声放暑假，但很快就到了开学的时候，曹珮声又请了一个月的假，继续陪伴胡适，此后胡适一直在南方逗留到1923年的12月中旬才回北京。
秋去冬来，离别的日子快到了，相见时难别亦难啊，天气也渐渐转凉，带着一片凄凉之意，胡适在日记中写到：睡醒时，残月在天，正照着我头上，时已三点了。这是在烟霞洞看月的末一次了……今当离别，月又来照我，自此一别，不知何日再继续这三个月的烟霞洞山月的“神仙生活”了！枕上看月徐徐移过屋角去，不禁黯然神伤（《胡适日记》）
胡适一生中有好几段恋情，其中最有名的是韦莲司。韦莲司是1914年胡适在美国时所识，但是随着1917年胡适回国，两个人被迫分离。二人再度见面是十余年后的1927年，当再相见时，他们已经分别10年，都已人到中年，头上长出了白发。在这十年里，胡适的人生发生了翻天覆地的变化。他结了婚，有了孩子，事业上达到巅峰，成为中国新文化运动的领导人，中国现代自由主义的先驱，还有了曹佩声。曹是胡适在杭州养病时，结下的情缘，当时两人爱得死去活来，胡适称那段日子为“烟霞山月的神仙生活”。据说，胡适的《尝试集》中后面的情诗大多为曹佩声所作。
十三年没有见面的相思，
于今完结，把一桩桩的伤心旧事，
从头细说，
你莫说你对不住我，
我也不说对不住你——
且牢牢记取这十二月三十夜的中天明月！
略带伤感的曹珮声更让胡适着迷。在杭州一同游玩了4天后，5月3日，临别之时，胡适为曹珮声写下了一首题为《西湖》的白话小诗：“十七年梦想的西湖，不能医我的病，反使我病的更厉害了……这回来了，只觉得伊更可爱，因而舍不得匆匆就离别了。”1923年5月25日，胡适在这一天的日记上粘贴了曹珮声随信寄来的八张与西湖有关的照片，其中一张是曹珮声自己的单身像。
江冬秀特别看不惯胡适交往圈子中的孟浪习气，对所谓“浪漫机会”坚决不予迁就。有传言说最初是胡适看上陆小曼，无法跟太太离婚，陆小曼才转而许身徐志摩的，后来胡适又尽力促成其事，江冬秀怒不可遏，一天到晚骂胡适。有一天叶公超等人在胡家，胡太太又当着这些人的面骂胡适，骂他这批朋友：“你们都会写文章，我要是会写文章，有一天我要把你们这些人的真实面目写出来，你们都是两个面目的人。”刚说到这儿，胡适从楼上走下来，对太太说：“你又在乱说了。”胡太太说：“有人听我乱说我就说。你还不是一天到晚乱说。大家看胡适之怎么样，我是看你一文不值。”
胡适婚后有过几次婚外情，但均被厉害的江冬秀所扼杀。赵元任与杨步伟结婚请胡适当证婚人，江冬秀就拒绝去喝喜酒，说是看不惯这种孟浪习气，胡适只好自己去了。胡适的好友梁实秋想和老婆离婚，另娶新人，江冬秀就把梁实秋的老婆接到自己家里，为她出谋划策，闹到法院里打官司。结果堂堂北大教授梁实秋竟然败诉，一时里传闻沸沸扬扬，丢尽了大教授的脸面。这一切都等于是间接地向胡适做“河东狮吼”，敲山震虎，唬得胡适不得不做出种种妥协的举动来。
在烟霞洞与曹珮声一起生活的时光让胡适铭刻一生。胡适曾在1923年10月3日的日记中写到：我这三个月中在月光之下过了我一生中最快活的日子——《胡适日记》。
之后，曹佩声由胡适推荐于1934年赴美国就读于康奈尔大学农学院，1937年获得硕士学位，回国后先后在安徽大学和复旦大学任教，是我国第一位农学界女教授。
老病孤身难寄，
南迁北驻迟疑，
安排谁为决难题？
哥哥长病废，
质仰死无知。
徒夸平生多友好，
算来终日痴迷。
于今除却党支持，
亲朋休望靠，
音信且疏稀。
1921年7月31日，胡适在日记中记有这样的话：“得冬秀一信，知叔永、莎菲新得一女。因重到鸡鸣寺，作一诗贺他们。”诗曰：重上湖楼看晚霞，湖山依旧正繁华；去年湖上人都健，添得新枝姊妹花。他还在诗末加注说：“三个朋友一年之中添两女，吾女名素斐，即用莎菲之名。”素斐夭折后，任鸿隽陈衡哲夫妇送他们的女儿给胡适做干女儿。由此可见，两家交情很深。
在微微的寒风吹拂下，胡适回到了北京。徐志摩已经把胡适与曹珮声相爱的事情传开了。回到家中，妻子江冬秀手持剪刀逼问胡适，胡适承认了自己与曹珮声的恋情，由于此时母亲冯顺弟早已去世，不用再遵母命尽孝道的胡适终于向江冬秀提出了离婚。
再见时，曹珮声已不是胡适印象中当年的小伴娘，而是一个亭亭玉立的女学生，虽然离婚后独居，却依旧开朗，且又带几分伤感。汪静之曾这样形容过曹珮声：“她不算漂亮，但很迷人。先是令我着迷，后又使胡适着迷，她就是属于那不很漂亮，但有迷人魅力的女人！”
胡适的发妻江冬秀是母亲为他选者的。胡适虽早年丧父，人品相貌、资质才气均高人一等，上门订婚的人几乎踏破了门槛。对于胡适的身价，村子里曾有一个“值百金”的说法，意思是胡适若为女身，就可得到最高的聘金了。
记得那年，
你家办了嫁妆，
我家办了新房，
只不曾捉到我这个新郎。
这十年来，
换了几朝帝王，
看了多少世态炎凉，
锈了你嫁妆剪刀，
改了你多少嫁衣新样，
更老了你和我人儿一双。
只有那十年的陈爆竹，
越陈便越响。
韦莲司爱的炙热，周质平的《胡适的情缘与晚境》中，有韦莲司写给胡适的情书，情书写得让人看了心惊肉跳：“没想到，我会如此爱你……胡适……我崇拜你超过所有的男人……”“我整好了我们那个小得可怜的床……我想念你的身体，更想念你在此的点点滴滴。我中有你，这个我，渴望你中有我……”但事实上他们只有精神之恋，没有肌肤之亲。
在杭州烟霞洞，两人安静地享受着爱情所带来的幸福，每日寄情于烟霞，或两人对弈，或闲坐品茗，或游山观佛。杭州多雨，雨后的西湖和四周的山峦更是清秀可爱，胡适在日记中多处记录了他和曹珮声一同漫步于山水之间。今天晴了，天气非常好。下午我同珮声出门看桂花，过翁家山，山中桂树盛开，香气迎人。我们过葛洪井，翻山下去，到龙井寺……（《胡适日记》）
胡适一直不喜母亲为他选择的发妻江冬秀，他十八岁在上海求学时，母亲让他回家完婚，他以求学要紧为由回绝了。1916年1月，在美国的胡适偶患小恙，躺在床上，倍受着清冷的凄苦，忽然邮差送来了江冬秀的信，尽管全部“不满八行字，全无要紧话”，却也感动了胡适。
《胡适留学日记》中记载了胡适和陈衡哲见面的情形：“（1917年）4月7日与叔永去普济布施村（Poughkeepsie）访陈衡哲女士，吾于去年10月始与女士通信，五月以来，论文论学之书以及游戏酬答之片，盖不下四十余件。在不曾见面之朋友中，亦可谓不常见也。此次叔永邀余同往访女士，始得见之。”这是胡适在美留学期间与陈衡哲的第一次见面，他们虽然见面次数不多，但在五个月之内，胡适寄出了信函“四十余件”，差不多每月十件，为数颇不算少。留意那些“游戏酬答之片”，双方的感情还是很亲密、很谐趣的。1914年11月1日，因彼此称呼问题，“寄陈衡哲女士”云：你若“先生”我，我也“先生”你。不如两免了，省得多少事。
隐外西楼已半春，绸缪未许有情人。
非关木石无恩意，为恐东厢泼醋瓶。
江冬秀写于1923年8月18日的家书提到了朱毅农的病情：“我今天去看朱小姐，他的病好点了。……他说明后天朱经农要到了。医生劝他先在家住一个月，把病养好点，再到西山去住住去。他说这一次一听到西山去住半年，他等朱经农来，把他母亲安顿一下，他狠（很）不放心他的老母亲没有人照顾。”从这封信来看，朱毅农已经发病了，病情严重到去西山住半年。江冬秀写信征求胡适的意见，让朱小姐的母亲搬到家里住可好？
1949年，胡适不听曹佩声的劝阻流亡到美国，从此两人鸿雁断绝，留下的是无尽的怀念。1958年，她退休后于1969年落户绩溪山城，原想找一处房前屋后能够耕作的住所，自筹资金建一个养猪场、气象台，但这些设想都一一落空。生活上十分清苦孑寂，她写有一首《临江仙》：
两人虽然同居，但这并不为太多的外人知晓，1923年的中秋节，胡适邀请好友徐志摩来杭州游玩，自命为“寡人有疾，寡人好色”的徐志摩一眼就看出胡适与曹珮声非同一般的关系。
天气不好的时候，两人则在檐下同读一卷书，胡适在日记中又曾这样写到：早晨与娟同看《续侠隐记》第二十二回《阿托士夜遇丽人》一段故事，我说这个故事可演一首记事诗……（《胡适日记》）
拿胡适的女儿“素斐”来做文章的，不是别人，是胡适的高足唐德刚。唐德刚说：“素斐者，SOPhIA也，‘莎菲’也！‘为念绿罗裙，处处怜芳草！’”后来，素斐夭折后胡适写的那首《素斐》的短诗。唐德刚先生认为这是一首“缠绵悱恻的一石双鸟，悼亡、怀旧之诗”。
“前几年，我的一位女朋友忽然发愤写了一部六千字的自传，我读了很感动，认为中国妇女的自传的破天荒的写实创作。但不幸她在一种精神病态中把这部稿本全烧了。当初她每写成一篇寄给我看时，我因为尊重她的意意，不替她留一个副本，至今引为憾事。”
朱毅农对胡适的单恋持续了多年，1930年间，她的家人甚至为了她而另租了一间房子，请了看护，把她隔离，胡适在他的日记里把她住的屋子称为“她的疯狂院”。十月下旬，胡适去探望朱毅农的时候，她自己告诉胡适：“我是为了想你发风疯的。”并且说她别无指望，只希望能常见到胡适。两天以后胡适又去了一次，看她奄奄一息在床，不由得黯然地作了“我虽不杀伯仁，伯仁因我而死”的感叹。更凄惨的是，朱毅农还是胡适中国公学的学生饶毓泰的妻子。不但如此，他们1924年结婚的时候，胡适和江冬秀还是他们的证婚人呢！
胡适在《四十自述》自序（1333）里，提到过“一位女朋友”毁稿的憾事：
留美期间，胡适、陈衡哲、任鸿隽是三个好朋友。任鸿隽1919年与陈衡哲订婚，1920年陈衡哲获芝加哥大学硕士学位，受北京大学校长蔡元培邀请，回国担任教授，和任鸿隽同在北大任教。1920年9月16日陈、任举行结婚典礼，胡适做赞礼，蔡元培为证婚人。胡适戏赠他俩的贺联是：“无后为大，著书最佳。”
1939年，曹佩声结识了一位归国留学生，俩人产生了恋情，岂料江冬秀在男方亲戚中败坏她的名声，致使男方单独解除婚约，直气得曹佩声要上峨嵋山当尼姑。后在其兄曹诚克力劝之下方改变了主意，又兼在美国做大使的胡适来信安慰，还捎来300美金资助生活，情绪才逐渐稳定下来。曹佩声对胡适，一直是痴情不改，一往情深，鸿雁不断，相互都品尝着苦涩的婚外恋情。
陈衡哲曾用“金坚玉洁”来形容他们的友谊。但有人散布流言蜚语，他们三个人的友谊被人误解和中伤。1934年第二十六期的《文坛画虎录》专栏上，发表了“象恭”写的《陈衡哲与胡适》的短文。文章说陈衡哲要与胡适结成永久伴侣，胡适拒绝了，然后把她介绍给任鸿隽；陈衡哲、任鸿隽婚后感情一直淡淡的。此文引起了轩然大波。为了反击胡乱猜测和无中生有的诬蔑，胡适写信（任鸿隽陈衡哲夫妇过目并同意）给编辑部用事实来加以批驳，并要求杂志向他们三人公开道歉。
胡适从美国回安徽老家探亲时，曾提出要见江冬秀一面。江家拗不过他，总算勉强答应了。那天胡适来江家，由江冬秀的哥哥江耘圃陪同前往闺房。胡适跨进绣阁，只见江冬秀已掩进床帐内，张目望去，隐隐约约，只有隔帘花影之感。舅母一步抢上，伸手要去撩床帐，胡适这时已开始感到歉疚，忙拦住，然后就退了出来。胡适未见到未婚妻，但是江冬秀却见到了未来郎君，心中很是欢喜。回到家里，大家问他见了新人没有，胡适笑着说：“见了，很好。”
朱毅农写好了自传只给胡适一人看，也很符合她单恋胡适的心理特点和行为动机。还有一个原因，胡适大力提倡传记文学，他不仅身体力行写作人物传记和自传，不厌其烦地劝导督促他的朋友们写自传，朱毅农写自传是单恋胡适的一种回应。
1918年的冬天，在家里的安排下，曹珮声嫁给了从小就已订婚的同乡胡冠英，1920年曹珮声考入杭州第一女子师范学校，丈夫胡冠英进入浙江第一师范就读，由于婚后四年，曹珮声一直在外求学而没有生育孩子，引起了婆婆的不满，为此婆婆以曹珮声四年不生孩子为由，给胡冠英在家乡娶了一房小妾。此事惹恼了曹珮声，已经开始接受五四新思想的曹珮声决定与丈夫离婚。1922年底，曹珮声与丈夫胡冠英解除了婚姻关系。
对于江冬秀，李敖曾有一段他个人的理解和评价：“你看到了江冬秀女士以后，你才知道胡适的伟大”，“像鲁迅，从日本留学回来以后，把原来那个乡下婆子，那个老婆丢掉了，像傅斯年把原来老婆都丢掉了，可是胡适没有把他这个缠小脚的乡下老婆丢掉，乡下老婆就反客为主，就欺负起胡适来，欺负到什么程度啊？胡适跟朋友们一起聊天的时候，这个老婆可以进来，当众骂街，讲脏话，讲粗话，讲撒泼的话”。
1961年5月，台湾一份报纸刊登一篇《胡适之伪装惧内》的文章，其中有这样的话：“留着冬秀（胡适的太太）作女皇，这是虚君，实权自在首相手中”。据说，胡适读罢不禁哈哈大笑：“这个人好像知道我过去的事情，大体都不错，但有些地方是胡闹了。”
有一回，胡适随母亲冯太夫人去旌德县旺川村的姑婆家做客，恰巧一位吕姓的亲戚也来串门，看上了刚十多岁的胡适，认准这孩子将来要成她家的女婿。这位女戚的夫家姓江，称得上是旌德县的巨族，膝下有一女，名叫江冬秀，年逾胡适1岁，按胡适家乡的俗谚“宁可男长十岁，不可女大一年”来说，这是忌讳的。另外江冬秀肖虎，胡适属兔，旧法上也犯冲。为此，这门亲事就成了剃头担子一头热，女方要成，男方不依。
胡适曾爱慕陈衡哲，他虽至死不承认，却给自己的女儿取名叫“素斐”。素斐即Sophia，也即“莎菲”，正是陈衡哲的英文名和笔名。
新婚后，胡适写了几首白话诗，记闺房之趣，其中有一首这样写：
夏志清在《小论陈衡哲》一文中推测焚稿的自传作者是陈女士陈衡哲。有人认为，这个焚烧自传稿件的“女朋友”不是陈衡哲，陈衡哲没有出现过“精神病态”，显然是朱毅农。
美籍学者夏志清说：“任氏夫妇一直是胡适的至交，也是他事业上最亲信的左右手，他对任太太是不存一丝罗曼蒂克的幻想的。但任、陈婚姻如此美满，胡适自己家里有个病中不准他看书、写诗的老婆——相形之下，他免不了艳羡他们的幸福。他骗过江冬秀，给自己的女儿取名素斐（SOPhIA），虽不能说纪念他同陈衡哲那段旧情，至少也希望女儿长得像瓦莎学院优秀生莎菲一样聪明好学，而一点也不像她生母那样的庸俗。德刚道破胡适为爱女取名用心良苦这一点，实在令人心折。”
胡适和陈衡哲认识于留学美国期间。陈衡哲在美国五所最有名的女子大学之——瓦沙女子大学（Vassa College）留学，专修西洋历史，同时学习西洋文学。在那里，她结识了胡适、任叔永（鸿隽）、杨杏佛、梅光迪、朱经农、胡先（马肃）等人，并以莎菲为笔名开始写作。
1927年，素斐夭折后一年半，远在美国的胡适给妻子江冬秀写信说：“冬秀，我今天哭了女儿一场！梦中忽然看见素斐，脸上都是病容，一会儿就醒了。醒来时，我很难过，眼泪流了一枕头，起来写了一首诗，一面写，一面哭。忍了一年半，今天才哭她一场……”并在信后附上诗《素斐》一首，有研究者认为，哭女儿是真情迸发，诗素斐，可到底是为哪个Sophia？
在胡适身边，还有一位单恋胡适的女性，她就是胡适的好友朱经农的胞妹朱毅农。民国时期，朱经农曾任上海市教育局长、湖南省教育厅厅长。曾任中华民国国务总理的熊希龄夫人朱其慧，是朱经农和朱毅农的姑姑。
1915年9月，梅光迪（觐庄）等人和胡适的“文学革命”笔战中，陈衡哲也支持胡适的主张。胡适说：“民国五年（即1916年）七八月间，我同梅（觐庄）任（叔永）诸君讨论文学问题最多，又最激烈。莎菲那时在绮色佳过夏，故知道我们的辩论文字。她虽然没有加入讨论，她的同情却在我的主张一方面。……她不曾积极参加这个笔战；但她对于我的主张的同情，给了我不少的安慰与鼓舞。她是我的一个最早的同志。”（陈衡哲的短篇小说集《小雨点》胡适序）
1923年，胡适来到南方养病，经常栖息于沪杭两地，再一次见到了曹珮声。离婚后的曹珮声继续在杭州第一女子师范学校求学，这一变故让受饱受办婚姻之苦的胡适又看到了爱情的希望之火。曹珮声离婚后第二年的4月29日，正是杭州城春光最明媚的时候，胡适出现在了西湖边上。胡适的乡邻好友，曹珮声的亲戚，著名诗人汪静之曾说：“胡适来杭州的目的是为探视独居的‘小伴娘’。”
到了1923年的5月底，胡适再一次坐上了开往杭州的火车，出现在了烟雨朦朦的西湖边上。6月下旬，各个学校放假后，胡适终于在杭州南山的烟霞洞边等来了心中的爱人曹珮声。
对于这段婚外恋，胡适有诗记之：
曹珮声终身未再嫁人，她至死都把对胡适的爱珍藏在心底。杨林桥，位于胡适家乡安徽绩溪上庄村的村口，1965年6月25日，杨林桥被山洪冲毁，曹珮声捐献了自己的积蓄，重修杨林桥。
杭州西湖南山，有三处名洞，为水乐、石屋和烟霞，其中烟霞洞风景最佳，以朦胧中的烟霞为美，清修寺在烟霞洞的南边，十分安静，寺里的僧人仰慕胡适大名，便把大殿东边的两间小斋房出租给了胡适。在这里胡适与曹珮声开始了他们的同居生活。
不知道何时朱毅农何时爱上了胡适，只知道结局：单恋胡适多年而发疯，最后染病身亡。这真是一个令人悲伤和绝望的结局。这个秘密只限于跟胡适最要好的朋友知道，胡适的日记和家书中半遮半掩地记录了几笔，我们借以管窥这位薄命的红颜。
徐志摩看出好友在杭州有了情人，便鼓励胡适要“革命”，但是与曹珮声相爱的胡适想要冲破礼教的束缚，却又缺乏勇气。因此胡适曾自我安慰：“情愿不自由，也是自由了”。
1973年，曹佩声病逝于故乡安徽绩溪。临终前她留下遗言，一定要把她安葬在杨林桥边的那条小路旁，因为那是胡适回家的必经之路。她曾经委托好友汪静之，将她一直珍藏着的一大包与胡适来往资料，在她死后焚化。这段刻骨铭心的相思，她珍藏了一辈子，死后也随她带去了天堂。
胡适虽然是中国现代较早接触西方文化的人，但他又深受中国传统道德的影响，在面对自由的爱情和旧式的婚姻这个问题上，他始终表现出一种矛盾。
后来女方请出了江冬秀的老师——胡适的本家叔叔胡祥鉴前来说项。这人巧舌如簧，东三西四地扯了一大堆吉祥话，硬生生地把胡适的母亲冯太夫人说得动了心。于是，按照当地的习俗，冯太夫人正儿八经地要来了江姑娘的生辰八字，请先生开课算过，结果出人意料地好。冯太夫人还不放心，又将江姑娘的八字与其他几个候选媳妇的八字一起放到竹升里，往灶司老爷座前供好。几天后，才虔诚地用竹筷从竹升内夹出一个写着姑娘八字的纸条，打开一看，仍是江姑娘。于是，胡适的婚事就这样定下了。