1922年我在安徽合肥出生的时候，父亲是安庆一所中学的教员。安庆当时也叫怀宁。父亲给我取名“振宁”，其中的“振”字是杨家的辈名，“宁”字就是怀宁的意思。我不满周岁的时候父亲考取了安徽留美公费生，出国前我们一家三口在合肥老宅院子的一角照了一张相片。父亲穿着长袍马褂，站得笔挺。我想那以前他恐怕还从来没有穿过西服。两年以后他自美国寄给母亲的一张照片是在芝加哥大学照的，衣着神情都已进入20世纪。父亲相貌十分英俊，年轻时意气风发的神态，在这张相片中清楚地显示出来。

父亲1923年秋入斯坦福大学，1924年得学士学位后转入芝加哥大学读研究院。1928年夏父亲得了芝加哥大学的博士学位后乘船回国，母亲和我到上海去接他。我这次看见他，事实上等于看见了一个完全陌生的人。几天以后我们三人和一位自合肥来的佣人王姐乘船去厦门，因为父亲将就任厦门大学数学系教授。

厦门那一年的生活我记得是很幸福的，也是我自父亲那里学到很多东西的一年。那一年以前，在合肥母亲曾教我认识了大约三千个汉字，我又曾在私塾里学过《龙文鞭影》，可是没有机会接触新式教育。在厦门，父亲用大球、小球讲解太阳、地球与月球的运行情形；教了我英文字母；当然也教了我一些算术和鸡兔同笼一类的问题。不过他并没有忽略中国文化知识，也教我读了不少首唐诗，恐怕有三四十首；教我中国历史朝代的顺序、干支顺序、八卦等等。

父亲的围棋下得很好。那一年他教我下围棋。记得开始时他让我十六子，多年以后渐渐退为九子，可是我始终没有从父亲那里得到“真传”。一直到1962年在日内瓦我们重聚时下围棋，他还是要让我七子。在厦大任教了一年以后，父亲改任北平清华大学教授。我们一家三口于1929年秋搬入清华园西院19号，那是西院东北角上的一所四合院。