公元1918年5月11日，费曼在美国曼哈顿的一家医院里出生了。费曼的父亲自小由俄国移居美国。他迷恋科学，但是跟同时代的其他移民一样， 没有太多的机会研究科学。他曾研究了一点点称为顺势医疗论的医学，然后就开始去做生意。费曼的母亲成长环境稍好一点，从小就受到了良好的教育。

     在费曼出生之前，他的父亲就曾经预言，如果生出来的是男孩，他长大后一定是个科学家。而他妻子回敬他说，蛋还没孵出来，就在数有几只鸡，未免言之过早。后来，他父亲的预言实现了。费曼还在坐婴儿椅的时候，父亲就会带一些小磁砖回家，引导费曼去认识数字。小费曼很早就学会走路了，可是到两岁时才会说话。不过，跟其他晚说话的孩子一样，只要费曼一开口就说起来没有完。父亲买了一套大英百科全书，费曼生吞活剥地一口气把它看完。父亲常带他去纽约市的美国自然史博物馆，那里有栩栩如生的动植物标本装在玻璃柜中，还有好高好高的著名的恐龙骨架模型。费曼说：“如果它站在院子里，将高到足以把头伸进窗户，可是又伸不进去，因为头太大了，会把窗户弄坏。”以小男孩来说，这实在是很生动的表白。

     费曼的父亲带给家人的贡献是尊重知识和做事认真的态度，而幽默感和喜爱说故事则来自母亲这一边。也许，这是父母性格与分工的不同。晚餐时，费曼家人谈事情、讲故事时，或是饭后朗诵书本时父亲总是开开心心地笑声不断，费曼也和父亲一样，不时发出格格的笑声。而费曼的母亲则很擅长于调节这种轻松愉快的气氛，常给这父子俩讲一些幽默的、引人发笑的故事。

     实际上，费曼的母亲很不幸，经历了很多坎坷的事情，她自己的母亲和大姐都患有精神病，在众兄姐妹中，除了她和一个妹妹健康地生存下来以外，其他兄妹都童年早夭。她自己的家庭也遇到了类似的不幸。费曼5岁那年冬天，她生了第二男孩，取名亨利，是为了纪念一年前自己过世的父亲。出生不久，亨利就连续四周高烧不退，有个指甲也血流不止，一直治不好，没过几天，亨利就死了。这种哀伤，真是由欢乐到绝望的转变，加之费曼心中的恐惧，这种氛围笼罩这个家有好长一段时间。费曼一直想有一个弟弟，现在，他看到了人的生命变化莫测，也认识到了“天有不测风云，人有旦夕祸福”。这一年的伤心的生活，他后来都绝口不提。他没有弟弟和妹妹，一直到9岁那年，才添了一个妹妹，而亨利的音容一直萦绕在他全家人的脑海里。