1902年春，13岁的陈寅恪随长兄陈师曾（陈衡恪）从上海吴淞口出发，踏上了赴日的航程。初出国门的陈寅恪眼望一望无际的大海，心潮澎湃，思绪万千。他想起离开南京家塾到上海后，与其兄衡恪谒见上海同文书会总干事、英国浸礼会传教士李提摩太的情景。李提摩太出身于英国南威尔士的一个农民家庭，先后就学于斯旺西师范学校和哈佛福韦斯特学院，1870年2月12日受英国浸礼会派遣来到中国，长期在山东烟台、青州等地传教。他精通汉语，研读四书，熟悉中国的传统文化和民情风俗。1876到1879年华北大旱，他从事赈灾活动，在山西发放赈款，结交了清政府的一批高级官员。李氏与李鸿章、张之洞、康有为、梁启超等洋务派和维新派人物都有过接触，还曾在1898年上书光绪帝力主变法维新，并于戊戌变法失败后帮助康有为出逃日本。李提摩太看不惯纨绔子弟终日游手好闲，不学无术的颓废生活，对陈氏兄弟远渡重洋的求学之举给予很高的评价，亲切地勉励他们说：“你们世家子弟能去日本读书，真是很难得很可贵啊!”

此外，陈寅恪更不禁想起了去年全家迁居南京，在头条巷家塾读书的情景，想起了在家塾学习四书五经、数学、英文、音乐、绘画等课程的情景，想起了与茅以升、茅以南兄弟课间嬉戏的情景（学堂除了方便自己家中的子弟之外，亲戚朋友家的子弟也可附学）。

故土难离，总使人割舍不下，即便，此刻漂流在大海上的只是一名少年国士的单纯心灵。然而，故国不可避免地衰落了。前文的叙述告诉我们，七年前的黄海，一度号称亚洲第一的北洋水师耻辱地败在了日本帝国海军的速度与火力之下。那是一场彻底改变远东国际格局的海战，明治以后的日本用战争的方式宣告了作为近代国家的日本在亚洲取得了老大的地位。一个崛起的岛国自信地挤入了瓜分中国的强盗行列。

陈氏兄弟到达日本时，留日的中国学生已达七八千人。鲁迅也在这一年3月24日以矿路学堂毕业生的身份在江南陆师学堂总办（即今之校长）俞明震（陈寅恪的舅父）的带领下，同22名陆师学堂毕业生和其他6名矿路学堂毕业生一同来到日本留学。鲁迅和陈氏兄弟同时进入了日本东京弘文学院学习。弘文学院是日本政府为教授中国留学生日语而开办的一所补习学校。鲁迅在这里学习了两年时间，取得了毕业文凭，并于1904年9月8日开始了在仙台医学专门学校的学习。同年夏天，陈寅恪趁暑假返回南京。回国后，与五兄隆恪一同考取了官费留日。这年冬初，散原老人亲自送两个儿子到吴淞口登船。并作诗云：“游队分明离两儿，扶桑初日照临之。送行余亦自厓返，海水浇胸吐与谁。”表达了父亲与两个儿子依依惜别的难舍之情。抵日后，隆恪初入庆应大学，后转入东京帝国大学财商系。而陈寅恪仍在弘文学院学习。

在弘文学院，陈氏兄弟与鲁迅关系十分密切。鲁迅与陈衡恪同住一舍，朝夕相处。1904年8月鲁迅还与陈衡恪等6人联名给已回国的弘文学院同学沈瓞民写信，介绍弘文学院及同学们的近况。据沈瓞民回忆：“求学时代的鲁迅，已认清沙俄和日本都是帝国主义，都是侵略中国的敌人，当时具有这样的意见，是令人敬佩的。陈师曾受到鲁迅的鼓励，也写了6封信，其中一封是给其父散原老人的，主要指出日本包藏祸心等语。”

后来在1915年春，陈寅恪曾出任新成立的经界局局长蔡锷的秘书，那时鲁迅和陈衡恪都在教育部任职。鲁迅在该年4月6日的日记中记载：“赠陈寅恪《域外小说》第一、二集，《炭画》各一册。”以后，鲁迅成为文学大师，陈寅恪却缄口不向人们谈及他们之间的友谊，所以人们对他们之间的交往了解甚少。

陈寅恪留学日本期间，主要把精力放在学习日文上。同时他还留心观察和体验日本的生活习俗，阅读日文学术著作，研究日本历史、文化以及中日文化交流的情况，这为他日后援引日文资料，进行隋唐史的研究打下了坚实的基础。例如，他在探讨隋唐时代的府兵制时就注意到，隋以前的资料比较少，不容易弄清楚，而当时日本的很多制度模仿唐制，其《养老令》之宫卫军防诸令条内容详细，两者相互参照，恰好可以弥补这一缺憾。他还注意到日本东京帝国大学冈崎文夫教授关于唐代府兵制、均田制和租庸调法的研究成果，认为“不失为学人审慎之态度”。又如他后来在考释白居易《长恨歌》“春寒赐浴华清池，温泉水滑洗凝脂”句中“温泉”之由来时，旁征博引，以说明温泉疗疾风气流传之广，称：“又今之日本所谓风吕者，原由中国古代输入，或与今欧洲所谓土耳其浴者，同为中亚故俗之遗。”这里的“风吕”便是日本人所说的沐浴，可见他对日本生活观察之细，体验之深。再如，陈寅恪在批阅《旧唐书》太宗纪下贞观十七年秋七月庚辰条“京城讹言云，上遣枨枨取人心肝，以祠天狗”时，不禁想起在日本见过的那种红面孔、高鼻梁，具有灵性和神通的怪物，于是写下这样的按语：“天狗，日本所传，当由唐代转入。”对于“风吕”和“天狗”一词的解释，可见他对日本文化的熟悉程度。

1905年冬，陈寅恪因患脚气，不得不离开日本，回国疗养。