出任中国科学院副院长

上海解放后，1949年6月初，在党领导下成立了科技界的"上海科技团体联合会"，推举吴有训为主席。6月中，上海军事管制委员会又任命他为上海交通大学校务委员会主任(相当于校长)，主持交通大学的教学恢复工作。7月，吴有训作为上海科技界的代表，赴北京出席中华全国第一次自然科学工作者代表大会筹备会。会议选举了出席全国政治协商会议的科技界代表15名，吴有训是代表之一。9月，中华全国第一次自然科学工作者代表大会筹备会上海分会成立，他被推举为主任。翌年，华东军政委员会成立，吴有训又被任命为华东教育部长。之后，因新成立的中国科学院草创伊始，亟需有威望有经验的科学家担任领导工作，吴有训奉调赴京，并于1950年12月，被正式任命为中国科学院副院长，从此开始，直到1977年逝世，吴有训在中国科学院工作了27年，把自己的后半生全部奉献给了这项事业，为中国科学院和中国科学事业的发展壮大做出了重要的贡献，创造了自己生命中的再次辉煌。
  吴有训在中国科学院成立后不久的1950年1月就曾应邀来到北京，出席科学院研究计划局召开的近代物理座谈会，讨论并参与科学院物理科学相关机构的调整和设置问题。会议决定将原来分属中央研究院和北平研究院的四个物理类研究机构合并为两个：近代物理研究所和应用物理研究所。吴有训在三月被提名为近代物理研究所所长，副所长是他的学生钱三强。五月，由中央人民政府正式任命。于当年六月底，吴有训受郭沫若院长委托，作为中国科学院访德代表团团长，与华罗庚、王淦昌、恽子强出访东德，参加纪念德国科学院成立250周年大会。在会上，吴有训以代表站立起来了的中国人民的身份发表演讲，获得了热烈的掌声。会议期间，中国代表团受到东德总统的接见，还参加了其他活动，处处都受到了欢迎。会后，吴有训率科学院代表团顺访了波兰的华沙，然后又奉科学院之命，与华罗庚从波兰转赴布达佩斯参加第一届匈牙利数学会议，于九月初回国。这次对外交流活动是中国科学院最早的国际科学交流与合作活动，结交了当时社会主义阵营科学界的许多朋友，扩大了新中国科学事业的影响，为以后的交流打下了基础。回国后他在当时的华北大学礼堂做了题为"民主德国的科学文化概况"的归国报告，北京的科学界有300多人参加了会议。
  1950年10月底，吴有训访欧归来后不久，开始担当起副院长的职责。因郭沫若院长要去国外出席第二届世界保卫和平大会，离国两个多月，由李四光代行院长之责。为加强领导，其他副院长每人都直接分管几个具体的研究单位，还没有被正式任命为副院长的吴有训分管了数理化学科领域的应用物理所、近代物理所、有机化学所和物理化学所等九个单位，并兼管办公厅的工作。到该年底，他被正式任命为中国科学院副院长。