清政府派留**童的如意算盘是，在政治和思想上保持封建文化传统的前提下，把美国的先进技术学到手，旧瓶装新酒，换汤不换药。事实证明，这是不可能的。幼童们在美国接受的是西方教育，过的是美国式的生活，特别对于十来岁的孩子来讲，非常容易“美国化”。随着时间的推移，这些幼童不愿穿中式服装，经常是一身美式打扮。不少幼童索性把辫子剪掉，见清廷长官时再弄一根假辫子装上。这让清政府保守派十分担忧：这还了得，这不是忘了祖宗吗？
幼童们从小学到中学，用的都是西方的教材，渐渐地对“四书五经”失去兴趣，对自由、民主、人权之类的东西十分迷恋。与美国女孩子约会的事也时有发生。詹天佑等人还组织了棒球队，在赛场上生龙活虎。容闳是对留学生持开明态度的，但他只是留学生团队的副监督，正职由清廷官僚把持，遇到许多重大问题还是由监督说了算。
1876年，吴子登出任留**童监督，容闳的日子就更难过了。吴支持洋务事业，还有一定的英语水平，但思想开放度不高，行为古怪，官僚习气严重，对留学生常持异议。他一上任，就将幼童们召来，严加训斥，引起多数留学生的不满。他尤其对一些幼童信奉基督教不满，下令开除了两名信教者，并勒令二人回国。这两名幼童知道回国后没有好果子吃，就在美国友人的帮助下，转往异地上学。这两人后来还成了很有成就的名人。吴子登还增加幼童们的中文课程，突击进行封建道德礼仪教育，对剪掉辫子者严惩不贷，甚至杖责。一时间搞得留**童人心惶惶、怨声载道，最后在幼童们的心里反而激起了一种逆反心理。他们对吴子登的话就是不听，只服从容闳一个人，这更使吴子登怒不可遏，视容闳为仇敌。容吴二人常常吵翻，很少平心静气地去讨论问题。
吴子登还经常向清廷写奏折，讲容闳的坏话，说他放纵幼童，目空一切，不能尽职。清廷对吴子登的话信以为真，让连曾纪泽这样开明的官员都认为留**童难以成材。所以当1881年吴子登请求清廷将幼童们全部撤回的时候，他的这一请求迅速得以批准。于是，吴下令，所有幼童从1881年8月21日起，分三批启程回国。
容闳本来要将留学计划开展百年，为中国源源不断地培养人才，没想到过早夭折，也只能一声叹息。
不过，即便如此，这些学成回国的学子们仍是人才济济、群星闪耀。他们中间出现了被人誉为“中国铁路之父”的詹天佑，中国邮电事业的奠基人朱宝奎、黄开甲、周万鹏、唐元湛，中国第一代矿冶工程师吴仰曾、邝荣光、唐国安，中国第一代海军将领容尚谦、蔡廷干、徐振鹏，中国第一代留学生外交官唐绍仪、梁诚、梁敦彦等杰出人物，唐绍仪还出任过中华民国首任总理。