，就郭嵩焘所属的那个社会阶层而言，他已经走得太远。这使他难安其位，不断受到攻击，而最为恶毒的攻击便来自他的副手刘锡鸿。
刘锡鸿是个顽固派，反对洋务，清廷任命他担任副使，与郭嵩焘一同赴英。刘得到清政府中一些大员的支持，暗中监视郭的一举一动，从一开始就不断向清政府打郭嵩焘的“小报告”，列出其种种“罪状”。清政府担心内斗会影响外事工作，于1877年4月改派刘锡鸿为驻德公使。刘与郭同为公使，使刘气焰更高，对郭的攻击更加猛烈，甚至达到“欲加之罪，何患无辞”的程度。如有次参观炮台时天气骤变，陪同的一位英国人将自己的大衣披在郭嵩焘身上。刘锡鸿认为“即令冻死，亦不当披”。当巴西国王访英时，郭嵩焘应邀参加巴西使馆举行的茶会。当巴西国王入场时，郭嵩焘随大家一同起立。这本是最起码的礼节礼貌，但刘锡鸿却将其说成是大失国体之举，因为“堂堂天朝，何至为小国国主致敬”！中国使馆人员参加英国女王在白金汉宫举行的音乐会时，郭嵩焘曾翻阅音乐单，刘也认为这是效仿洋人所为，大不应该，认为这都是“汉奸”行为。更严重的罪状是，他说郭嵩焘向英国人诋毁朝政，向英国人妥协，等等。由于朝中有人支持，刘更是接连上奏朝廷，发函总署及南北洋大臣，诬陷郭嵩焘。对刘的陷害，郭嵩焘当然倍感愤怒，竭力为自己辩诬，退意渐浓，多次上奏要求调回国内。
不过，李鸿章一直是支持郭嵩焘的。郭嵩焘出洋后，李鸿章一直与他密切通信。在1877年5月9日给郭嵩焘的信中，李鸿章说从总理衙门得到他的“行海日记”后自己“循览再四”，赞扬其“议论事实，多未经人道者，如置身红海、欧洲间，一拓眼界也”。在给别人的信中，李鸿章还说过，“筠仙虽有呆气，而洋务确有见地”。
对郭刘之争，李鸿章当然支持郭嵩焘。但是，朝廷内外反郭力量甚强，纵然李鸿章权倾一时，他的免刘保郭之论也根本不可能为清政府接受，只能暂时维持郭、刘现状。但结果仍然是驻英与驻德大臣二人的关系势同水火，闹得满城风雨，无法调和。在郭、刘二人“内耗”日甚一日、反郭拥刘者众的情况下，清政府决定将郭免职调回，不少人还想将郭嵩焘查办治罪，后在李鸿章、曾纪泽等人的反对下才不了了之。
1879年1月末，郭嵩焘离开伦敦，启程回国。到达上海后，他心力交瘁，请假归乡。5月回到故乡长沙时，等待他的却是全城的揭贴，指责他“勾通洋人”。当时湘阴正好发生守旧排外风潮，形势颇为紧张，连用西洋小火轮拖带的木船都受到长沙、善化两县民众的阻拦。就这样，郭嵩焘在一片辱骂声中离开了政治舞台。
出使之日，郭嵩焘曾经壮志满怀，期望以此行引进西方治国之道，使中华屹立于世界民族之林，无奈铩羽而归。郭嵩焘在唾骂声中出使，又在唾骂声中回国。他已失去继续奋斗的信心，回国后便归隐乡里。尽管郭嵩焘钦差使臣的官衔暂时尚未解除，但自巡抚以下的地方官员都对他傲慢异常。
1891年7月18日，郭嵩焘在孤寂中病逝。他去世后，李鸿章曾上奏请宣付国史馆为郭立传，并请赐谥号，但未获朝廷旨准。清廷上谕再次强调：“郭嵩焘出使外洋，所著书籍，颇滋物议，所请著不准行。”
其实，郭嵩焘如果泉下有知，对此可能也并不介意，因为他对历史、对自己充满信心。他在死前不久写的《戏书小像》中，自信地写下了这样的诗句：“流传百代千龄后，定识人间有此人。”
§§第三章霄汉常悬捧日心——薛福成