耻辱议和的第一线——李鸿章奉旨派张荫桓、邵友濂带国书赴日求和，伍廷芳以候补道派充头等参赞。
1895年1月29日，中方代表团抵达长崎，日内阁大臣伊藤博文、外相陆奥宗光接洽，但日方以张、邵不是全权代表为由，拒绝谈判。不仅如此，日方还蛮横地拒绝中方代表团用密码发电与国内联系，中国代表团陷入困境。这一期间，伍廷芳得到了两次和伊藤博文私下面谈的机会，终于探听到了日本的真实意图和议和目标——伊藤博文几乎明确地给出了日本索要的价码：他们要求李鸿章作为双方谈判的中方全权代表，并要求割地赔款。伍廷芳终于弄清了日本羞辱中方代表团的主要原因，并把他探听到的情报如实上报给了清政府。最终，清政府特派李鸿章为拥有割地、赔款权力的全权代表，赴日谈判。
虽然对中国人来说，《马关条约》实在是丧权辱国，但在当时的条件下，清政府缺少和日本帝国主义讨价还价的基本条件，签署这一条约几乎不可避免。然而，伍廷芳在李鸿章谈判完成之后，还得痛苦而难堪地以二品顶戴候选道头衔充当换约大臣。在换约结束后，由于日本割占辽东半岛侵害了俄国的利益，引发了三国干预，日本被迫归还中国辽东半岛，但要以多赔3000万两白银作为补偿。
在这次补偿谈判中，日本人又耍了一个阴谋，要求攫取更多的权益和降低日货的关税，意图违反已经议成的《马关条约》。在当时，盛宣怀曾有一个设想，准备中外统一税率，而对华商减税二成。伍廷芳机警地看到了其中的危险，因为西方列强已经在中国取得了领事裁判权和片面最惠国待遇，如果盛宣怀的意见付诸实施，则必然给西方列强以共享的借口。伍廷芳于是提议盛宣怀建议的后一部分以政府补贴的方式实行，尽可能地维护了中国的权益。
晚清政府对日外交过程几乎无称道之处，但伍廷芳作为其中的参与者，平心而论，他的个人表现应该是可圈可点的。尽管他不可能扭转清政府屈辱的外交颓势，但他个人在其职责范围内尽可能地维护了中方的权益。虽然后世学者在对日本开放的秘密档案进行研究后表示，伍廷芳后来为了帮助他的恩主李鸿章进行国内政治斗争，一度试图借助日本势力——这种行为严重有违国格、有失体统，有人认为他的政治大局观大可质疑——但这无损于他作为法学专门人才在外交实务中的敏锐和爱国情操。而这也正是他后来被清政府委派负责处理对美外交事务的主要原因。