1860 年，中英、中法《北京条约》签订后，清政府被迫接受各国公使常驻北京。
1873 年6 月，外国公使首次入觐同治皇帝，清廷多年来坚持的“朝贡体制”由此开始走向崩溃。就在列强用“二次战争”武力强行打开中国国门的同时期，1853 年，美国用“舰队”叩开了日本的大门，日本也不得不被迫与美、英等签订了一系列的不平等条约。
中、日两国地理位置一衣带水，文化交流源远流长，在历史上的关系十分密切以中国唐朝为最盛时期，中、日两国除了文化上的交流，日本还遣派众多使团，在经济，政治等各个领域向中国广泛学习与借鉴。
然而，自明代以来，由于倭寇不断扰华，丰臣秀吉侵略朝鲜等原因，两国便断绝了官方往来。明亡清兴，日本也处于“德川幕府”执政时期。两国均采取闭关锁国政策，孤立发展。这种状况一直延续到两国都被西方列强“敲开”国门之前。
当中、日两国同样面临着国家兴亡和民族危机，同样的国家“命运”并没有使两国采取同样的对策。十九世纪60 年代期间，中、日两国没有建立正式的外交关系。两国间的交往也仅限于少量的民间贸易。
据有关记载：1870 年，日本派外务权大丞柳原前光为全权大臣来华，提出签约通商要求。先后拜见了三口通商大臣成林和直隶总督李鸿章，提出与中国“通情好，结和亲”，但总理衙门以“大信不约”为由拒绝签约，只想把两国关系限于通商贸易上。柳原前光见不准立约，对李鸿章说“英法美诸国，强迫我国通商，我心不甘，而力难独抗……惟念我国与中国最为邻近，宜先通好，以冀同心合力。”这段中日联合对付西方列强的说法对李鸿章产生了影响，他曾办理了“天津教案”，对“洋人性情虚骄”，对中国困境“皆幸灾乐祸心肠”有深刻的体会，认为如果对日本“推诚相待，纵不能倚为外援，亦可稍事联络”，上书总理衙门，力主签约。成林、曾国藩也支持签约。总理衙门考虑到已与西方列强签约，如果坚拒日本，日本必不会善罢甘休，将来恐怕还会请英法等国介绍，于是“允明年日本派遣使臣到津，中国派大臣，会议章程，明定条约”。
1871 年6 月，日本任命大藏卿伊达宗城为全权正使，来中国议约。由于清政府对西方列强逼迫签订的不平等条约的危害有一定认识，因而要求订一个平等条约。而日本想“援照西例”，将不平等条约加于中国，遭到反对。日本最终不得不接受中方的底稿，双方确立了《中日修好条规》、《中日通商章程》。
1854年（咸丰四年），英国公使首先提出“遣使驻京”。第二次战争中，英、法强迫清政府签订的中英、中法《天津条约》，第一次正式提出了“进京长驻”的要求。随后，于1861年后，英、法等西方列强开始在北京东交民巷地区开设驻华大使馆。
1874年（同治十三年，明治七年），日本国派内务卿大臣大久保来华商议建交和在北京设立公使馆事宜，总理衙门安排他住在煤渣胡同贤良寺寺庙里。
1875年（光绪元年，明治八年），获得批准后，日本在北京开设公使馆，最初是利用在北京东四6条胡同（据有人考证为东四6条胡同6号院内）购买的民宅改建充当日本国驻清朝公使馆的公使馆。
清朝与日本两国并没有从一开始就建立正常的邦交关系。直到1877年（光绪三年，明治十年）才正式建交，何如璋是清代驻日第一任公使。
由于当时，各国列强公使馆大都设在东江米巷，日本公使馆在东四6条办公十多年后，向本国政府申请了购房费31，500日元及改建费13，500日元，购买了东江米巷胡同中段路北的一处民房进行改建扩建。（初期日本公使馆位于今东交民巷21号的位置）。
1884年8月6日（光绪十年），日本外务省雇请片山东熊担任日本公使馆的设计和工程监督。1885年5月开工，并于1886年8月竣工。
据日本《在清国北京日本公使馆图》，原设计公使馆是由四栋房子围合而成的“口”型平面，实际建成的是由南、北、西三栋房子围合成的“U”型，东侧由木构走廊相连。其中：南房为片山东熊设计的新建部分，北房和西房是原有民宅改建的。南房的南侧为外廊，面阔约30米，进深一间（约2.5米），是当时流行于东南亚的“殖民地式”风格。
基本公使馆高7.68米，檐高5.63米；宿舍的房高4.24米，檐高3.29米（宿舍东端和公使馆东端之间原设浴室，后毁坏而增建现在的房间。）。
日本公使馆分为办公用房和其后面的宿舍两部分组成，公使馆建筑面积582.4平米，宿舍117.7平米，均为砖墙承重木屋架的平房。
公使馆正立面为七开间，以南面入口为中心，左右对称，两侧各为三间连续拱劵。当初均是柱间设栏杆的外廊。正中入口为略向前凸的角柱，上立半圆拱，上部三角形山花有砖雕装饰着叶状图案，两侧角柱上有砖雕菊花图案。正立面角柱上的砖雕是鹿与牡丹等图案，是出自中国工匠之手。
公使馆的北房南立面为中国传统民宅的样式。公使馆后面的宿舍为一排平房，隔成三个单间房和四个套间房，南向开门，北向开窗，上部均为拱劵过梁。建筑所用青砖为京西通合砖窑生产，中庭走道铺设的砖上刻有“西通合”印记。墙体用石灰、泥土混合灰浆砌筑。
后期营房共有五幢二层楼房（位于今东交民巷23号的位置），建于日本侵略军占领北京时期，都是合居式住宅，应是下级军官的住所。其中南北沿街的一幢面积较大，曾经为日本宪兵总队细菌研究所使用。全部建筑均为砖木结构，红砖墙欧式风格。
日本公使馆旧馆是东交民巷地区现存的最早的建筑物，是这一地区19世纪建造唯一保留下来的建筑，也是了解北京地区近代建筑发展过程的重要代表。其设计人片山东熊是日本最早接受近代建筑学高等教育的四位建筑师之一。公使馆临街大门现仅存西侧门房，东侧紧邻原法国邮局西墙的门房，已被拆除。大门西侧有一幢二层带局部地下室的西式小楼，是后期建造的外交官员住宅，每层两户。原外墙为红砖砌筑，带有荷兰风格，现在被刷成灰色。
1894年（明治二十七年），爆发中日甲午战争，两国曾断交，日本驻华公使中岛雄回国。签订《马关条约》后，两国复交，驻华公使回到北京。
1900年（光绪二十六年），义和团攻打东交民巷，日本公使馆东面是法国的公使馆，而日本公使馆位于防守区域内，基本没有受到战火的损坏。
（八国联军攻打北京，25000名联军其中有6000名日本军队。由日本负责从朝阳门方向攻打进北京城，日军炮火轰垮了朝阳门城楼，进城后还放火烧毁东四牌楼地区房屋2000多间。八国联军进入北京城后，把北京分成不同的占领区，东四以北地区由日军占领，东四南大街以东由俄军占领，以西由意大利军队占领，皇城东北由德军占领，皇城东部由日军占领，皇城东南由英军占领，崇内大街以西东长安街以南由德军占领。西城由美军、法军、英军、意军占领，外城由英军、美军、德军占领，实行军事统治。日占区设立“安民公所”，德占区设立“华捕局”，沙俄侵略军张贴布告，禁止中国人民反抗，说“遇到执枪械华人，定改必即行正法。若由某房放枪，即将该房焚毁”。《辛丑条约》签订后，日军撤出东四地区，驻扎在东交民巷日本兵营。）
清光绪二十六年（1900年）前，位于江米巷路北的日本旧公使馆，在义和团围攻使馆区时虽未被破坏，但在《辛丑条约》后，却借口原址狭小，不敷使用，趁机迫使清政府将西北面的詹事府、肃王府、柴火栏胡同及部分民宅划为新使馆用地。用地北部建使馆，南部为日本兵营。
日本公使馆新址东部同法国使馆、北部与意大利兵营使馆相接，南部与西班牙使馆和横滨正金银行相邻，正门开在御河路（现正义路），与英国使馆隔河相对。
（日本公使馆新馆现存建筑有使馆办公楼和大门等，设计者为日本近代著名建筑师真水英夫。使馆修建时保留利用了原肃王府花园的部分山石、树木与围墙。）
日本使馆大门楼坐东朝西，面阔三间，进深一间，总长14.74米，中央门洞净宽4.56米。大门楼两侧有弧形墙，形成长24米，深3.34米的门前空地。门楼为二层，两侧门房皆有小楼梯可上至二层。总体风格为西方近代折衷风格。立面由三部分组成，两侧为灰砖砌的碉楼式墩体，三段式处理，古典檐部，女儿墙带巴洛克式涡卷装饰，上为方锥形铁皮屋顶，总高9.35米。两楼之间大拱形门洞中部腰线以上为石墙，拱券之上再套山花。
日本使馆主楼为二层砖木结构，东北部有局部地下室。该楼平面为不规则矩形，南立面长约46米，南北进深约34米，四面都有出入口，但主要入口在南面。
据记载：立面处理不追求轴线对称，而注重多样性的变化组合，重点部分偏东。入口大门部分微向前突，门前台阶上的一对爱奥尼是矮柱上支撑一半圆筒拱做门罩，两侧有扶壁式厚侧墙。二层中央门前有牛腿挑出的阳台，门两侧为壁柱，上层墙上有盾徽式装饰。门套之上有花形装饰，檐部壁柱头上有巴洛克式反正涡卷，古典檐口之上，立有高耸的方锥顶，正面开有西洋古典细部的老虎窗。入口西翼主体有六开间，底层为连续的罗马券柱式，以瓶式栏杆相连，二层则为双圆式柱廊，上以简化水平的檐部结束，双柱间连以新艺术运动风格的铁花栏杆。西翼结束端是一个约7米见方的碉楼式突出体，上部退后，四角细柱支撑一四锥顶。
中央入口东翼有两开间的实墙开窗，屋顶檐口上面立栏杆式女儿墙。东翼结束端底层为半圆形突出体，四根扁平塔司干式壁柱间开长窗，以立于小型塔司干壁柱上的半圆券为窗套。檐部之上伸出弧形大挑檐，上面突起为弧形护墙。二层墙面开有并联一体的两窗夹一门，并以完整的一套罗马柱式做门窗套，其上又有半圆形券石装饰，顶部三角形山墙高出屋檐。
建筑西立面朝向花园，门前有宽大伸展的平台，长约25米，宽约4-8米。中段立面为与正面西翼相似的通廊，但二层为爱奥尼双柱。北段结束体前凸，亦有复杂装饰，但南段结束处，又在南立面西翼的方形突出体北侧，加一中世纪圆形碉楼。
使馆大门及主楼造型是西方古典主义与巴洛克和中世纪多种要素的混合体，其特点是，不讲究古典比例，而追求多种要素的结合，它是近代西欧集仿主义的风格，更是近代日本模仿欧式风格的典型。该院内还有一幢二层楼和一组平房也是近代建筑。
1912年，中华民国成立后，日本继承了“大清国驻日本国公使馆”，将之改名为“中华民国驻日本国公使馆”，公使馆位置仍在北京东交民巷内。
1924年（民国十三年）十一月二十九日，溥仪私下瞒着载涛和载沣，在神不知鬼不觉情形下，由郑孝胥和陈宝琛陪同，为避世人耳目，于是两次装病悄悄溜出醇亲王府转道德国医院，第二次在德国医院假装看病后，从后门溜出，继而一头钻进东交民巷的日本公使馆。溥仪被郑孝胥领进了日本公使馆，走出了他与日本恩怨纠缠数十年的第一步错棋。次日，日本公使芳泽谦吉对外界宣布“容留”溥仪。但溥仪毕竟是中国曾经的皇帝，长期居住外国使馆颇有不便。
1925年2月14日，溥仪在经过化妆后，从东交民巷日本公使馆前往正阳门东的京奉铁路火车站秘密地逃往天津。日本势力乘机把溥仪安置到了天津日租界居住。
（南京日本公使馆设在北京西路1号、3号，紧邻鼓楼广场西南角。占地面积12.7418亩，约8494.53平方米。抗战胜利后，作为敌伪财产被国民政府没收，用作外交部的宿舍。旧址现为南京武警支队和南京武警消防总队驻地。）
1938年，双方大使馆因中日战争关闭。（1937年至1945年的北平八年沦陷期间，东四地区成为上万日本开拓团的驻地，盖了大批日式建筑，尤其是在东四6条，马路北房屋几乎全部被日军霸占。华北侵略军司令冈村宁次就住在东四6条。）
1952年，蒋介石与日本首相岸信介签订《中日和约》后，中华民国与日本复交，位于东京的“中国驻日大使馆”重开，日本把驻华大使馆改设在台湾省台北市。
1972年9月30日，因日本国承认了中华人民共和国，日本与台湾政府断交，驻台北大使馆遂裁撤至今。
（注：据不同记载多处有到、离任时间上的出入，本表只采取说法之一，余略，仅供参考。）
日本使馆旧址位于正义路2号，即现在北京市人民政府大院内，是东交民巷使馆区保存较为完好建筑群落之一。
日本公使馆旧址于2001年6月25日被列为全国重点文物保护单位，东交民巷使馆建筑群。