然而，758年，作为鉴真最主要支持者的孝谦天皇在宫廷斗争中失势，被迫传位给淳仁天皇。相应的，鉴真也遭受到排挤。758年，淳仁天皇下旨，以"政事烦躁，不敢劳老"为名，解除了鉴真“大僧都”一职，并将在宫廷斗争中败死的原皇太子道祖王的官邸赐给鉴真。次年，鉴真弟子在该官邸草成一寺，淳仁赐名“唐招提寺”，鉴真从东大寺迁居至此。淳仁还下旨，令日本僧人在受戒之前必须前往唐招提寺学习，使得唐招提寺成为当时日本佛教徒的最高学府。
由于鉴真对世俗权势并不在意，所以也没有因“大僧都”一职被解除而失落，反而因为可以规范日本的受戒制度和将佛法在日本发扬光大而兴奋，所以一直干劲十足。
在日本多年的世俗经历虽然没有提升鉴真的修为，但是却练就了他一双看透世情、洞察人心的慧眼，不必像从前一样，每次都要靠“他心通”来探知别人的内心活动了。这使他对佛法精要的领悟更近一成，领悟了“色即是空、空即是色，色不异空、空不异色”的道理，道行和境界又有所提升。
佛法本来就是讲究“看透一切、看破一切、超脱一切”，鉴真这才明白了云沧海在去创建阴阳教之前叮嘱他“用心去看、用心去想，不要动辄施展法力，红尘之中自有顿悟之机。”的话，随后用心感悟红尘之道，钻研佛学，改革日本佛门制度，是日本的佛门秩序空前稳定、规范‘
鉴真又通过普及知识，建立贫田院周济平民等方式扩大佛教影响，并创立了日本佛教南六宗之一的律宗，继续自己弘扬佛法的事业。唐招提寺很快因此成为日本佛教圣地。由于佛教在日本影响很大，所以又反过来影响了社会各阶层，使社会制度为之一清，而且由于云沧海创立的阴阳教发展壮大，扫清了不少盘踞地方的妖魔，为农民和地主、贵族腾出了大片的可耕作土地。
耕地增加、粮食生产自然也大幅度增加，再加上这几任天皇都是守成之君，性情平和，不喜征战，而国内的各大藩镇、贵族因为顾忌到阴阳教和律宗，当然更确切的说是云沧海和鉴真的威慑力，也不敢过于欺压百姓，兴兵作乱。所以国内平和安定，进入了空前繁荣的时代，日本各界人士称之一时代为“平安时代”，而开创这一时代的功臣之一——鉴真在日本的影响力甚至超越了天皇，
780年，鉴真推辞了朝廷的挽留，辞去了“大和上”尊号，同年，辞去了方丈之职，传主持之位于年仅六岁的空海，由于鉴真威望卓著，这一决议无人反对，随后，鉴真便在唐招提寺隐居。
鉴真与云沧海经过几十年的苦心经营，终于建立了自己的势力，并且在日本扎根立足，有了自己的地盘、成为了日本最大的势力。