Tyskland radade upp flera bra målchanser under de första 20 minuterna men där vände matchen och Japan tog över. Ett ribbskott blev det bästa på mål innan Natsuko Hara fyra minuter före halvtid lobbade in ledningsmålet.
Andra halvlek bjöd på färre målchanser men efter en kvart kvitterade Isabel Kerschowski på nick efter ett inlägg.
Matchen spelades på konstgräs och gav snabbt spel vilket japanskorna behärskade bäst. Tyskland hade trots det ett visst grepp. Isabel Kerschowski prickade ribban med ett skott. Men åtta minuter före full tid prickskött Asano Nagasato 2-1 för Japan.
Tyskland har fortfarande chans att gå till kvartsfinal och möter i sista gruppspelsmatchen Kanada på torsdag.
USA och Brasilien i sina grupper är de andra fullpoängslagen när alla spelat vars två matcher.