Hendelsen fant sted rundt klokken 15 lokal tid i Moers, nær de større byene Duisburg og Düsseldorf. Politiet opplyser at en patrulje ble sendt for å undersøke meldinger om en mann som hadde overfalt og truet flere personer.
Da betjentene fant mannen, angrep han dem med to kniver, ifølge en uttalelse fra politiet.
– Politibetjentene skjøt den 26 år gamle mannen, som ble dødelig såret. Ingen andre personer ble skadet, står det i uttalelsen.
Fredag forrige uke ble tre personer drept og åtte såret i et knivangrep på en gatefestival i Solingen, en by i samme delstat. En mistenkt islamsk ekstremist fra Syria meldte seg til politiet en dag senere.
Påtalemyndigheten sier at han var motivert av ideologien til ekstremistgruppen IS.
Tysklands statsminister Olaf Scholz lovet mandag å skjerpe våpenlovgivningen. Han varslet også tiltak mot ulovlig innvandring som svar på angrepet.