永禄6年(1563年)上有知を領した佐藤清信(通称佐藤六左衛門尉)によって築城されました。この城は鉈一丁で切って落とせる釣り鐘を四方にめぐらせた要害であったとされるため、鉈尾山というと言われています。
二代城主の秀方は織田信長の家臣として戦功を挙げ、続いて豊臣秀吉にも仕えて一時は飛騨の一部も領しました。三代城主の方政も各地を転戦しましたが、関ヶ原の戦いの時に西軍についたため改易となりました。代わって金森長近が上有知を領すると新たに小倉山城を築城したため、鉈尾山城は一度も戦闘することなく廃城となりました。
現在は古城山といわれ、美濃市運動公園から遊歩道が整備されています。