七武海も海軍も統括してるのが世界政府なので、あとの二つは政府側じゃない勢力、とみるのが通常じゃないでしょうか
多分…