gitextract_jw024m5z/ ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── bug_report.md │ │ └── feature_request.md │ ├── cml_gpu_test.yaml │ └── workflows/ │ ├── style_type_check.yml │ ├── tests-pytorch.yml │ ├── tutorials-jax.yml │ ├── tutorials-pytorch.yml │ └── tutorials-tf2.yml ├── .gitignore ├── .pre-commit-config.yaml ├── .pylintrc ├── .setup_vm_and_run_tests.sh ├── CODE_OF_CONDUCT.rst ├── CONTRIBUTING.md ├── Dockerfile ├── LICENSE ├── README.md ├── assets/ │ └── logo.psd ├── cleverhans/ │ ├── __init__.py │ ├── devtools/ │ │ ├── LICENSE.txt │ │ ├── __init__.py │ │ ├── autopep8_all.py │ │ ├── checks.py │ │ ├── list_files.py │ │ ├── mocks.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ └── test_format.py │ │ └── version.py │ ├── experimental/ │ │ ├── README.md │ │ ├── __init__.py │ │ └── certification/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── certify.py │ │ ├── dual_formulation.py │ │ ├── nn.py │ │ ├── optimization.py │ │ ├── tests/ │ │ │ ├── dual_formulation_test.py │ │ │ ├── nn_test.py │ │ │ ├── optimization_test.py │ │ │ └── utils_test.py │ │ └── utils.py │ ├── generic/ │ │ ├── README.md │ │ └── __init__.py │ ├── jax/ │ │ ├── __init__.py │ │ ├── attacks/ │ │ │ ├── __init__.py │ │ │ ├── fast_gradient_method.py │ │ │ └── projected_gradient_descent.py │ │ └── utils.py │ ├── plot/ │ │ ├── __init__.py │ │ ├── image.py │ │ ├── pyplot_defaults.py │ │ ├── pyplot_image.py │ │ ├── save_pdf.py │ │ └── success_fail.py │ ├── tf2/ │ │ ├── __init__.py │ │ ├── attacks/ │ │ │ ├── __init__.py │ │ │ ├── basic_iterative_method.py │ │ │ ├── carlini_wagner_l2.py │ │ │ ├── fast_gradient_method.py │ │ │ ├── madry_et_al.py │ │ │ ├── momentum_iterative_method.py │ │ │ ├── projected_gradient_descent.py │ │ │ └── spsa.py │ │ └── utils.py │ ├── torch/ │ │ ├── __init__.py │ │ ├── attacks/ │ │ │ ├── __init__.py │ │ │ ├── carlini_wagner_l2.py │ │ │ ├── fast_gradient_method.py │ │ │ ├── hop_skip_jump_attack.py │ │ │ ├── noise.py │ │ │ ├── projected_gradient_descent.py │ │ │ ├── semantic.py │ │ │ ├── sparse_l1_descent.py │ │ │ └── spsa.py │ │ ├── tests/ │ │ │ ├── __init__.py │ │ │ ├── test_attacks.py │ │ │ └── test_utils.py │ │ └── utils.py │ └── utils.py ├── cleverhans_v3.1.0/ │ ├── CODE_OF_CONDUCT.rst │ ├── CONTRIBUTING.md │ ├── Dockerfile │ ├── LICENSE │ ├── README.md │ ├── assets/ │ │ └── logo.psd │ ├── cleverhans/ │ │ ├── __init__.py │ │ ├── attack_bundling.py │ │ ├── attacks/ │ │ │ ├── __init__.py │ │ │ ├── attack.py │ │ │ ├── basic_iterative_method.py │ │ │ ├── carlini_wagner_l2.py │ │ │ ├── deep_fool.py │ │ │ ├── elastic_net_method.py │ │ │ ├── fast_feature_adversaries.py │ │ │ ├── fast_gradient_method.py │ │ │ ├── hop_skip_jump_attack.py │ │ │ ├── lbfgs.py │ │ │ ├── madry_et_al.py │ │ │ ├── max_confidence.py │ │ │ ├── momentum_iterative_method.py │ │ │ ├── noise.py │ │ │ ├── projected_gradient_descent.py │ │ │ ├── saliency_map_method.py │ │ │ ├── semantic.py │ │ │ ├── sparse_l1_descent.py │ │ │ ├── spatial_transformation_method.py │ │ │ ├── spsa.py │ │ │ └── virtual_adversarial_method.py │ │ ├── attacks_tf.py │ │ ├── attacks_tfe.py │ │ ├── augmentation.py │ │ ├── canary.py │ │ ├── compat.py │ │ ├── confidence_report.py │ │ ├── dataset.py │ │ ├── devtools/ │ │ │ ├── LICENSE.txt │ │ │ ├── __init__.py │ │ │ ├── autopep8_all.py │ │ │ ├── checks.py │ │ │ ├── list_files.py │ │ │ ├── mocks.py │ │ │ ├── tests/ │ │ │ │ ├── __init__.py │ │ │ │ └── test_format.py │ │ │ └── version.py │ │ ├── evaluation.py │ │ ├── experimental/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ └── certification/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── certify.py │ │ │ ├── dual_formulation.py │ │ │ ├── nn.py │ │ │ ├── optimization.py │ │ │ ├── tests/ │ │ │ │ ├── dual_formulation_test.py │ │ │ │ ├── nn_test.py │ │ │ │ ├── optimization_test.py │ │ │ │ └── utils_test.py │ │ │ └── utils.py │ │ ├── initializers.py │ │ ├── loss.py │ │ ├── model.py │ │ ├── model_zoo/ │ │ │ ├── __init__.py │ │ │ ├── all_convolutional.py │ │ │ ├── basic_cnn.py │ │ │ ├── deep_k_nearest_neighbors/ │ │ │ │ ├── README.md │ │ │ │ ├── __init__.py │ │ │ │ └── dknn.py │ │ │ ├── madry_lab_challenges/ │ │ │ │ ├── __init__.py │ │ │ │ ├── cifar10_model.py │ │ │ │ └── make_cifar10_joblib.py │ │ │ └── soft_nearest_neighbor_loss/ │ │ │ ├── SNNL_regularized_model.py │ │ │ ├── SNNL_regularized_train.py │ │ │ └── __init__.py │ │ ├── picklable_model.py │ │ ├── plot/ │ │ │ ├── __init__.py │ │ │ ├── image.py │ │ │ ├── pyplot_defaults.py │ │ │ ├── pyplot_image.py │ │ │ ├── save_pdf.py │ │ │ └── success_fail.py │ │ ├── serial.py │ │ ├── train.py │ │ ├── utils.py │ │ ├── utils_keras.py │ │ ├── utils_mnist.py │ │ ├── utils_pytorch.py │ │ ├── utils_tf.py │ │ └── utils_tfe.py │ ├── cleverhans_tutorials/ │ │ ├── __init__.py │ │ ├── cifar10_tutorial_tf.py │ │ ├── evaluate_pickled_model.py │ │ ├── mnist_blackbox.py │ │ ├── mnist_tutorial_cw.py │ │ ├── mnist_tutorial_jsma.py │ │ ├── mnist_tutorial_keras.py │ │ ├── mnist_tutorial_keras_tf.py │ │ ├── mnist_tutorial_picklable.py │ │ ├── mnist_tutorial_pytorch.py │ │ ├── mnist_tutorial_tf.py │ │ ├── mnist_tutorial_tfe.py │ │ ├── tutorial_models.py │ │ └── tutorial_models_tfe.py │ ├── docs/ │ │ ├── .nojekyll │ │ ├── README.html │ │ ├── _modules/ │ │ │ ├── abc.html │ │ │ ├── cleverhans/ │ │ │ │ ├── attacks/ │ │ │ │ │ ├── attack.html │ │ │ │ │ ├── basic_iterative_method.html │ │ │ │ │ ├── carlini_wagner_l2.html │ │ │ │ │ ├── deep_fool.html │ │ │ │ │ ├── elastic_net_method.html │ │ │ │ │ ├── fast_feature_adversaries.html │ │ │ │ │ ├── fast_gradient_method.html │ │ │ │ │ ├── hop_skip_jump_attack.html │ │ │ │ │ ├── lbfgs.html │ │ │ │ │ ├── madry_et_al.html │ │ │ │ │ ├── max_confidence.html │ │ │ │ │ ├── momentum_iterative_method.html │ │ │ │ │ ├── noise.html │ │ │ │ │ ├── projected_gradient_descent.html │ │ │ │ │ ├── saliency_map_method.html │ │ │ │ │ ├── semantic.html │ │ │ │ │ ├── sparse_l1_descent.html │ │ │ │ │ ├── spatial_transformation_method.html │ │ │ │ │ ├── spsa.html │ │ │ │ │ └── virtual_adversarial_method.html │ │ │ │ ├── compat.html │ │ │ │ ├── model.html │ │ │ │ └── utils_tf.html │ │ │ └── index.html │ │ ├── _sources/ │ │ │ ├── README.md.txt │ │ │ ├── index.md.txt │ │ │ └── source/ │ │ │ ├── attacks.md.txt │ │ │ ├── devtools.md.txt │ │ │ ├── future.md.txt │ │ │ └── model.md.txt │ │ ├── _static/ │ │ │ ├── alabaster.css │ │ │ ├── basic.css │ │ │ ├── custom.css │ │ │ ├── doctools.js │ │ │ ├── documentation_options.js │ │ │ ├── jquery-3.5.1.js │ │ │ ├── jquery.js │ │ │ ├── language_data.js │ │ │ ├── pygments.css │ │ │ ├── searchtools.js │ │ │ ├── underscore-1.3.1.js │ │ │ └── underscore.js │ │ ├── genindex.html │ │ ├── index.html │ │ ├── objects.inv │ │ ├── py-modindex.html │ │ ├── search.html │ │ ├── searchindex.js │ │ └── source/ │ │ ├── attacks.html │ │ ├── devtools.html │ │ ├── future.html │ │ └── model.html │ ├── docsource/ │ │ ├── Makefile │ │ ├── README.md │ │ ├── _templates/ │ │ │ └── layout.html │ │ ├── conf.py │ │ ├── docs_requirements.txt │ │ ├── index.md │ │ └── source/ │ │ ├── attacks.md │ │ ├── devtools.md │ │ ├── future.md │ │ └── model.md │ ├── examples/ │ │ ├── README.md │ │ ├── RL-attack/ │ │ │ ├── README.md │ │ │ ├── enjoy-adv.py │ │ │ ├── model.py │ │ │ └── train.py │ │ ├── adversarial_asr/ │ │ │ ├── LibriSpeech/ │ │ │ │ └── LICENSE.TXT │ │ │ ├── README.md │ │ │ ├── generate_imperceptible_adv.py │ │ │ ├── generate_masking_threshold.py │ │ │ ├── generate_robust_adv.py │ │ │ ├── model/ │ │ │ │ ├── checkpoint │ │ │ │ ├── ckpt-00908156.index │ │ │ │ ├── ckpt-00908156.meta │ │ │ │ └── events.out.tfevents.1543301105.e33cfcb49883 │ │ │ ├── read_data.txt │ │ │ ├── room_simulator.py │ │ │ ├── test_imperceptible_adv.py │ │ │ ├── test_robust_adv.py │ │ │ ├── tool.py │ │ │ └── util/ │ │ │ ├── convert_name_format.sh │ │ │ └── read_data_full.txt │ │ ├── adversarial_patch/ │ │ │ ├── AdversarialPatch.ipynb │ │ │ └── README.md │ │ ├── facenet_adversarial_faces/ │ │ │ ├── README.md │ │ │ ├── facenet_fgsm.py │ │ │ └── set_loader.py │ │ ├── imagenet_featadvs/ │ │ │ └── model.py │ │ ├── madry_lab_challenges/ │ │ │ ├── LICENSE │ │ │ ├── README │ │ │ ├── cifar10/ │ │ │ │ └── attack_model.py │ │ │ └── mnist/ │ │ │ ├── attack_model.py │ │ │ └── madry_mnist_model.py │ │ ├── multigpu_advtrain/ │ │ │ ├── README.md │ │ │ ├── attacks_multigpu.py │ │ │ ├── evaluator.py │ │ │ ├── make_model.py │ │ │ ├── model.py │ │ │ ├── resnet_tf.py │ │ │ ├── run_multigpu.py │ │ │ ├── runner.py │ │ │ ├── test_attack_multigpu.py │ │ │ ├── test_run_multigpu.py │ │ │ ├── test_runner.py │ │ │ ├── trainer.py │ │ │ ├── utils.py │ │ │ ├── utils_cifar.py │ │ │ └── utils_svhn.py │ │ ├── nips17_adversarial_competition/ │ │ │ ├── .gitignore │ │ │ ├── README.md │ │ │ ├── dataset/ │ │ │ │ ├── README.md │ │ │ │ ├── dev_dataset.csv │ │ │ │ ├── download_images.py │ │ │ │ └── final_dataset.csv │ │ │ ├── dev_toolkit/ │ │ │ │ ├── .gitignore │ │ │ │ ├── README.md │ │ │ │ ├── download_data.sh │ │ │ │ ├── run_attacks_and_defenses.py │ │ │ │ ├── run_attacks_and_defenses.sh │ │ │ │ ├── sample_attacks/ │ │ │ │ │ ├── download_checkpoints.sh │ │ │ │ │ ├── fgsm/ │ │ │ │ │ │ ├── attack_fgsm.py │ │ │ │ │ │ ├── metadata.json │ │ │ │ │ │ └── run_attack.sh │ │ │ │ │ ├── noop/ │ │ │ │ │ │ ├── attack_noop.py │ │ │ │ │ │ ├── metadata.json │ │ │ │ │ │ └── run_attack.sh │ │ │ │ │ └── random_noise/ │ │ │ │ │ ├── attack_random_noise.py │ │ │ │ │ ├── metadata.json │ │ │ │ │ └── run_attack.sh │ │ │ │ ├── sample_defenses/ │ │ │ │ │ ├── adv_inception_v3/ │ │ │ │ │ │ ├── defense.py │ │ │ │ │ │ ├── metadata.json │ │ │ │ │ │ └── run_defense.sh │ │ │ │ │ ├── base_inception_model/ │ │ │ │ │ │ ├── defense.py │ │ │ │ │ │ ├── metadata.json │ │ │ │ │ │ └── run_defense.sh │ │ │ │ │ ├── download_checkpoints.sh │ │ │ │ │ └── ens_adv_inception_resnet_v2/ │ │ │ │ │ ├── defense.py │ │ │ │ │ ├── inception_resnet_v2.py │ │ │ │ │ ├── metadata.json │ │ │ │ │ └── run_defense.sh │ │ │ │ ├── sample_targeted_attacks/ │ │ │ │ │ ├── download_checkpoints.sh │ │ │ │ │ ├── iter_target_class/ │ │ │ │ │ │ ├── attack_iter_target_class.py │ │ │ │ │ │ ├── metadata.json │ │ │ │ │ │ └── run_attack.sh │ │ │ │ │ └── step_target_class/ │ │ │ │ │ ├── attack_step_target_class.py │ │ │ │ │ ├── metadata.json │ │ │ │ │ └── run_attack.sh │ │ │ │ └── validation_tool/ │ │ │ │ ├── README.md │ │ │ │ ├── submission_validator_lib.py │ │ │ │ └── validate_submission.py │ │ │ └── eval_infra/ │ │ │ ├── README.md │ │ │ ├── code/ │ │ │ │ ├── eval_lib/ │ │ │ │ │ ├── __init__.py │ │ │ │ │ ├── classification_results.py │ │ │ │ │ ├── cloud_client.py │ │ │ │ │ ├── dataset_helper.py │ │ │ │ │ ├── image_batches.py │ │ │ │ │ ├── submissions.py │ │ │ │ │ ├── tests/ │ │ │ │ │ │ ├── __init__.py │ │ │ │ │ │ ├── classification_results_test.py │ │ │ │ │ │ ├── fake_cloud_client.py │ │ │ │ │ │ ├── fake_cloud_client_test.py │ │ │ │ │ │ ├── image_batches_test.py │ │ │ │ │ │ ├── submissions_test.py │ │ │ │ │ │ └── work_data_test.py │ │ │ │ │ └── work_data.py │ │ │ │ ├── master.py │ │ │ │ ├── run_worker_locally.sh │ │ │ │ ├── start_worker_in_tmux.sh │ │ │ │ └── worker.py │ │ │ ├── run_master.sh │ │ │ ├── scripts/ │ │ │ │ ├── config.sh │ │ │ │ ├── copy_baselines.sh │ │ │ │ ├── copy_dataset_to_vm.sh │ │ │ │ ├── copy_eval_infra_to_vm.sh │ │ │ │ ├── create_workers.sh │ │ │ │ ├── prepare_virtualenv.sh │ │ │ │ ├── scp_cloud_vm.sh │ │ │ │ └── start_workers.sh │ │ │ └── validation_tool/ │ │ │ ├── validate_and_copy_submissions.py │ │ │ └── validate_submission_lib.py │ │ ├── robust_vision_benchmark/ │ │ │ ├── README.md │ │ │ └── cleverhans_attack_example/ │ │ │ ├── Dockerfile │ │ │ ├── main.py │ │ │ ├── requirements.txt │ │ │ └── utils.py │ │ └── test_imagenet_attacks.py │ ├── scripts/ │ │ ├── compute_accuracy.py │ │ ├── make_confidence_report.py │ │ ├── make_confidence_report_bundle_examples.py │ │ ├── make_confidence_report_bundled.py │ │ ├── make_confidence_report_spsa.py │ │ ├── plot_success_fail_curve.py │ │ ├── print_report.py │ │ └── show_images.py │ ├── setup.py │ └── tests_tf/ │ ├── test_attack_bundling.py │ ├── test_attacks.py │ ├── test_attacks_tf.py │ ├── test_confidence_report.py │ ├── test_dataset.py │ ├── test_defenses.py │ ├── test_evaluation.py │ ├── test_mnist_blackbox.py │ ├── test_mnist_tutorial_cw.py │ ├── test_mnist_tutorial_jsma.py │ ├── test_mnist_tutorial_keras.py │ ├── test_mnist_tutorial_keras_tf.py │ ├── test_mnist_tutorial_tf.py │ ├── test_model.py │ ├── test_picklable_model.py │ ├── test_projected_gradient_descent.py │ ├── test_serial.py │ ├── test_utils.py │ ├── test_utils_keras.py │ └── test_utils_tf.py ├── defenses/ │ ├── README.md │ ├── generic/ │ │ ├── README.md │ │ └── __init__.py │ ├── jax/ │ │ └── README.md │ ├── tf2/ │ │ └── README.md │ └── torch/ │ ├── README.md │ └── audio/ │ └── input_tranformation/ │ └── resampling.py ├── docs/ │ ├── .nojekyll │ ├── README.html │ ├── _modules/ │ │ ├── abc.html │ │ ├── cleverhans/ │ │ │ ├── attacks/ │ │ │ │ ├── attack.html │ │ │ │ ├── basic_iterative_method.html │ │ │ │ ├── carlini_wagner_l2.html │ │ │ │ ├── deep_fool.html │ │ │ │ ├── elastic_net_method.html │ │ │ │ ├── fast_feature_adversaries.html │ │ │ │ ├── fast_gradient_method.html │ │ │ │ ├── hop_skip_jump_attack.html │ │ │ │ ├── lbfgs.html │ │ │ │ ├── madry_et_al.html │ │ │ │ ├── max_confidence.html │ │ │ │ ├── momentum_iterative_method.html │ │ │ │ ├── noise.html │ │ │ │ ├── projected_gradient_descent.html │ │ │ │ ├── saliency_map_method.html │ │ │ │ ├── semantic.html │ │ │ │ ├── sparse_l1_descent.html │ │ │ │ ├── spatial_transformation_method.html │ │ │ │ ├── spsa.html │ │ │ │ └── virtual_adversarial_method.html │ │ │ ├── compat.html │ │ │ ├── model.html │ │ │ └── utils_tf.html │ │ └── index.html │ ├── _sources/ │ │ ├── README.md.txt │ │ ├── index.md.txt │ │ └── source/ │ │ ├── attacks.md.txt │ │ ├── devtools.md.txt │ │ ├── future.md.txt │ │ └── model.md.txt │ ├── _static/ │ │ ├── alabaster.css │ │ ├── basic.css │ │ ├── custom.css │ │ ├── doctools.js │ │ ├── documentation_options.js │ │ ├── jquery-3.5.1.js │ │ ├── jquery.js │ │ ├── language_data.js │ │ ├── pygments.css │ │ ├── searchtools.js │ │ ├── underscore-1.3.1.js │ │ └── underscore.js │ ├── genindex.html │ ├── index.html │ ├── objects.inv │ ├── py-modindex.html │ ├── search.html │ ├── searchindex.js │ └── source/ │ ├── attacks.html │ ├── devtools.html │ ├── future.html │ └── model.html ├── docsource/ │ ├── Makefile │ ├── README.md │ ├── _templates/ │ │ └── layout.html │ ├── conf.py │ ├── docs_requirements.txt │ ├── index.md │ └── source/ │ ├── attacks.md │ ├── devtools.md │ ├── future.md │ └── model.md ├── examples/ │ └── README.md ├── requirements/ │ ├── requirements-dev.txt │ ├── requirements-gpu.txt │ ├── requirements-jax.txt │ ├── requirements-pytorch.txt │ ├── requirements-tf2.txt │ └── requirements.txt ├── setup.py └── tutorials/ ├── README.md ├── generic/ │ ├── README.md │ └── __init__.py ├── jax/ │ ├── __init__.py │ ├── datasets.py │ └── mnist_tutorial.py ├── tf2/ │ ├── __init__.py │ ├── cifar10_tutorial.py │ └── mnist_tutorial.py └── torch/ ├── __init__.py ├── cifar10_tutorial.py ├── datasets.py └── mnist_tutorial.py