gitextract_kyecer1w/ ├── .gitignore ├── LICENSE ├── MANIFEST.in ├── README.md ├── apex/ │ ├── .gitignore │ ├── .nojekyll │ ├── LICENSE │ ├── README.md │ ├── apex/ │ │ ├── RNN/ │ │ │ ├── README.md │ │ │ ├── RNNBackend.py │ │ │ ├── __init__.py │ │ │ ├── cells.py │ │ │ └── models.py │ │ ├── __init__.py │ │ ├── amp/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── __version__.py │ │ │ ├── _amp_state.py │ │ │ ├── _initialize.py │ │ │ ├── _process_optimizer.py │ │ │ ├── amp.py │ │ │ ├── compat.py │ │ │ ├── frontend.py │ │ │ ├── handle.py │ │ │ ├── lists/ │ │ │ │ ├── __init__.py │ │ │ │ ├── functional_overrides.py │ │ │ │ ├── tensor_overrides.py │ │ │ │ └── torch_overrides.py │ │ │ ├── opt.py │ │ │ ├── rnn_compat.py │ │ │ ├── scaler.py │ │ │ ├── utils.py │ │ │ └── wrap.py │ │ ├── fp16_utils/ │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── fp16_optimizer.py │ │ │ ├── fp16util.py │ │ │ └── loss_scaler.py │ │ ├── multi_tensor_apply/ │ │ │ ├── __init__.py │ │ │ └── multi_tensor_apply.py │ │ ├── normalization/ │ │ │ ├── __init__.py │ │ │ └── fused_layer_norm.py │ │ ├── optimizers/ │ │ │ ├── __init__.py │ │ │ ├── fp16_optimizer.py │ │ │ └── fused_adam.py │ │ ├── parallel/ │ │ │ ├── LARC.py │ │ │ ├── README.md │ │ │ ├── __init__.py │ │ │ ├── distributed.py │ │ │ ├── multiproc.py │ │ │ ├── optimized_sync_batchnorm.py │ │ │ ├── optimized_sync_batchnorm_kernel.py │ │ │ ├── sync_batchnorm.py │ │ │ └── sync_batchnorm_kernel.py │ │ └── reparameterization/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── reparameterization.py │ │ └── weight_norm.py │ ├── apex.patch │ ├── csrc/ │ │ ├── amp_C_frontend.cpp │ │ ├── flatten_unflatten.cpp │ │ ├── fused_adam_cuda.cpp │ │ ├── fused_adam_cuda_kernel.cu │ │ ├── layer_norm_cuda.cpp │ │ ├── layer_norm_cuda_kernel.cu │ │ ├── multi_tensor_apply.cuh │ │ ├── multi_tensor_axpby_kernel.cu │ │ ├── multi_tensor_l2norm_kernel.cu │ │ ├── multi_tensor_lamb_stage_1.cu │ │ ├── multi_tensor_lamb_stage_2.cu │ │ ├── multi_tensor_scale_kernel.cu │ │ ├── syncbn.cpp │ │ ├── type_shim.h │ │ └── welford.cu │ ├── docs/ │ │ ├── Makefile │ │ └── source/ │ │ ├── _static/ │ │ │ └── css/ │ │ │ └── pytorch_theme.css │ │ ├── _templates/ │ │ │ └── layout.html │ │ ├── advanced.rst │ │ ├── amp.rst │ │ ├── conf.py │ │ ├── fp16_utils.rst │ │ ├── index.rst │ │ ├── layernorm.rst │ │ ├── optimizers.rst │ │ └── parallel.rst │ ├── examples/ │ │ ├── README.md │ │ ├── dcgan/ │ │ │ └── README.md │ │ ├── docker/ │ │ │ ├── Dockerfile │ │ │ └── README.md │ │ ├── imagenet/ │ │ │ ├── README.md │ │ │ └── main_amp.py │ │ └── simple/ │ │ └── distributed/ │ │ ├── README.md │ │ ├── distributed_data_parallel.py │ │ └── run.sh │ ├── setup.py │ └── tests/ │ ├── L0/ │ │ ├── run_amp/ │ │ │ ├── __init__.py │ │ │ ├── test_add_param_group.py │ │ │ ├── test_basic_casts.py │ │ │ ├── test_cache.py │ │ │ ├── test_multi_tensor_axpby.py │ │ │ ├── test_multi_tensor_l2norm.py │ │ │ ├── test_multi_tensor_scale.py │ │ │ ├── test_multiple_models_optimizers_losses.py │ │ │ ├── test_promotion.py │ │ │ ├── test_rnn.py │ │ │ └── utils.py │ │ ├── run_fp16util/ │ │ │ ├── __init__.py │ │ │ └── test_fp16util.py │ │ ├── run_fused_layer_norm/ │ │ │ └── test_fused_layer_norm.py │ │ ├── run_mixed_adam/ │ │ │ ├── __init__.py │ │ │ ├── test_fp16_optimizer.py │ │ │ └── test_mixed_adam.py │ │ └── run_test.py │ ├── L1/ │ │ ├── common/ │ │ │ ├── compare.py │ │ │ ├── main_amp.py │ │ │ └── run_test.sh │ │ ├── cross_product/ │ │ │ └── run.sh │ │ └── cross_product_distributed/ │ │ └── run.sh │ ├── distributed/ │ │ ├── DDP/ │ │ │ ├── ddp_race_condition_test.py │ │ │ └── run_race_test.sh │ │ ├── amp_master_params/ │ │ │ ├── amp_master_params.py │ │ │ ├── compare.py │ │ │ └── run.sh │ │ └── synced_batchnorm/ │ │ ├── single_gpu_unit_test.py │ │ ├── test_groups.py │ │ ├── two_gpu_unit_test.py │ │ └── unit_test.sh │ └── docker_extension_builds/ │ └── run.sh ├── jukebox/ │ ├── Interacting_with_Jukebox.ipynb │ ├── __init__.py │ ├── align.py │ ├── data/ │ │ ├── __init__.py │ │ ├── artist_genre_processor.py │ │ ├── data_processor.py │ │ ├── files_dataset.py │ │ ├── ids/ │ │ │ ├── v2_artist_ids.txt │ │ │ ├── v2_genre_ids.txt │ │ │ ├── v3_artist_ids.txt │ │ │ └── v3_genre_ids.txt │ │ ├── labels.py │ │ └── text_processor.py │ ├── hparams.py │ ├── lyricdict.py │ ├── make_models.py │ ├── prior/ │ │ ├── __init__.py │ │ ├── autoregressive.py │ │ ├── conditioners.py │ │ └── prior.py │ ├── sample.py │ ├── save_html.py │ ├── tests/ │ │ └── test_sample.py │ ├── train.py │ ├── transformer/ │ │ ├── __init__.py │ │ ├── factored_attention.py │ │ ├── ops.py │ │ └── transformer.py │ ├── utils/ │ │ ├── __init__.py │ │ ├── audio_utils.py │ │ ├── checkpoint.py │ │ ├── dist_adapter.py │ │ ├── dist_utils.py │ │ ├── ema.py │ │ ├── fp16.py │ │ ├── io.py │ │ ├── logger.py │ │ ├── remote_utils.py │ │ ├── sample_utils.py │ │ └── torch_utils.py │ └── vqvae/ │ ├── __init__.py │ ├── bottleneck.py │ ├── encdec.py │ ├── resnet.py │ └── vqvae.py ├── requirements.txt ├── setup.py └── tensorboardX/ ├── .codecov.yml ├── .flake8 ├── .github/ │ └── ISSUE_TEMPLATE/ │ ├── bug_report.md │ └── feature-requests-or-general-questions.md ├── .gitignore ├── .travis.yml ├── HISTORY.rst ├── LICENSE ├── MANIFEST.in ├── README.md ├── compile.sh ├── docs/ │ ├── Makefile │ ├── conf.py │ ├── index.rst │ ├── tensorboard.rst │ ├── tutorial.rst │ ├── tutorial_zh.rst │ └── utils.rst ├── examples/ │ ├── RUN_AFTER_PIP_INSTALL │ ├── __init__.py │ ├── chainer/ │ │ ├── extension_logger/ │ │ │ ├── net.py │ │ │ ├── train_dcgan.py │ │ │ ├── updater.py │ │ │ ├── visualize.py │ │ │ └── writetensorboard.py │ │ └── plain_logger/ │ │ ├── data.py │ │ ├── net.py │ │ └── train_vae.py │ ├── demo.py │ ├── demo_beholder.py │ ├── demo_caffe2.py │ ├── demo_custom_scalars.py │ ├── demo_embedding.py │ ├── demo_graph.py │ ├── demo_hparams.py │ ├── demo_matplotlib.py │ ├── demo_multiple_embedding.py │ ├── demo_nvidia_smi.py │ ├── demo_onnx.py │ └── demo_purge.py ├── setup.cfg ├── setup.py ├── tensorboardX/ │ ├── __init__.py │ ├── beholder/ │ │ ├── __init__.py │ │ ├── beholder.py │ │ ├── file_system_tools.py │ │ ├── shared_config.py │ │ └── video_writing.py │ ├── caffe2_graph.py │ ├── crc32c.py │ ├── embedding.py │ ├── event_file_writer.py │ ├── onnx_graph.py │ ├── proto/ │ │ ├── __init__.py │ │ ├── api.proto │ │ ├── api_pb2.py │ │ ├── attr_value.proto │ │ ├── attr_value_pb2.py │ │ ├── event.proto │ │ ├── event_pb2.py │ │ ├── graph.proto │ │ ├── graph_pb2.py │ │ ├── layout.proto │ │ ├── layout_pb2.py │ │ ├── node_def.proto │ │ ├── node_def_pb2.py │ │ ├── plugin_hparams.proto │ │ ├── plugin_hparams_pb2.py │ │ ├── plugin_mesh.proto │ │ ├── plugin_mesh_pb2.py │ │ ├── plugin_pr_curve.proto │ │ ├── plugin_pr_curve_pb2.py │ │ ├── plugin_text.proto │ │ ├── plugin_text_pb2.py │ │ ├── resource_handle.proto │ │ ├── resource_handle_pb2.py │ │ ├── step_stats.proto │ │ ├── step_stats_pb2.py │ │ ├── summary.proto │ │ ├── summary_pb2.py │ │ ├── tensor.proto │ │ ├── tensor_pb2.py │ │ ├── tensor_shape.proto │ │ ├── tensor_shape_pb2.py │ │ ├── types.proto │ │ ├── types_pb2.py │ │ ├── versions.proto │ │ └── versions_pb2.py │ ├── proto_graph.py │ ├── pytorch_graph.py │ ├── record_writer.py │ ├── summary.py │ ├── torchvis.py │ ├── utils.py │ ├── visdom_writer.py │ ├── writer.py │ └── x2num.py ├── tensorboardX.patch └── tests/ ├── __init__.py ├── event_file_writer_test.py ├── expect/ │ ├── caffe_mnist.expect │ ├── caffe_overfeat.expect │ ├── test_caffe2.test_simple_cnnmodel.expect │ ├── test_caffe2.test_simple_model.expect │ ├── test_pr_curve.test_pr_purve.expect │ ├── test_pr_curve.test_pr_purve_raw.expect │ ├── test_summary.test_audio.expect │ ├── test_summary.test_custom_scalars.expect │ ├── test_summary.test_float32_image.expect │ ├── test_summary.test_histogram_auto.expect │ ├── test_summary.test_histogram_doane.expect │ ├── test_summary.test_histogram_fd.expect │ ├── test_summary.test_hparams.expect │ ├── test_summary.test_image_with_3_channel_batched.expect │ ├── test_summary.test_image_with_boxes.expect │ ├── test_summary.test_image_with_four_channel.expect │ ├── test_summary.test_image_with_four_channel_batched.expect │ ├── test_summary.test_image_with_one_channel.expect │ ├── test_summary.test_image_with_one_channel_batched.expect │ ├── test_summary.test_image_without_channel.expect │ ├── test_summary.test_mesh.expect │ ├── test_summary.test_text.expect │ ├── test_summary.test_uint8_image.expect │ └── test_summary.test_video.expect ├── expect_reader.py ├── record_writer_test.py ├── test_beholder.py ├── test_caffe2.py ├── test_chainer_np.py ├── test_crc32c.py ├── test_embedding.py ├── test_figure.py ├── test_numpy.py ├── test_onnx_graph.py ├── test_pr_curve.py ├── test_pytorch_graph.py ├── test_pytorch_np.py ├── test_record_writer.py ├── test_summary.py ├── test_summary_writer.py ├── test_test.py ├── test_utils.py ├── test_visdom.py └── test_writer.py