gitextract_w47bzecb/ ├── .gitignore ├── .travis.yml ├── AUTHORS ├── CONTRIBUTING.md ├── ISSUE_TEMPLATE.md ├── LICENSE ├── README.md ├── docs/ │ ├── cloud_mlengine.md │ ├── cloud_tpu.md │ ├── distributed_training.md │ ├── index.md │ ├── multi_problem.md │ ├── new_model.md │ ├── new_problem.md │ ├── overview.md │ ├── tutorials/ │ │ └── asr_with_transformer.md │ └── walkthrough.md ├── floyd.yml ├── floyd_requirements.txt ├── oss_scripts/ │ ├── oss_integration_test.sh │ ├── oss_pip_install.sh │ ├── oss_release.sh │ └── oss_tests.sh ├── pylintrc ├── setup.py └── tensor2tensor/ ├── __init__.py ├── bin/ │ ├── __init__.py │ ├── build_vocab.py │ ├── make_tf_configs.py │ ├── t2t-avg-all │ ├── t2t-bleu │ ├── t2t-datagen │ ├── t2t-decoder │ ├── t2t-eval │ ├── t2t-exporter │ ├── t2t-insights-server │ ├── t2t-make-tf-configs │ ├── t2t-query-server │ ├── t2t-trainer │ ├── t2t-translate-all │ ├── t2t_attack.py │ ├── t2t_avg_all.py │ ├── t2t_bleu.py │ ├── t2t_datagen.py │ ├── t2t_decoder.py │ ├── t2t_distill.py │ ├── t2t_eval.py │ ├── t2t_prune.py │ ├── t2t_trainer.py │ ├── t2t_trainer_test.py │ └── t2t_translate_all.py ├── data_generators/ │ ├── README.md │ ├── __init__.py │ ├── algorithmic.py │ ├── algorithmic_math.py │ ├── algorithmic_math_deepmind.py │ ├── algorithmic_math_test.py │ ├── algorithmic_math_two_variables.py │ ├── algorithmic_test.py │ ├── all_problems.py │ ├── allen_brain.py │ ├── allen_brain_test.py │ ├── audio.py │ ├── audio_encoder.py │ ├── audio_test.py │ ├── babi_qa.py │ ├── bair_robot_pushing.py │ ├── celeba.py │ ├── celeba_test.py │ ├── celebahq.py │ ├── cifar.py │ ├── cipher.py │ ├── cleaner_en_xx.py │ ├── cnn_dailymail.py │ ├── cola.py │ ├── common_voice.py │ ├── common_voice_test.py │ ├── conll_ner.py │ ├── desc2code.py │ ├── desc2code_test.py │ ├── dialog_abstract.py │ ├── dialog_cornell.py │ ├── dialog_dailydialog.py │ ├── dialog_opensubtitles.py │ ├── dialog_personachat.py │ ├── dna_encoder.py │ ├── dna_encoder_test.py │ ├── enwik8.py │ ├── fsns.py │ ├── function_docstring.py │ ├── gene_expression.py │ ├── gene_expression_test.py │ ├── generator_utils.py │ ├── generator_utils_test.py │ ├── google_robot_pushing.py │ ├── gym_env.py │ ├── gym_env_test.py │ ├── ice_parsing.py │ ├── image_lsun.py │ ├── image_utils.py │ ├── image_utils_test.py │ ├── imagenet.py │ ├── imagenet_test.py │ ├── imdb.py │ ├── inspect_tfrecord.py │ ├── lambada.py │ ├── librispeech.py │ ├── lm1b.py │ ├── lm1b_imdb.py │ ├── lm1b_mnli.py │ ├── mnist.py │ ├── moving_mnist.py │ ├── mrpc.py │ ├── mscoco.py │ ├── mscoco_test.py │ ├── multi_problem.py │ ├── multi_problem_v2.py │ ├── multi_problem_v2_test.py │ ├── multinli.py │ ├── ocr.py │ ├── ops/ │ │ ├── pack_sequences_ops.cc │ │ ├── pack_sequences_ops_test.py │ │ ├── subword_text_encoder.cc │ │ ├── subword_text_encoder.h │ │ ├── subword_text_encoder_ops.cc │ │ ├── subword_text_encoder_ops_test.py │ │ ├── subword_text_encoder_test.cc │ │ └── testdata/ │ │ └── subwords │ ├── paraphrase_ms_coco.py │ ├── paraphrase_ms_coco_test.py │ ├── pointer_generator_word.py │ ├── problem.py │ ├── problem_hparams.py │ ├── problem_test.py │ ├── program_search.py │ ├── program_search_test.py │ ├── ptb.py │ ├── qnli.py │ ├── quora_qpairs.py │ ├── rte.py │ ├── scitail.py │ ├── seq2edits.py │ ├── snli.py │ ├── speech_recognition.py │ ├── squad.py │ ├── sst_binary.py │ ├── stanford_nli.py │ ├── style_transfer.py │ ├── style_transfer_test.py │ ├── subject_verb_agreement.py │ ├── test_data/ │ │ ├── 1.csv │ │ ├── corpus-1.txt │ │ ├── corpus-2.txt │ │ ├── vocab-1.txt │ │ └── vocab-2.txt │ ├── text_encoder.py │ ├── text_encoder_build_subword.py │ ├── text_encoder_test.py │ ├── text_problems.py │ ├── text_problems_test.py │ ├── timeseries.py │ ├── timeseries_data_generator.py │ ├── timeseries_data_generator_test.py │ ├── timeseries_test.py │ ├── tokenizer.py │ ├── tokenizer_test.py │ ├── transduction_problems.py │ ├── transduction_problems_test.py │ ├── translate.py │ ├── translate_encs.py │ ├── translate_encs_cubbitt.py │ ├── translate_ende.py │ ├── translate_ende_test.py │ ├── translate_enes.py │ ├── translate_enet.py │ ├── translate_enfr.py │ ├── translate_enid.py │ ├── translate_enmk.py │ ├── translate_enro.py │ ├── translate_entn.py │ ├── translate_envi.py │ ├── translate_enzh.py │ ├── translate_test.py │ ├── video_generated.py │ ├── video_utils.py │ ├── video_utils_test.py │ ├── vqa.py │ ├── vqa_utils.py │ ├── wiki.py │ ├── wiki_lm.py │ ├── wiki_multi_problems.py │ ├── wiki_revision.py │ ├── wiki_revision_utils.py │ ├── wikifact/ │ │ └── README.md │ ├── wikisum/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── delete_instances.sh │ │ ├── generate_vocab.py │ │ ├── get_references_commoncrawl.py │ │ ├── get_references_web.py │ │ ├── get_references_web_single_group.py │ │ ├── html.py │ │ ├── parallel_launch.py │ │ ├── produce_examples.py │ │ ├── test_data/ │ │ │ ├── para_bad1.txt │ │ │ └── para_good1.txt │ │ ├── utils.py │ │ ├── utils_test.py │ │ ├── validate_data.py │ │ └── wikisum.py │ ├── wikitext103.py │ ├── wnli.py │ ├── wsj_parsing.py │ ├── yelp_full.py │ └── yelp_polarity.py ├── envs/ │ ├── __init__.py │ ├── env_problem.py │ ├── env_problem_utils.py │ ├── env_problem_utils_test.py │ ├── gym_env_problem.py │ ├── gym_env_problem_test.py │ ├── gym_spaces_utils.py │ ├── gym_spaces_utils_test.py │ ├── mujoco_problems.py │ ├── mujoco_problems_test.py │ ├── rendered_env_problem.py │ ├── rendered_env_problem_test.py │ ├── tic_tac_toe_env.py │ ├── tic_tac_toe_env_problem.py │ ├── tic_tac_toe_env_problem_test.py │ ├── tic_tac_toe_env_test.py │ ├── time_step.py │ ├── time_step_test.py │ ├── trajectory.py │ └── trajectory_test.py ├── insights/ │ ├── README.md │ ├── __init__.py │ ├── graph.py │ ├── insight_configuration.proto │ ├── polymer/ │ │ ├── .bowerrc │ │ ├── attention_visualization/ │ │ │ ├── attention-visualization.html │ │ │ └── attention-visualization.js │ │ ├── bower.json │ │ ├── common-types.js │ │ ├── explore_view/ │ │ │ ├── explore-view.html │ │ │ └── explore-view.js │ │ ├── graph_visualization/ │ │ │ ├── graph-visualization.html │ │ │ └── graph-visualization.js │ │ ├── index.html │ │ ├── insights_app/ │ │ │ ├── insights-app.html │ │ │ └── insights-app.js │ │ ├── language_selector/ │ │ │ ├── language-selector-content.html │ │ │ ├── language-selector-content.js │ │ │ ├── language-selector.html │ │ │ └── language-selector.js │ │ ├── processing_visualization/ │ │ │ ├── processing-visualization.html │ │ │ └── processing-visualization.js │ │ ├── query_card/ │ │ │ ├── query-card.html │ │ │ └── query-card.js │ │ ├── tensor2tensor.html │ │ └── translation_result/ │ │ ├── translation-result.html │ │ └── translation-result.js │ ├── query_processor.py │ ├── server.py │ └── transformer_model.py ├── layers/ │ ├── __init__.py │ ├── area_attention.py │ ├── area_attention_test.py │ ├── common_attention.py │ ├── common_attention_test.py │ ├── common_audio.py │ ├── common_hparams.py │ ├── common_image_attention.py │ ├── common_image_attention_test.py │ ├── common_layers.py │ ├── common_layers_test.py │ ├── common_video.py │ ├── common_video_test.py │ ├── discretization.py │ ├── discretization_test.py │ ├── latent_layers.py │ ├── latent_layers_test.py │ ├── message_passing_attention.py │ ├── modalities.py │ ├── modalities_test.py │ ├── ngram.py │ ├── ngram_test.py │ ├── transformer_glow_layers.py │ ├── transformer_glow_layers_ops.py │ ├── transformer_glow_layers_ops_test.py │ ├── transformer_glow_layers_test.py │ ├── transformer_layers.py │ ├── transformer_memory.py │ ├── transformer_memory_test.py │ ├── vq_discrete.py │ └── vqa_layers.py ├── metrics/ │ ├── __init__.py │ ├── video_conditional_fvd.py │ └── video_conditional_fvd_test.py ├── models/ │ ├── README.md │ ├── __init__.py │ ├── basic.py │ ├── basic_test.py │ ├── bytenet.py │ ├── bytenet_test.py │ ├── distillation.py │ ├── evolved_transformer.py │ ├── evolved_transformer_test.py │ ├── image_transformer.py │ ├── image_transformer_2d.py │ ├── image_transformer_2d_test.py │ ├── image_transformer_test.py │ ├── lstm.py │ ├── lstm_test.py │ ├── mtf_image_transformer.py │ ├── mtf_image_transformer_test.py │ ├── mtf_resnet.py │ ├── mtf_transformer.py │ ├── mtf_transformer2.py │ ├── mtf_transformer_test.py │ ├── neural_architecture_search/ │ │ ├── README.md │ │ ├── __init__.py │ │ ├── nas_layers.py │ │ ├── nas_layers_test.py │ │ ├── nas_model.py │ │ └── nas_model_test.py │ ├── neural_assistant.py │ ├── neural_gpu.py │ ├── neural_gpu_test.py │ ├── research/ │ │ ├── __init__.py │ │ ├── adafactor_experiments.py │ │ ├── aligned.py │ │ ├── attention_lm.py │ │ ├── attention_lm_moe.py │ │ ├── autoencoders.py │ │ ├── autoencoders_test.py │ │ ├── cycle_gan.py │ │ ├── gene_expression.py │ │ ├── gene_expression_test.py │ │ ├── glow.py │ │ ├── glow_init_hook.py │ │ ├── glow_ops.py │ │ ├── glow_ops_test.py │ │ ├── glow_test.py │ │ ├── lm_experiments.py │ │ ├── moe.py │ │ ├── moe_experiments.py │ │ ├── multiquery_paper.py │ │ ├── neural_stack.py │ │ ├── neural_stack_test.py │ │ ├── residual_shuffle_exchange.py │ │ ├── rl.py │ │ ├── shuffle_network.py │ │ ├── similarity_transformer.py │ │ ├── super_lm.py │ │ ├── transformer_aux.py │ │ ├── transformer_aux_test.py │ │ ├── transformer_moe.py │ │ ├── transformer_nat.py │ │ ├── transformer_parallel.py │ │ ├── transformer_revnet.py │ │ ├── transformer_revnet_test.py │ │ ├── transformer_seq2edits.py │ │ ├── transformer_sketch.py │ │ ├── transformer_symshard.py │ │ ├── transformer_vae.py │ │ ├── transformer_vae_flow_prior.py │ │ ├── transformer_vae_flow_prior_ops.py │ │ ├── transformer_vae_test.py │ │ ├── universal_transformer.py │ │ ├── universal_transformer_test.py │ │ ├── universal_transformer_util.py │ │ ├── vqa_attention.py │ │ ├── vqa_attention_test.py │ │ ├── vqa_recurrent_self_attention.py │ │ └── vqa_self_attention.py │ ├── resnet.py │ ├── resnet_test.py │ ├── revnet.py │ ├── revnet_test.py │ ├── shake_shake.py │ ├── slicenet.py │ ├── slicenet_test.py │ ├── text_cnn.py │ ├── transformer.py │ ├── transformer_test.py │ ├── vanilla_gan.py │ ├── video/ │ │ ├── __init__.py │ │ ├── base.py │ │ ├── base_vae.py │ │ ├── basic_deterministic.py │ │ ├── basic_deterministic_params.py │ │ ├── basic_deterministic_test.py │ │ ├── basic_recurrent.py │ │ ├── basic_recurrent_test.py │ │ ├── basic_stochastic.py │ │ ├── basic_stochastic_test.py │ │ ├── emily.py │ │ ├── emily_test.py │ │ ├── epva.py │ │ ├── epva_params.py │ │ ├── next_frame_glow.py │ │ ├── nfg_conv3d_test.py │ │ ├── nfg_conv_lstm_test.py │ │ ├── nfg_conv_test.py │ │ ├── nfg_interpolate.py │ │ ├── nfg_test_utils.py │ │ ├── nfg_uncond_test.py │ │ ├── savp.py │ │ ├── savp_params.py │ │ ├── savp_test.py │ │ ├── sv2p.py │ │ ├── sv2p_params.py │ │ ├── sv2p_test.py │ │ └── tests_utils.py │ ├── xception.py │ └── xception_test.py ├── notebooks/ │ ├── Transformer_translate.ipynb │ ├── asr_transformer.ipynb │ ├── hello_t2t-rl.ipynb │ ├── hello_t2t.ipynb │ └── t2t_problem.ipynb ├── problems.py ├── problems_colab.py ├── problems_test.py ├── rl/ │ ├── README.md │ ├── __init__.py │ ├── batch_dqn_agent_test.py │ ├── batch_runner_test.py │ ├── datagen_with_agent.py │ ├── dopamine_connector.py │ ├── envs/ │ │ ├── __init__.py │ │ ├── in_graph_batch_env.py │ │ ├── py_func_batch_env.py │ │ ├── simulated_batch_env.py │ │ ├── simulated_batch_gym_env.py │ │ └── tf_atari_wrappers.py │ ├── evaluator.py │ ├── evaluator_test.py │ ├── gym_utils.py │ ├── gym_utils_test.py │ ├── player.py │ ├── player_utils.py │ ├── policy_learner.py │ ├── ppo.py │ ├── ppo_learner.py │ ├── restarter.py │ ├── restarter_test.py │ ├── rl_utils.py │ ├── trainer_model_based.py │ ├── trainer_model_based_agent_only.py │ ├── trainer_model_based_params.py │ ├── trainer_model_based_recurrent_test.py │ ├── trainer_model_based_stochastic_test.py │ ├── trainer_model_based_sv2p_test.py │ ├── trainer_model_based_test.py │ ├── trainer_model_free.py │ ├── trainer_model_free_test.py │ └── trainer_model_free_tictactoe_test.py ├── serving/ │ ├── README.md │ ├── __init__.py │ ├── export.py │ ├── query.py │ └── serving_utils.py ├── test_data/ │ ├── example_usr_dir/ │ │ ├── __init__.py │ │ ├── my_submodule.py │ │ └── requirements.txt │ ├── transformer_test_ckpt/ │ │ ├── checkpoint │ │ ├── flags.txt │ │ ├── hparams.json │ │ ├── model.ckpt-1.data-00000-of-00002 │ │ ├── model.ckpt-1.data-00001-of-00002 │ │ ├── model.ckpt-1.index │ │ └── model.ckpt-1.meta │ ├── vocab.translate_ende_wmt32k.32768.subwords │ └── vocab.translate_ende_wmt8k.8192.subwords ├── utils/ │ ├── __init__.py │ ├── adafactor.py │ ├── adafactor_test.py │ ├── adv_attack_utils.py │ ├── avg_checkpoints.py │ ├── beam_search.py │ ├── beam_search_test.py │ ├── bleu_hook.py │ ├── bleu_hook_test.py │ ├── checkpoint_compatibility_test.py │ ├── cloud_mlengine.py │ ├── compute_video_metrics.py │ ├── contrib.py │ ├── data_reader.py │ ├── data_reader_test.py │ ├── decoding.py │ ├── devices.py │ ├── diet.py │ ├── diet_test.py │ ├── expert_utils.py │ ├── expert_utils_test.py │ ├── flags.py │ ├── get_cnndm_rouge.sh │ ├── get_ende_bleu.sh │ ├── get_rouge.py │ ├── hparam.py │ ├── hparam_test.py │ ├── hparams_lib.py │ ├── hparams_lib_test.py │ ├── learning_rate.py │ ├── metrics.py │ ├── metrics_hook.py │ ├── metrics_hook_test.py │ ├── metrics_test.py │ ├── misc_utils.py │ ├── misc_utils_test.py │ ├── mlperf_log.py │ ├── mlperf_tags.py │ ├── mtf_model.py │ ├── multistep_optimizer.py │ ├── multistep_optimizer_test.py │ ├── multistep_with_adamoptimizer.py │ ├── multistep_with_adamoptimizer_test.py │ ├── optimize.py │ ├── optimize_test.py │ ├── partial_checkpoint_load_hook.py │ ├── pruning_utils.py │ ├── quantization.py │ ├── registry.py │ ├── registry_test.py │ ├── restore_hook.py │ ├── rouge.py │ ├── rouge_test.py │ ├── sari_hook.py │ ├── sari_hook_test.py │ ├── scheduled_sampling.py │ ├── t2t_model.py │ ├── t2t_model_test.py │ ├── test_utils.py │ ├── test_utils_test.py │ ├── trainer_lib.py │ ├── trainer_lib_test.py │ ├── update_ops_hook.py │ ├── usr_dir.py │ ├── video/ │ │ ├── prediction2gif.py │ │ └── reward_confusion.py │ ├── video2gif.py │ ├── video_metrics.py │ ├── video_metrics_test.py │ ├── yellowfin.py │ └── yellowfin_test.py └── visualization/ ├── TransformerVisualization.ipynb ├── __init__.py ├── attention.js ├── attention.py ├── visualization.py └── visualization_test.py