gitextract_zxl7rewp/ ├── .coveralls.yml ├── .gitignore ├── .lgtm.yml ├── .travis.yml ├── LICENSE ├── README.md ├── configs/ │ ├── cifar100/ │ │ ├── cifar100_classification_convnet_softmax.yml │ │ └── default_cifar100.yml │ ├── clevr/ │ │ ├── clevr_all_vgg_glove_lstm_concat_ffn.yml │ │ ├── clevr_image_convnet_ffn.yml │ │ ├── clevr_question_glove_lstm.yml │ │ └── default_clevr.yml │ ├── default/ │ │ ├── components/ │ │ │ ├── language/ │ │ │ │ ├── bow_encoder.yml │ │ │ │ ├── label_indexer.yml │ │ │ │ ├── sentence_indexer.yml │ │ │ │ ├── sentence_one_hot_encoder.yml │ │ │ │ ├── sentence_tokenizer.yml │ │ │ │ └── word_decoder.yml │ │ │ ├── losses/ │ │ │ │ └── nll_loss.yml │ │ │ ├── masking/ │ │ │ │ ├── join_masked_predictions.yml │ │ │ │ └── string_to_mask.yml │ │ │ ├── models/ │ │ │ │ ├── general_usage/ │ │ │ │ │ ├── attention_decoder.yml │ │ │ │ │ ├── feed_forward_network.yml │ │ │ │ │ ├── recurrent_neural_network.yml │ │ │ │ │ └── seq2seq.yml │ │ │ │ ├── language/ │ │ │ │ │ ├── index_embeddings.yml │ │ │ │ │ └── sentence_embeddings.yml │ │ │ │ ├── multi_modal_reasoning/ │ │ │ │ │ ├── compact_bilinear_pooling.yml │ │ │ │ │ ├── factorized_bilinear_pooling.yml │ │ │ │ │ ├── low_rank_bilinear_pooling.yml │ │ │ │ │ ├── question_driven_attention.yml │ │ │ │ │ ├── relational_network.yml │ │ │ │ │ └── self_attention.yml │ │ │ │ └── vision/ │ │ │ │ ├── convnet_encoder.yml │ │ │ │ ├── generic_image_encoder.yml │ │ │ │ └── lenet5.yml │ │ │ ├── publishers/ │ │ │ │ ├── global_variable_publisher.yml │ │ │ │ └── stream_file_exporter.yml │ │ │ ├── statistics/ │ │ │ │ ├── accuracy_statistics.yml │ │ │ │ ├── batch_size_statistics.yml │ │ │ │ ├── bleu_statistics.yml │ │ │ │ └── precision_recall_statistics.yml │ │ │ ├── tasks/ │ │ │ │ ├── image_text_to_class/ │ │ │ │ │ ├── clevr.yml │ │ │ │ │ ├── gqa.yml │ │ │ │ │ └── vqa_med_2019.yml │ │ │ │ ├── image_to_class/ │ │ │ │ │ ├── cifar_100.yml │ │ │ │ │ ├── mnist.yml │ │ │ │ │ └── simple_molecules.yml │ │ │ │ ├── text_to_class/ │ │ │ │ │ ├── dummy_language_identification.yml │ │ │ │ │ ├── wily_language_identification.yml │ │ │ │ │ └── wily_ngram_language_modeling.yml │ │ │ │ └── text_to_text/ │ │ │ │ ├── translation_pairs.yml │ │ │ │ └── wikitext_language_modeling.yml │ │ │ ├── transforms/ │ │ │ │ ├── concatenate_tensor.yml │ │ │ │ ├── list_to_tensor.yml │ │ │ │ ├── non_linearity.yml │ │ │ │ ├── reduce_tensor.yml │ │ │ │ └── reshape_tensor.yml │ │ │ └── viewers/ │ │ │ ├── image_viewer.yml │ │ │ └── stream_viewer.yml │ │ └── workers/ │ │ ├── offline_trainer.yml │ │ ├── online_trainer.yml │ │ └── processor.yml │ ├── mnist/ │ │ ├── default_mnist.yml │ │ ├── mnist_classification_convnet_softmax.yml │ │ ├── mnist_classification_kfold_softmax.yml │ │ ├── mnist_classification_lenet5.yml │ │ ├── mnist_classification_softmax.yml │ │ ├── mnist_classification_vf_2lenet5_2losses.yml │ │ └── mnist_classification_vf_shared_convnet_2softmaxes_2losses.yml │ ├── molecule_classification/ │ │ ├── default_molecule_classification.yml │ │ ├── molecule_classification_convnet_softmax.yml │ │ └── molecule_classification_vgg16_molecules.yml │ ├── translation/ │ │ └── eng_fra_translation_enc_attndec.yml │ ├── tutorials/ │ │ └── mnist_classification_convnet_softmax.yml │ ├── vqa_med_2019/ │ │ ├── c1_classification/ │ │ │ ├── c1_classification_all_bow_vgg16_concat.yml │ │ │ ├── c1_classification_all_rnn_vgg16_concat.yml │ │ │ ├── c1_classification_image_cnn_softmax.yml │ │ │ ├── c1_classification_image_size_softmax.yml │ │ │ ├── c1_classification_question_mimic_rnn.yml │ │ │ ├── c1_classification_question_onehot_bow.yml │ │ │ ├── c1_classification_question_rnn.yml │ │ │ ├── c1_classification_vf_question_rnn_separate_q_categorization.yml │ │ │ └── default_c1_classification.yml │ │ ├── c2_classification/ │ │ │ ├── c2_class_lstm_resnet152_ewm_cat_is.yml │ │ │ ├── c2_class_lstm_resnet152_rn_cat_is.yml │ │ │ ├── c2_class_lstm_resnet50_attn_cat_is.yml │ │ │ ├── c2_class_lstm_resnet50_coattn_mfb_cat_is.yml │ │ │ ├── c2_class_lstm_resnet50_ewm_cat_is.yml │ │ │ ├── c2_class_lstm_resnet50_mfb_cat_is.yml │ │ │ ├── c2_class_lstm_resnet50_rn_cat_is.yml │ │ │ ├── c2_class_lstm_selfattn.yml │ │ │ ├── c2_class_lstm_vgg16_rn.yml │ │ │ ├── c2_class_lstm_vgg16_rn_cat_is.yml │ │ │ ├── c2_classification_all_rnn_vgg16_concat.yml │ │ │ ├── c2_classification_all_rnn_vgg16_ewm.yml │ │ │ ├── c2_classification_all_rnn_vgg16_ewm_size.yml │ │ │ ├── c2_classification_all_rnn_vgg16_mcb.yml │ │ │ ├── c2_word_answer_onehot_bow.yml │ │ │ └── default_c2_classification.yml │ │ ├── c3_classification/ │ │ │ ├── c3_classification_all_bow_vgg16_concat.yml │ │ │ ├── c3_classification_all_concat.yml │ │ │ ├── c3_classification_all_rnn_vgg16_concat.yml │ │ │ ├── c3_classification_image_cnn_softmax.yml │ │ │ ├── c3_classification_image_plus_size_concat.yml │ │ │ ├── c3_classification_image_size_softmax.yml │ │ │ ├── c3_classification_image_softmax.yml │ │ │ ├── c3_classification_image_vgg16_softmax.yml │ │ │ ├── c3_classification_question_onehot_bow.yml │ │ │ ├── c3_classification_question_rnn.yml │ │ │ └── default_c3_classification.yml │ │ ├── c4_classification/ │ │ │ ├── c4_classification_all_rnn_vgg16_ewm_size.yml │ │ │ ├── c4_enc_attndec.yml │ │ │ ├── c4_enc_attndec_resnet152_ewm_cat_is.yml │ │ │ ├── c4_frozen_if_gru_dec.yml │ │ │ ├── c4_word_answer_glove_sum.yml │ │ │ ├── c4_word_answer_mimic_sum.yml │ │ │ ├── c4_word_answer_onehot_bow.yml │ │ │ ├── c4_word_answer_onehot_sum.yml │ │ │ └── default_c4_classification.yml │ │ ├── default_vqa_med_2019.yml │ │ ├── evaluation/ │ │ │ ├── deepta/ │ │ │ │ ├── glove_gru_resnet50_coattn_mfb_is_cat_ffn_c123_loss.yml │ │ │ │ └── glove_gru_vgg16_coattn_mfb_is_cat_ffn_c1234_loss.yml │ │ │ ├── example_mimic_lstm_vgg16_ewm_is_cat_ffn_c123_loss.yml │ │ │ ├── frozen_if_ffn_c1234_loss.yml │ │ │ ├── frozen_if_ffn_c123_loss.yml │ │ │ ├── frozen_if_vf_5ffn_c1234yn_5losses.yml │ │ │ ├── frozen_if_vf_5ffn_support_c1234yn_5losses.yml │ │ │ └── tom/ │ │ │ ├── glove_lstm_resnet152_att_is_cat_ffn_c123_loss.yml │ │ │ ├── glove_lstm_resnet152_mcb_is_cat_ffn_c123_loss.yml │ │ │ ├── glove_lstm_vgg16_att_is_cat_ffn_c123_loss.yml │ │ │ ├── glove_lstm_vgg16_ewm_is_cat_ffn_c123_loss.yml │ │ │ └── glove_lstm_vgg16_mcb_is_cat_ffn_c123_loss.yml │ │ ├── extend_answers.yml │ │ ├── extend_answers_c4.yml │ │ ├── frozen_pipelines/ │ │ │ ├── frozen_input_fusion_glove_lstm_vgg_att_is_cat.yml │ │ │ ├── frozen_question_categorization_glove_rnn_ffn.yml │ │ │ ├── frozen_word_answer_glove_sum.yml │ │ │ └── input_fusion_processor_io.yml │ │ ├── question_categorization/ │ │ │ ├── default_question_categorization.yml │ │ │ ├── question_categorization_onehot_bow.yml │ │ │ ├── question_categorization_onehot_rnn.yml │ │ │ ├── question_categorization_rnn.yml │ │ │ └── question_categorization_rnn_ffn.yml │ │ └── vf/ │ │ ├── c1_binary_vf_cat_hard_shared_question_rnn_two_ffns_losses.yml │ │ ├── c1_binary_vf_cat_rnn_shared_all_encoders_two_ffns_losses.yml │ │ ├── c1_binary_vf_cat_rnn_shared_question_rnn_two_ffns_losses.yml │ │ ├── c1_c2_c3_binary_vf_cat_rnn_shared_all_encoders_four_ffns_losses.yml │ │ ├── c1_c3_binary_vf_cat_rnn_shared_all_encoders_three_ffns_losses.yml │ │ ├── lstm_resnet152_is_cat_ffn_c123_no_binary_loss.yml │ │ ├── lstm_resnet50_ewm_is_cat_ffn_c123_loss_ffn_yn_loss.yml │ │ ├── lstm_resnet50_ewm_is_cat_ffn_c123_no_binary_loss.yml │ │ ├── lstm_resnet50_is_cat_ffn_c123_no_binary_loss.yml │ │ ├── lstm_vgg16_is_cat_ffn_c123_binary_yn_loss.yml │ │ ├── lstm_vgg16_is_cat_ffn_c123_no_yn_loss.yml │ │ └── lstm_vgg16_is_cat_ffn_only_yn_loss.yml │ ├── wikitext/ │ │ ├── wikitext_language_modeling_encoder_attndecoder.yml │ │ ├── wikitext_language_modeling_rnn.yml │ │ ├── wikitext_language_modeling_seq2seq.yml │ │ └── wikitext_language_modeling_seq2seq_simple.yml │ └── wily/ │ ├── dummy_language_identification_bow.yml │ ├── wily_language_identification_bow.yml │ └── wily_ngram_language_modeling.yml ├── ptp/ │ ├── __init__.py │ ├── application/ │ │ ├── __init__.py │ │ ├── component_factory.py │ │ ├── pipeline_manager.py │ │ ├── sampler_factory.py │ │ └── task_manager.py │ ├── components/ │ │ ├── component.py │ │ ├── language/ │ │ │ ├── __init__.py │ │ │ ├── bow_encoder.py │ │ │ ├── label_indexer.py │ │ │ ├── sentence_indexer.py │ │ │ ├── sentence_one_hot_encoder.py │ │ │ ├── sentence_tokenizer.py │ │ │ └── word_decoder.py │ │ ├── losses/ │ │ │ ├── __init__.py │ │ │ ├── loss.py │ │ │ └── nll_loss.py │ │ ├── masking/ │ │ │ ├── __init__.py │ │ │ ├── join_masked_predictions.py │ │ │ └── string_to_mask.py │ │ ├── mixins/ │ │ │ ├── embeddings.py │ │ │ ├── io.py │ │ │ └── word_mappings.py │ │ ├── models/ │ │ │ ├── __init__.py │ │ │ ├── general_usage/ │ │ │ │ ├── attention_decoder.py │ │ │ │ ├── feed_forward_network.py │ │ │ │ ├── recurrent_neural_network.py │ │ │ │ └── seq2seq.py │ │ │ ├── language/ │ │ │ │ ├── index_embeddings.py │ │ │ │ └── sentence_embeddings.py │ │ │ ├── model.py │ │ │ ├── multi_modal_reasoning/ │ │ │ │ ├── compact_bilinear_pooling.py │ │ │ │ ├── factorized_bilinear_pooling.py │ │ │ │ ├── low_rank_bilinear_pooling.py │ │ │ │ ├── question_driven_attention.py │ │ │ │ ├── relational_network.py │ │ │ │ └── self_attention.py │ │ │ └── vision/ │ │ │ ├── convnet_encoder.py │ │ │ ├── generic_image_encoder.py │ │ │ └── lenet5.py │ │ ├── publishers/ │ │ │ ├── __init__.py │ │ │ ├── global_variable_publisher.py │ │ │ └── stream_file_exporter.py │ │ ├── statistics/ │ │ │ ├── __init__.py │ │ │ ├── accuracy_statistics.py │ │ │ ├── batch_size_statistics.py │ │ │ ├── bleu_statistics.py │ │ │ └── precision_recall_statistics.py │ │ ├── tasks/ │ │ │ ├── image_text_to_class/ │ │ │ │ ├── __init__.py │ │ │ │ ├── clevr.py │ │ │ │ ├── gqa.py │ │ │ │ └── vqa_med_2019.py │ │ │ ├── image_to_class/ │ │ │ │ ├── __init__.py │ │ │ │ ├── cifar_100.py │ │ │ │ ├── mnist.py │ │ │ │ └── simple_molecules.py │ │ │ ├── task.py │ │ │ ├── text_to_class/ │ │ │ │ ├── __init__.py │ │ │ │ ├── dummy_language_identification.py │ │ │ │ ├── language_identification.py │ │ │ │ ├── wily_language_identification.py │ │ │ │ └── wily_ngram_language_modeling.py │ │ │ └── text_to_text/ │ │ │ ├── __init__.py │ │ │ ├── translation_pairs.py │ │ │ └── wikitext_language_modeling.py │ │ ├── transforms/ │ │ │ ├── __init__.py │ │ │ ├── concatenate_tensor.py │ │ │ ├── list_to_tensor.py │ │ │ ├── reduce_tensor.py │ │ │ └── reshape_tensor.py │ │ └── viewers/ │ │ ├── __init__.py │ │ ├── image_viewer.py │ │ └── stream_viewer.py │ ├── configuration/ │ │ ├── __init__.py │ │ ├── config_interface.py │ │ ├── config_parsing.py │ │ ├── config_registry.py │ │ └── configuration_error.py │ ├── data_types/ │ │ ├── __init__.py │ │ ├── data_definition.py │ │ └── data_streams.py │ ├── utils/ │ │ ├── __init__.py │ │ ├── app_state.py │ │ ├── data_streams_parallel.py │ │ ├── globals_facade.py │ │ ├── key_mappings_facade.py │ │ ├── logger.py │ │ ├── samplers.py │ │ ├── singleton.py │ │ ├── statistics_aggregator.py │ │ ├── statistics_collector.py │ │ └── termination_condition.py │ └── workers/ │ ├── __init__.py │ ├── offline_trainer.py │ ├── online_trainer.py │ ├── processor.py │ ├── test_data_dict_parallel.py │ ├── trainer.py │ └── worker.py ├── setup.py └── tests/ ├── __init__.py ├── application/ │ ├── pipeline_tests.py │ ├── sampler_factory_tests.py │ └── samplers_tests.py ├── components/ │ ├── component_tests.py │ └── tasks/ │ ├── clevr_tests.py │ ├── gqa_tests.py │ └── task_tests.py ├── configuration/ │ ├── config_interface_tests.py │ ├── config_registry_tests.py │ └── handshaking_tests.py ├── data_types/ │ ├── data_definition_tests.py │ └── data_streams_tests.py └── utils/ ├── app_state_tests.py └── statistics_tests.py