gitextract__x5jpadh/ ├── .github/ │ └── ISSUE_TEMPLATE/ │ ├── bug_report.md │ ├── config.yml │ └── feature-request.md ├── .gitignore ├── .readthedocs.yml ├── CNAME ├── Jenkinsfile ├── LICENSE ├── MANIFEST.in ├── README.md ├── _config.yml ├── _layouts/ │ └── default.html ├── deeppavlov/ │ ├── __init__.py │ ├── __main__.py │ ├── _meta.py │ ├── configs/ │ │ ├── __init__.py │ │ ├── classifiers/ │ │ │ ├── boolqa_rubert.json │ │ │ ├── few_shot_roberta.json │ │ │ ├── glue/ │ │ │ │ ├── glue_cola_roberta.json │ │ │ │ ├── glue_mnli_cased_bert_torch.json │ │ │ │ ├── glue_mnli_mm_cased_bert_torch.json │ │ │ │ ├── glue_mnli_roberta.json │ │ │ │ ├── glue_mrpc_roberta.json │ │ │ │ ├── glue_qnli_roberta.json │ │ │ │ ├── glue_qqp_roberta.json │ │ │ │ ├── glue_rte_cased_bert_torch.json │ │ │ │ ├── glue_rte_roberta_mnli.json │ │ │ │ ├── glue_sst2_roberta.json │ │ │ │ ├── glue_stsb_roberta.json │ │ │ │ └── glue_wnli_roberta.json │ │ │ ├── insults_kaggle_bert.json │ │ │ ├── paraphraser_convers_distilrubert_2L.json │ │ │ ├── paraphraser_convers_distilrubert_6L.json │ │ │ ├── paraphraser_rubert.json │ │ │ ├── query_pr.json │ │ │ ├── rusentiment_bert.json │ │ │ ├── rusentiment_convers_bert.json │ │ │ ├── rusentiment_convers_distilrubert_2L.json │ │ │ ├── rusentiment_convers_distilrubert_6L.json │ │ │ ├── sentiment_sst_conv_bert.json │ │ │ ├── sentiment_twitter.json │ │ │ ├── superglue/ │ │ │ │ ├── superglue_boolq_roberta_mnli.json │ │ │ │ ├── superglue_copa_roberta.json │ │ │ │ ├── superglue_record_roberta.json │ │ │ │ └── superglue_wic_bert.json │ │ │ └── topics_distilbert_base_uncased.json │ │ ├── doc_retrieval/ │ │ │ ├── en_ranker_pop_wiki.json │ │ │ ├── en_ranker_tfidf_wiki.json │ │ │ └── ru_ranker_tfidf_wiki.json │ │ ├── embedder/ │ │ │ ├── bert_embedder.json │ │ │ └── bert_sentence_embedder.json │ │ ├── entity_extraction/ │ │ │ ├── entity_detection_en.json │ │ │ ├── entity_detection_ru.json │ │ │ ├── entity_extraction_en.json │ │ │ ├── entity_extraction_ru.json │ │ │ ├── entity_linking_en.json │ │ │ └── entity_linking_ru.json │ │ ├── faq/ │ │ │ └── fasttext_logreg.json │ │ ├── kbqa/ │ │ │ ├── kbqa_cq_en.json │ │ │ ├── kbqa_cq_ru.json │ │ │ └── wiki_parser.json │ │ ├── morpho_syntax_parser/ │ │ │ ├── morpho_ru_syntagrus_bert.json │ │ │ ├── ru_syntagrus_joint_parsing.json │ │ │ └── syntax_ru_syntagrus_bert.json │ │ ├── multitask/ │ │ │ ├── mt_glue.json │ │ │ └── multitask_example.json │ │ ├── ner/ │ │ │ ├── ner_bert_base.json │ │ │ ├── ner_case_agnostic_mdistilbert.json │ │ │ ├── ner_collection3_bert.json │ │ │ ├── ner_conll2003_bert.json │ │ │ ├── ner_conll2003_deberta_crf.json │ │ │ ├── ner_ontonotes_bert.json │ │ │ ├── ner_ontonotes_bert_mult.json │ │ │ ├── ner_ontonotes_deberta_crf.json │ │ │ ├── ner_rus_bert.json │ │ │ ├── ner_rus_bert_probas.json │ │ │ ├── ner_rus_convers_distilrubert_2L.json │ │ │ └── ner_rus_convers_distilrubert_6L.json │ │ ├── odqa/ │ │ │ ├── en_odqa_infer_wiki.json │ │ │ ├── en_odqa_pop_infer_wiki.json │ │ │ └── ru_odqa_infer_wiki.json │ │ ├── ranking/ │ │ │ ├── path_ranking_nll_roberta_en.json │ │ │ ├── ranking_ubuntu_v2_torch_bert_uncased.json │ │ │ ├── rel_ranking_nll_bert_ru.json │ │ │ └── rel_ranking_roberta_en.json │ │ ├── regressors/ │ │ │ └── translation_ranker.json │ │ ├── relation_extraction/ │ │ │ ├── re_docred.json │ │ │ └── re_rured.json │ │ ├── russian_super_glue/ │ │ │ ├── russian_superglue_danetqa_rubert.json │ │ │ ├── russian_superglue_lidirus_rubert.json │ │ │ ├── russian_superglue_muserc_rubert.json │ │ │ ├── russian_superglue_parus_rubert.json │ │ │ ├── russian_superglue_rcb_rubert.json │ │ │ ├── russian_superglue_rucos_rubert.json │ │ │ ├── russian_superglue_russe_rubert.json │ │ │ ├── russian_superglue_rwsd_rubert.json │ │ │ └── russian_superglue_terra_rubert.json │ │ ├── sentence_segmentation/ │ │ │ └── sentseg_dailydialog_bert.json │ │ ├── spelling_correction/ │ │ │ ├── brillmoore_wikitypos_en.json │ │ │ └── levenshtein_corrector_ru.json │ │ └── squad/ │ │ ├── qa_multisberquad_bert.json │ │ ├── qa_nq_psgcls_bert.json │ │ ├── qa_squad2_bert.json │ │ ├── squad_bert.json │ │ ├── squad_ru_bert.json │ │ ├── squad_ru_convers_distilrubert_2L.json │ │ └── squad_ru_convers_distilrubert_6L.json │ ├── core/ │ │ ├── __init__.py │ │ ├── commands/ │ │ │ ├── __init__.py │ │ │ ├── infer.py │ │ │ ├── train.py │ │ │ └── utils.py │ │ ├── common/ │ │ │ ├── __init__.py │ │ │ ├── aliases.py │ │ │ ├── base.py │ │ │ ├── chainer.py │ │ │ ├── cross_validation.py │ │ │ ├── errors.py │ │ │ ├── file.py │ │ │ ├── log.py │ │ │ ├── log_events.py │ │ │ ├── metrics_registry.json │ │ │ ├── metrics_registry.py │ │ │ ├── params.py │ │ │ ├── params_search.py │ │ │ ├── paths.py │ │ │ ├── prints.py │ │ │ ├── registry.json │ │ │ ├── registry.py │ │ │ └── requirements_registry.json │ │ ├── data/ │ │ │ ├── __init__.py │ │ │ ├── data_fitting_iterator.py │ │ │ ├── data_learning_iterator.py │ │ │ ├── dataset_reader.py │ │ │ ├── simple_vocab.py │ │ │ └── utils.py │ │ ├── models/ │ │ │ ├── __init__.py │ │ │ ├── component.py │ │ │ ├── estimator.py │ │ │ ├── nn_model.py │ │ │ ├── serializable.py │ │ │ └── torch_model.py │ │ └── trainers/ │ │ ├── __init__.py │ │ ├── fit_trainer.py │ │ ├── nn_trainer.py │ │ ├── torch_trainer.py │ │ └── utils.py │ ├── dataset_iterators/ │ │ ├── __init__.py │ │ ├── basic_classification_iterator.py │ │ ├── huggingface_dataset_iterator.py │ │ ├── morphotagger_iterator.py │ │ ├── multitask_iterator.py │ │ ├── siamese_iterator.py │ │ ├── sqlite_iterator.py │ │ ├── squad_iterator.py │ │ └── typos_iterator.py │ ├── dataset_readers/ │ │ ├── __init__.py │ │ ├── basic_classification_reader.py │ │ ├── boolqa_reader.py │ │ ├── conll2003_reader.py │ │ ├── docred_reader.py │ │ ├── faq_reader.py │ │ ├── huggingface_dataset_reader.py │ │ ├── imdb_reader.py │ │ ├── line_reader.py │ │ ├── morphotagging_dataset_reader.py │ │ ├── multitask_reader.py │ │ ├── odqa_reader.py │ │ ├── paraphraser_reader.py │ │ ├── rel_ranking_reader.py │ │ ├── rured_reader.py │ │ ├── sq_reader.py │ │ ├── squad_dataset_reader.py │ │ ├── typos_reader.py │ │ └── ubuntu_v2_reader.py │ ├── deep.py │ ├── download.py │ ├── metrics/ │ │ ├── __init__.py │ │ ├── accuracy.py │ │ ├── bleu.py │ │ ├── correlation.py │ │ ├── elmo_metrics.py │ │ ├── fmeasure.py │ │ ├── google_bleu.py │ │ ├── log_loss.py │ │ ├── mse.py │ │ ├── recall_at_k.py │ │ ├── record_metrics.py │ │ ├── roc_auc_score.py │ │ └── squad_metrics.py │ ├── models/ │ │ ├── __init__.py │ │ ├── api_requester/ │ │ │ ├── __init__.py │ │ │ ├── api_requester.py │ │ │ └── api_router.py │ │ ├── classifiers/ │ │ │ ├── __init__.py │ │ │ ├── cos_sim_classifier.py │ │ │ ├── dnnc_proba2labels.py │ │ │ ├── proba2labels.py │ │ │ ├── re_bert.py │ │ │ ├── torch_classification_model.py │ │ │ ├── torch_nets.py │ │ │ └── utils.py │ │ ├── doc_retrieval/ │ │ │ ├── __init__.py │ │ │ ├── bpr.py │ │ │ ├── logit_ranker.py │ │ │ ├── pop_ranker.py │ │ │ ├── tfidf_ranker.py │ │ │ └── utils.py │ │ ├── embedders/ │ │ │ ├── __init__.py │ │ │ ├── abstract_embedder.py │ │ │ ├── fasttext_embedder.py │ │ │ ├── tfidf_weighted_embedder.py │ │ │ └── transformers_embedder.py │ │ ├── entity_extraction/ │ │ │ ├── __init__.py │ │ │ ├── entity_detection_parser.py │ │ │ ├── entity_linking.py │ │ │ ├── find_word.py │ │ │ └── ner_chunker.py │ │ ├── kbqa/ │ │ │ ├── __init__.py │ │ │ ├── query_generator.py │ │ │ ├── query_generator_base.py │ │ │ ├── rel_ranking_infer.py │ │ │ ├── ru_adj_to_noun.py │ │ │ ├── sentence_answer.py │ │ │ ├── template_matcher.py │ │ │ ├── tree_to_sparql.py │ │ │ ├── type_define.py │ │ │ ├── utils.py │ │ │ └── wiki_parser.py │ │ ├── morpho_syntax_parser/ │ │ │ ├── __init__.py │ │ │ ├── dependency_decoding.py │ │ │ ├── joint.py │ │ │ ├── spacy_lemmatizer.py │ │ │ └── syntax_parsing.py │ │ ├── preprocessors/ │ │ │ ├── __init__.py │ │ │ ├── dirty_comments_preprocessor.py │ │ │ ├── dnnc_preprocessor.py │ │ │ ├── mask.py │ │ │ ├── multitask_preprocessor.py │ │ │ ├── ner_preprocessor.py │ │ │ ├── odqa_preprocessors.py │ │ │ ├── one_hotter.py │ │ │ ├── re_preprocessor.py │ │ │ ├── response_base_loader.py │ │ │ ├── sanitizer.py │ │ │ ├── sentseg_preprocessor.py │ │ │ ├── squad_preprocessor.py │ │ │ ├── str_lower.py │ │ │ ├── str_token_reverser.py │ │ │ ├── str_utf8_encoder.py │ │ │ ├── torch_transformers_preprocessor.py │ │ │ └── transformers_preprocessor.py │ │ ├── ranking/ │ │ │ ├── __init__.py │ │ │ └── metrics.py │ │ ├── relation_extraction/ │ │ │ ├── __init__.py │ │ │ ├── losses.py │ │ │ └── relation_extraction_bert.py │ │ ├── sklearn/ │ │ │ ├── __init__.py │ │ │ └── sklearn_component.py │ │ ├── spelling_correction/ │ │ │ ├── __init__.py │ │ │ ├── brillmoore/ │ │ │ │ ├── __init__.py │ │ │ │ └── error_model.py │ │ │ ├── electors/ │ │ │ │ ├── __init__.py │ │ │ │ ├── kenlm_elector.py │ │ │ │ └── top1_elector.py │ │ │ └── levenshtein/ │ │ │ ├── __init__.py │ │ │ ├── levenshtein_searcher.py │ │ │ ├── searcher_component.py │ │ │ └── tabled_trie.py │ │ ├── tokenizers/ │ │ │ ├── __init__.py │ │ │ ├── lazy_tokenizer.py │ │ │ ├── nltk_moses_tokenizer.py │ │ │ ├── nltk_tokenizer.py │ │ │ ├── spacy_tokenizer.py │ │ │ ├── split_tokenizer.py │ │ │ └── utils.py │ │ ├── torch_bert/ │ │ │ ├── __init__.py │ │ │ ├── crf.py │ │ │ ├── multitask_transformer.py │ │ │ ├── torch_bert_ranker.py │ │ │ ├── torch_transformers_classifier.py │ │ │ ├── torch_transformers_el_ranker.py │ │ │ ├── torch_transformers_multiplechoice.py │ │ │ ├── torch_transformers_nll_ranking.py │ │ │ ├── torch_transformers_sequence_tagger.py │ │ │ ├── torch_transformers_squad.py │ │ │ └── torch_transformers_syntax_parser.py │ │ └── vectorizers/ │ │ ├── __init__.py │ │ └── hashing_tfidf_vectorizer.py │ ├── paramsearch.py │ ├── requirements/ │ │ ├── datasets.txt │ │ ├── dependency_decoding.txt │ │ ├── en_core_web_sm.txt │ │ ├── faiss.txt │ │ ├── fasttext.txt │ │ ├── hdt.txt │ │ ├── kenlm.txt │ │ ├── lxml.txt │ │ ├── opt_einsum.txt │ │ ├── protobuf.txt │ │ ├── pytorch.txt │ │ ├── rapidfuzz.txt │ │ ├── razdel.txt │ │ ├── ru_core_news_sm.txt │ │ ├── sacremoses.txt │ │ ├── sentencepiece.txt │ │ ├── slovnet.txt │ │ ├── sortedcontainers.txt │ │ ├── torchcrf.txt │ │ ├── transformers.txt │ │ ├── udapi.txt │ │ └── whapi.txt │ ├── settings.py │ ├── utils/ │ │ ├── __init__.py │ │ ├── benchmarks/ │ │ │ ├── __init__.py │ │ │ └── benchmarks.py │ │ ├── connector/ │ │ │ ├── __init__.py │ │ │ └── dialog_logger.py │ │ ├── pip_wrapper/ │ │ │ ├── __init__.py │ │ │ └── pip_wrapper.py │ │ ├── server/ │ │ │ ├── __init__.py │ │ │ ├── metrics.py │ │ │ └── server.py │ │ ├── settings/ │ │ │ ├── __init__.py │ │ │ ├── dialog_logger_config.json │ │ │ ├── log_config.json │ │ │ └── server_config.json │ │ └── socket/ │ │ ├── __init__.py │ │ └── socket.py │ └── vocabs/ │ ├── __init__.py │ ├── typos.py │ └── wiki_sqlite.py ├── docs/ │ ├── Makefile │ ├── _static/ │ │ ├── deeppavlov.css │ │ └── my_blocks.css │ ├── _templates/ │ │ └── footer.html │ ├── apiref/ │ │ ├── core/ │ │ │ ├── commands.rst │ │ │ ├── common.rst │ │ │ ├── data.rst │ │ │ ├── models.rst │ │ │ └── trainers.rst │ │ ├── core.rst │ │ ├── dataset_iterators.rst │ │ ├── dataset_readers.rst │ │ ├── metrics.rst │ │ ├── models/ │ │ │ ├── api_requester.rst │ │ │ ├── classifiers.rst │ │ │ ├── doc_retrieval.rst │ │ │ ├── embedders.rst │ │ │ ├── entity_extraction.rst │ │ │ ├── kbqa.rst │ │ │ ├── preprocessors.rst │ │ │ ├── relation_extraction.rst │ │ │ ├── sklearn.rst │ │ │ ├── spelling_correction.rst │ │ │ ├── tokenizers.rst │ │ │ ├── torch_bert.rst │ │ │ └── vectorizers.rst │ │ ├── models.rst │ │ └── vocabs.rst │ ├── conf.py │ ├── devguides/ │ │ ├── contribution_guide.rst │ │ └── registry.rst │ ├── features/ │ │ ├── hypersearch.rst │ │ ├── models/ │ │ │ ├── KBQA.ipynb │ │ │ ├── NER.ipynb │ │ │ ├── ODQA.ipynb │ │ │ ├── SQuAD.ipynb │ │ │ ├── bert.rst │ │ │ ├── classification.ipynb │ │ │ ├── entity_extraction.ipynb │ │ │ ├── few_shot_classification.ipynb │ │ │ ├── morpho_tagger.ipynb │ │ │ ├── multitask_bert.rst │ │ │ ├── neural_ranking.ipynb │ │ │ ├── popularity_ranking.rst │ │ │ ├── relation_extraction.ipynb │ │ │ ├── spelling_correction.ipynb │ │ │ ├── superglue.rst │ │ │ ├── syntax_parser.ipynb │ │ │ └── tfidf_ranking.ipynb │ │ ├── overview.rst │ │ └── pretrained_vectors.rst │ ├── index.rst │ ├── integrations/ │ │ ├── aws_ec2.rst │ │ ├── rest_api.rst │ │ ├── settings.rst │ │ └── socket_api.rst │ ├── internships/ │ │ └── internships.rst │ └── intro/ │ ├── configuration.rst │ ├── installation.rst │ ├── overview.rst │ ├── python.ipynb │ └── quick_start.rst ├── requirements.txt ├── setup.py ├── tests/ │ ├── __init__.py │ ├── test_configs/ │ │ └── doc_retrieval/ │ │ ├── en_ranker_pop_wiki_test.json │ │ ├── en_ranker_tfidf_wiki_test.json │ │ └── ru_ranker_tfidf_wiki_test.json │ └── test_quick_start.py └── utils/ ├── Docker/ │ ├── Dockerfile │ ├── README.md │ ├── cmd.sh │ └── docker-compose.yml ├── __init__.py └── prepare/ ├── __init__.py ├── hashes.py ├── optimize_ipynb.py ├── registry.py └── upload.py