gitextract_hsmyzw1o/ ├── .github/ │ ├── CODEOWNERS │ ├── ISSUE_TEMPLATE/ │ │ ├── bug_report.md │ │ ├── config.yml │ │ ├── documentation.md │ │ ├── feature_suggestion.md │ │ ├── plugin_suggestion.md │ │ └── question.md │ ├── PULL_REQUEST_TEMPLATE.md │ └── workflows/ │ ├── cla.yml │ ├── labels.yml │ ├── lint.yml │ ├── maintain_cache.yml │ ├── nightly.yml │ ├── remote_package_install.yml │ ├── stale.yml │ ├── test_linux.yml │ ├── test_macos.yml │ ├── test_report_build.yaml │ └── test_windows.yml ├── .gitignore ├── .pre-commit-config.yaml ├── .readthedocs.yaml ├── CA_DCO.md ├── CODE_OF_CONDUCT.md ├── CONTRIBUTING.md ├── FAQ.md ├── LICENSE ├── PROJECTS.md ├── README.md ├── SECURITY.md ├── docs/ │ ├── README.md │ ├── requirements-docs.txt │ └── source/ │ ├── Makefile │ ├── _config.rst │ ├── _ext/ │ │ └── garak_ext.py │ ├── _plugins.rst │ ├── _static/ │ │ └── css/ │ │ └── garak_theme.css │ ├── analyze.rst │ ├── analyze.tbsa.rst │ ├── ascii_smuggling.rst │ ├── attempt.rst │ ├── basic.rst │ ├── buffs.rst │ ├── cli.rst │ ├── cliref.rst │ ├── command.rst │ ├── conf.py │ ├── configurable.rst │ ├── contributing.rst │ ├── detector_metrics.rst │ ├── detectors.rst │ ├── evaluators.rst │ ├── exception.rst │ ├── extending.generator.rst │ ├── extending.probe.rst │ ├── extending.rst │ ├── faster.rst │ ├── garak.buffs.base.rst │ ├── garak.buffs.encoding.rst │ ├── garak.buffs.low_resource_languages.rst │ ├── garak.buffs.lowercase.rst │ ├── garak.buffs.paraphrase.rst │ ├── garak.buffs.rst │ ├── garak.detectors.always.rst │ ├── garak.detectors.ansiescape.rst │ ├── garak.detectors.any.rst │ ├── garak.detectors.apikey.rst │ ├── garak.detectors.base.rst │ ├── garak.detectors.continuation.rst │ ├── garak.detectors.dan.rst │ ├── garak.detectors.divergence.rst │ ├── garak.detectors.encoding.rst │ ├── garak.detectors.exploitation.rst │ ├── garak.detectors.fileformats.rst │ ├── garak.detectors.goodside.rst │ ├── garak.detectors.judge.rst │ ├── garak.detectors.knownbadsignatures.rst │ ├── garak.detectors.leakreplay.rst │ ├── garak.detectors.lmrc.rst │ ├── garak.detectors.malwaregen.rst │ ├── garak.detectors.misleading.rst │ ├── garak.detectors.mitigation.rst │ ├── garak.detectors.packagehallucination.rst │ ├── garak.detectors.perspective.rst │ ├── garak.detectors.productkey.rst │ ├── garak.detectors.promptinject.rst │ ├── garak.detectors.rst │ ├── garak.detectors.shields.rst │ ├── garak.detectors.snowball.rst │ ├── garak.detectors.unsafe_content.rst │ ├── garak.detectors.visual_jailbreak.rst │ ├── garak.detectors.web_injection.rst │ ├── garak.evaluators.base.rst │ ├── garak.evaluators.maxrecall.rst │ ├── garak.evaluators.rst │ ├── garak.generators.azure.rst │ ├── garak.generators.base.rst │ ├── garak.generators.bedrock.rst │ ├── garak.generators.cohere.rst │ ├── garak.generators.function.rst │ ├── garak.generators.ggml.rst │ ├── garak.generators.groq.rst │ ├── garak.generators.guardrails.rst │ ├── garak.generators.huggingface.rst │ ├── garak.generators.langchain.rst │ ├── garak.generators.langchain_serve.rst │ ├── garak.generators.litellm.rst │ ├── garak.generators.mistral.rst │ ├── garak.generators.nemo.rst │ ├── garak.generators.nim.rst │ ├── garak.generators.nvcf.rst │ ├── garak.generators.ollama.rst │ ├── garak.generators.openai.rst │ ├── garak.generators.rasa.rst │ ├── garak.generators.replicate.rst │ ├── garak.generators.rest.rst │ ├── garak.generators.rst │ ├── garak.generators.test.rst │ ├── garak.generators.watsonx.rst │ ├── garak.generators.websocket.rst │ ├── garak.harnesses.base.rst │ ├── garak.harnesses.probewise.rst │ ├── garak.harnesses.pxd.rst │ ├── garak.harnesses.rst │ ├── garak.probes._tier.rst │ ├── garak.probes.ansiescape.rst │ ├── garak.probes.apikey.rst │ ├── garak.probes.atkgen.rst │ ├── garak.probes.audio.rst │ ├── garak.probes.av_spam_scanning.rst │ ├── garak.probes.badchars.rst │ ├── garak.probes.base.rst │ ├── garak.probes.continuation.rst │ ├── garak.probes.dan.rst │ ├── garak.probes.divergence.rst │ ├── garak.probes.doctor.rst │ ├── garak.probes.donotanswer.rst │ ├── garak.probes.dra.rst │ ├── garak.probes.encoding.rst │ ├── garak.probes.exploitation.rst │ ├── garak.probes.fileformats.rst │ ├── garak.probes.fitd.rst │ ├── garak.probes.glitch.rst │ ├── garak.probes.goodside.rst │ ├── garak.probes.grandma.rst │ ├── garak.probes.latentinjection.rst │ ├── garak.probes.leakreplay.rst │ ├── garak.probes.lmrc.rst │ ├── garak.probes.malwaregen.rst │ ├── garak.probes.misleading.rst │ ├── garak.probes.packagehallucination.rst │ ├── garak.probes.phrasing.rst │ ├── garak.probes.promptinject.rst │ ├── garak.probes.realtoxicityprompts.rst │ ├── garak.probes.rst │ ├── garak.probes.sata.rst │ ├── garak.probes.smuggling.rst │ ├── garak.probes.snowball.rst │ ├── garak.probes.suffix.rst │ ├── garak.probes.tap.rst │ ├── garak.probes.test.rst │ ├── garak.probes.topic.rst │ ├── garak.probes.visual_jailbreak.rst │ ├── garak.probes.web_injection.rst │ ├── garak.report.rst │ ├── generators.rst │ ├── harnesses.rst │ ├── how.rst │ ├── index.rst │ ├── install.rst │ ├── interactive.rst │ ├── langservice.rst │ ├── payloads.rst │ ├── probes.rst │ ├── report.rst │ ├── reporting.calibration.rst │ ├── reporting.rst │ ├── translation.rst │ └── usage.rst ├── garak/ │ ├── __init__.py │ ├── __main__.py │ ├── _config.py │ ├── _plugins.py │ ├── analyze/ │ │ ├── __init__.py │ │ ├── aggregate_reports.py │ │ ├── analyze_log.py │ │ ├── calibration.py │ │ ├── count_tokens.py │ │ ├── get_tree.py │ │ ├── misp.py │ │ ├── perf_stats.py │ │ ├── qual_review.py │ │ ├── report_avid.py │ │ ├── report_digest.py │ │ ├── tbsa.py │ │ └── ui/ │ │ └── index.html │ ├── attempt.py │ ├── buffs/ │ │ ├── __init__.py │ │ ├── base.py │ │ ├── encoding.py │ │ ├── low_resource_languages.py │ │ ├── lowercase.py │ │ └── paraphrase.py │ ├── cli.py │ ├── command.py │ ├── configs/ │ │ ├── bag.yaml │ │ └── fast.json │ ├── configurable.py │ ├── data/ │ │ ├── __init__.py │ │ ├── autodan/ │ │ │ ├── autodan_init.txt │ │ │ ├── autodan_prompts.json │ │ │ └── prompt_group.pth │ │ ├── badchars/ │ │ │ └── intentional.txt │ │ ├── banners │ │ ├── beast/ │ │ │ └── suffixes.txt │ │ ├── book_cloze.tsv │ │ ├── book_cloze_80.tsv │ │ ├── calibration/ │ │ │ ├── bag.md │ │ │ ├── calibration-2024-09update.json │ │ │ ├── calibration-2024-summer.json │ │ │ ├── calibration-2025-05.json │ │ │ ├── calibration-2026-02.json │ │ │ └── calibration-alpha-202407.json │ │ ├── dan/ │ │ │ ├── AntiDAN.json │ │ │ ├── ChatGPT_Developer_Mode_RANTI.json │ │ │ ├── ChatGPT_Developer_Mode_v2.json │ │ │ ├── ChatGPT_Image_Markdown.json │ │ │ ├── DAN_Jailbreak.json │ │ │ ├── DUDE.json │ │ │ ├── Dan_10_0.json │ │ │ ├── Dan_11_0.json │ │ │ ├── Dan_6_0.json │ │ │ ├── Dan_6_2.json │ │ │ ├── Dan_7_0.json │ │ │ ├── Dan_8_0.json │ │ │ ├── Dan_9_0.json │ │ │ └── STAN.json │ │ ├── detectors-eval/ │ │ │ └── detector_metrics_summary.json │ │ ├── donotanswer/ │ │ │ ├── discrimination_exclusion_toxicity_hateful_offensive.txt │ │ │ ├── human_chatbox.txt │ │ │ ├── information_hazard.txt │ │ │ ├── malicious_uses.txt │ │ │ └── misinformation_harms.txt │ │ ├── dra/ │ │ │ ├── letter_map.json │ │ │ ├── moderation_cache.json │ │ │ └── prompt_templates.txt │ │ ├── fitd/ │ │ │ ├── prompt_template_eval.txt │ │ │ ├── prompt_template_get_level_query.txt │ │ │ ├── prompt_template_increase_safety.txt │ │ │ ├── prompt_template_realign.txt │ │ │ ├── prompt_template_response_aligned.txt │ │ │ ├── prompt_template_slippery_slope_paraphrase.txt │ │ │ └── sensitive_words.csv │ │ ├── gcg/ │ │ │ └── gcg.txt │ │ ├── graph_connectivity.json │ │ ├── guardian_cloze.tsv │ │ ├── harmbench/ │ │ │ ├── LICENSE │ │ │ ├── README.md │ │ │ └── harmbench_prompts.txt │ │ ├── inthewild_jailbreak_llms.json │ │ ├── ldnoobw-en.txt │ │ ├── nyt_cloze.tsv │ │ ├── ofcom-potentially-offensive.txt │ │ ├── packagehallucination/ │ │ │ └── rust_std_entries-1_84_0 │ │ ├── payloads/ │ │ │ ├── access_shell_commands.json │ │ │ ├── domains_latentinjection.json │ │ │ ├── encoded.json │ │ │ ├── example_domains_xss.json │ │ │ ├── harmful_behaviors.json │ │ │ ├── keyedprod_win10.json │ │ │ ├── keyedprod_win11.json │ │ │ ├── markdown_js.json │ │ │ ├── normal_instructions.json │ │ │ ├── python_code_execution.json │ │ │ ├── rude_chinese.json │ │ │ ├── rude_french.json │ │ │ ├── slur_terms_en.json │ │ │ ├── sql_injection.json │ │ │ ├── text_en.json │ │ │ ├── web_html_js.json │ │ │ └── whois_injection_contexts.json │ │ ├── phrasing/ │ │ │ ├── future_tense_en.txt │ │ │ └── past_tense_en.txt │ │ ├── potter_cloze.tsv │ │ ├── primality_testing.json │ │ ├── profanity_en.csv │ │ ├── realtoxicityprompts/ │ │ │ ├── rtp_flirtation.txt │ │ │ ├── rtp_identity_attack.txt │ │ │ ├── rtp_insult.txt │ │ │ ├── rtp_profanity.txt │ │ │ ├── rtp_severe_toxicity.txt │ │ │ ├── rtp_sexually_explicit.txt │ │ │ └── rtp_threat.txt │ │ ├── safebench_filenames.txt │ │ ├── safebenchtiny_filenames.txt │ │ ├── senator_search.json │ │ ├── slurprompts.jsonl │ │ ├── slurprompts_mini.jsonl │ │ ├── slursreclaimedslurs.txt │ │ ├── tags.misp.tsv │ │ ├── tap/ │ │ │ └── tap_jailbreaks.txt │ │ ├── truefalse_falseclaims.txt │ │ ├── truefalse_falseclaims_50.txt │ │ ├── typology_payloads.tsv │ │ └── xss/ │ │ ├── xss_concat_prompt_templates/ │ │ │ └── basic_concat_inst.txt │ │ ├── xss_domains.txt │ │ ├── xss_encodings.txt │ │ ├── xss_full_uri_prompt_templates/ │ │ │ ├── direct.txt │ │ │ └── email.txt │ │ ├── xss_injected_actions.txt │ │ ├── xss_injection_markers.txt │ │ ├── xss_link_display_texts.txt │ │ └── xss_var_names.txt │ ├── detectors/ │ │ ├── __init__.py │ │ ├── always.py │ │ ├── ansiescape.py │ │ ├── any.py │ │ ├── apikey.py │ │ ├── base.py │ │ ├── continuation.py │ │ ├── dan.py │ │ ├── divergence.py │ │ ├── encoding.py │ │ ├── exploitation.py │ │ ├── fileformats.py │ │ ├── goodside.py │ │ ├── judge.py │ │ ├── knownbadsignatures.py │ │ ├── leakreplay.py │ │ ├── lmrc.py │ │ ├── malwaregen.py │ │ ├── misleading.py │ │ ├── mitigation.py │ │ ├── packagehallucination.py │ │ ├── perspective.py │ │ ├── productkey.py │ │ ├── promptinject.py │ │ ├── shields.py │ │ ├── snowball.py │ │ ├── unsafe_content.py │ │ ├── visual_jailbreak.py │ │ └── web_injection.py │ ├── evaluators/ │ │ ├── __init__.py │ │ ├── base.py │ │ └── maxrecall.py │ ├── exception.py │ ├── generators/ │ │ ├── __init__.py │ │ ├── azure.py │ │ ├── base.py │ │ ├── bedrock.py │ │ ├── cohere.py │ │ ├── function.py │ │ ├── ggml.py │ │ ├── groq.py │ │ ├── guardrails.py │ │ ├── huggingface.py │ │ ├── langchain.py │ │ ├── langchain_serve.py │ │ ├── litellm.py │ │ ├── mistral.py │ │ ├── nemo.py │ │ ├── nim.py │ │ ├── nvcf.py │ │ ├── ollama.py │ │ ├── openai.py │ │ ├── rasa.py │ │ ├── replicate.py │ │ ├── rest.py │ │ ├── test.py │ │ ├── watsonx.py │ │ └── websocket.py │ ├── harnesses/ │ │ ├── __init__.py │ │ ├── base.py │ │ ├── probewise.py │ │ └── pxd.py │ ├── interactive.py │ ├── langproviders/ │ │ ├── base.py │ │ ├── local.py │ │ └── remote.py │ ├── langservice.py │ ├── payloads.py │ ├── probes/ │ │ ├── __init__.py │ │ ├── _tier.py │ │ ├── ansiescape.py │ │ ├── apikey.py │ │ ├── atkgen.py │ │ ├── audio.py │ │ ├── av_spam_scanning.py │ │ ├── badchars.py │ │ ├── base.py │ │ ├── continuation.py │ │ ├── dan.py │ │ ├── divergence.py │ │ ├── doctor.py │ │ ├── donotanswer.py │ │ ├── dra.py │ │ ├── encoding.py │ │ ├── exploitation.py │ │ ├── fileformats.py │ │ ├── fitd.py │ │ ├── glitch.py │ │ ├── goodside.py │ │ ├── grandma.py │ │ ├── latentinjection.py │ │ ├── leakreplay.py │ │ ├── lmrc.py │ │ ├── malwaregen.py │ │ ├── misleading.py │ │ ├── packagehallucination.py │ │ ├── phrasing.py │ │ ├── promptinject.py │ │ ├── realtoxicityprompts.py │ │ ├── sata.py │ │ ├── smuggling.py │ │ ├── snowball.py │ │ ├── suffix.py │ │ ├── tap.py │ │ ├── test.py │ │ ├── topic.py │ │ ├── visual_jailbreak.py │ │ └── web_injection.py │ ├── report.py │ └── resources/ │ ├── __init__.py │ ├── ansi.py │ ├── api/ │ │ ├── huggingface.py │ │ └── nltk.py │ ├── apikey/ │ │ ├── regexes.py │ │ └── serviceutils.py │ ├── autodan/ │ │ ├── __init__.py │ │ ├── autodan.py │ │ ├── genetic.py │ │ └── model_utils.py │ ├── beast/ │ │ ├── __init__.py │ │ └── beast_attack.py │ ├── common.py │ ├── encodings.py │ ├── fixer/ │ │ ├── 20240628_gcg_rename.py │ │ ├── 20240801_continuation_rename.py │ │ ├── 20240822_knownbadsignatures_rename.py │ │ ├── 20241011_replay_rename.py │ │ ├── 20250220_unsafe_content_rename.py │ │ ├── 20250224_lightweight_probe_defaults.py │ │ ├── 20250423_specialwords.py │ │ ├── 20250908_xss_rename.py │ │ ├── 20250925_model_target_nametype.py │ │ ├── 20260223_templateinjection_rename.py │ │ ├── __init__.py │ │ └── _plugin.py │ ├── garak.core.yaml │ ├── gcg/ │ │ ├── __init__.py │ │ ├── attack_manager.py │ │ └── generate_gcg.py │ ├── plugin_cache.json │ ├── promptinject/ │ │ ├── __init__.py │ │ ├── _utils.py │ │ ├── prompt_data.py │ │ └── prompting.py │ ├── red_team/ │ │ ├── __init__.py │ │ ├── conversation.py │ │ ├── evaluation.py │ │ └── system_prompts.py │ ├── smuggling/ │ │ ├── __init__.py │ │ └── smuggle_ascii.py │ ├── tap/ │ │ ├── __init__.py │ │ └── tap_main.py │ └── theme/ │ └── __init__.py ├── garak-report/ │ ├── .gitignore │ ├── .prettierignore │ ├── .prettierrc │ ├── .yarnrc.yml │ ├── README.md │ ├── eslint.config.js │ ├── extracted_digest.json │ ├── index.html │ ├── package.json │ ├── public/ │ │ └── index.html │ ├── src/ │ │ ├── App.tsx │ │ ├── assets/ │ │ │ └── kui-foundations-react-external-0.504.1.tgz │ │ ├── components/ │ │ │ ├── CalibrationSummary.tsx │ │ │ ├── ColorLegend.tsx │ │ │ ├── DefconBadge.tsx │ │ │ ├── DefconSummaryPanel.tsx │ │ │ ├── DetectorChart/ │ │ │ │ ├── DetectorChartHeader.tsx │ │ │ │ ├── DetectorFilters.tsx │ │ │ │ ├── DetectorLollipopChart.tsx │ │ │ │ ├── DetectorResultsTable.tsx │ │ │ │ ├── __tests__/ │ │ │ │ │ ├── DetectorChartHeader.test.tsx │ │ │ │ │ ├── DetectorFilters.test.tsx │ │ │ │ │ └── DetectorResultsTable.test.tsx │ │ │ │ └── index.tsx │ │ │ ├── DetectorsView.tsx │ │ │ ├── ErrorBoundary.tsx │ │ │ ├── Footer.tsx │ │ │ ├── GarakLogo.tsx │ │ │ ├── Header.tsx │ │ │ ├── MetadataSection.tsx │ │ │ ├── ModuleAccordion.tsx │ │ │ ├── NvidiaLogo.tsx │ │ │ ├── ProbeChart/ │ │ │ │ ├── ModuleFilterChips.tsx │ │ │ │ ├── ProbeBarChart.tsx │ │ │ │ ├── ProbeChartHeader.tsx │ │ │ │ ├── ProbeTagsList.tsx │ │ │ │ ├── __tests__/ │ │ │ │ │ └── ModuleFilterChips.test.tsx │ │ │ │ └── index.tsx │ │ │ ├── ProbesChart.tsx │ │ │ ├── ProgressBar.tsx │ │ │ ├── ReportDetails.tsx │ │ │ ├── ReportFilterBar.tsx │ │ │ ├── SetupSection.tsx │ │ │ ├── SummaryStatsCard.tsx │ │ │ ├── __tests__/ │ │ │ │ ├── CalibrationSummary.test.tsx │ │ │ │ ├── ColorLegend.test.tsx │ │ │ │ ├── DefconBadge.test.tsx │ │ │ │ ├── DefconSummaryPanel.test.tsx │ │ │ │ ├── DetectorsView.test.tsx │ │ │ │ ├── ErrorBoundary.test.tsx │ │ │ │ ├── Footer.test.tsx │ │ │ │ ├── Header.test.tsx │ │ │ │ ├── ProbesChart.slider.test.tsx │ │ │ │ ├── ProbesChart.test.tsx │ │ │ │ ├── ProbesChart.tooltip.test.tsx │ │ │ │ ├── ProgressBar.test.tsx │ │ │ │ ├── ReportDetails.test.tsx │ │ │ │ ├── SetupSection.test.tsx │ │ │ │ └── SummaryStatsCard.test.tsx │ │ │ └── index.ts │ │ ├── constants/ │ │ │ ├── chart.ts │ │ │ ├── defcon.ts │ │ │ ├── index.ts │ │ │ └── theme.ts │ │ ├── hooks/ │ │ │ ├── __tests__/ │ │ │ │ ├── useDetectorChartOptions.test.ts │ │ │ │ ├── useDetectorsChartSeries.test.ts │ │ │ │ ├── useFlattenedModules.test.ts │ │ │ │ ├── useGroupedDetectors.test.ts │ │ │ │ ├── useProbeTooltip.test.ts │ │ │ │ ├── useRenderLineItem.test.ts │ │ │ │ ├── useSeverityColor.test.ts │ │ │ │ ├── useSortedDetectors.test.ts │ │ │ │ ├── useTooltipFormatter.test.ts │ │ │ │ ├── useValueFormatter.test.ts │ │ │ │ └── useZScoreHelpers.test.ts │ │ │ ├── index.ts │ │ │ ├── useDetectorChartOptions.ts │ │ │ ├── useDetectorsChartSeries.ts │ │ │ ├── useFlattenedModules.ts │ │ │ ├── useGroupedDetectors.ts │ │ │ ├── useModuleFilters.ts │ │ │ ├── usePayloadParser.ts │ │ │ ├── useProbeChartOptions.ts │ │ │ ├── useProbeTooltip.ts │ │ │ ├── useRenderLineItem.ts │ │ │ ├── useReportData.ts │ │ │ ├── useSeverityColor.ts │ │ │ ├── useSortedDetectors.ts │ │ │ ├── useThemeMode.ts │ │ │ ├── useTooltipFormatter.ts │ │ │ ├── useValueFormatter.ts │ │ │ └── useZScoreHelpers.ts │ │ ├── index.css │ │ ├── main.tsx │ │ ├── pages/ │ │ │ ├── Report.tsx │ │ │ ├── __tests__/ │ │ │ │ └── Report.test.tsx │ │ │ └── styles.css │ │ ├── styles/ │ │ │ └── theme.ts │ │ ├── test-utils/ │ │ │ └── mockTypes.ts │ │ ├── types/ │ │ │ ├── Calibration.ts │ │ │ ├── CalibrationSummary.ts │ │ │ ├── Detector.ts │ │ │ ├── Eval.ts │ │ │ ├── Module.ts │ │ │ ├── ModuleEntry.ts │ │ │ ├── Payload.ts │ │ │ ├── ProbesChart.ts │ │ │ ├── ReportEntry.ts │ │ │ ├── SetupSection.ts │ │ │ ├── Theme.ts │ │ │ ├── echarts.d.ts │ │ │ └── index.ts │ │ ├── utils/ │ │ │ ├── __tests__/ │ │ │ │ └── formatPercentage.test.ts │ │ │ └── formatPercentage.ts │ │ └── vite-env.d.ts │ ├── tools/ │ │ └── dev/ │ │ └── pre-commit-hook.sh │ ├── tsconfig.app.json │ ├── tsconfig.json │ ├── tsconfig.node.json │ ├── vite.config.ts │ └── vitest.setup.ts ├── pylintrc ├── pyproject.toml ├── requirements.txt ├── signatures/ │ └── cla.json ├── tests/ │ ├── _assets/ │ │ ├── analyze/ │ │ │ ├── agg.report.jsonl │ │ │ ├── quack.report.jsonl │ │ │ ├── tbsa_digest_0.json │ │ │ ├── tbsa_digest_1.json │ │ │ └── test.report.jsonl │ │ ├── fileformats/ │ │ │ └── exec_files/ │ │ │ ├── LICENSE │ │ │ ├── batch.bat.base64 │ │ │ ├── grep-mach-o-top4k.base64 │ │ │ ├── libssl3-top4k.so.base64 │ │ │ ├── python-elf-top4k.base64 │ │ │ ├── setuptools-top4k.exe.base64 │ │ │ └── shell.sh.base64 │ │ ├── generators/ │ │ │ ├── hf_inference.json │ │ │ ├── mistral.json │ │ │ ├── openai.json │ │ │ └── watsonx.json │ │ ├── langservice/ │ │ │ ├── translation.yaml │ │ │ ├── translation_deepl.yaml │ │ │ ├── translation_local_low.yaml │ │ │ └── translation_riva.yaml │ │ └── report/ │ │ └── report_test.report.jsonl │ ├── analyze/ │ │ ├── __init__.py │ │ ├── test_aggregate.py │ │ ├── test_analyze.py │ │ ├── test_calibration.py │ │ └── test_tbsa.py │ ├── buffs/ │ │ ├── __init__.py │ │ ├── test_buff_config.py │ │ ├── test_buffs.py │ │ └── test_buffs_paraphrase.py │ ├── cli/ │ │ ├── __init__.py │ │ ├── test_cli.py │ │ └── test_cli_list_filtering.py │ ├── conftest.py │ ├── detectors/ │ │ ├── __init__.py │ │ ├── test_detectors.py │ │ ├── test_detectors_always.py │ │ ├── test_detectors_ansiescape.py │ │ ├── test_detectors_apikey.py │ │ ├── test_detectors_base.py │ │ ├── test_detectors_continuation.py │ │ ├── test_detectors_divergence.py │ │ ├── test_detectors_encoding.py │ │ ├── test_detectors_exploitation.py │ │ ├── test_detectors_fileformats.py │ │ ├── test_detectors_judge.py │ │ ├── test_detectors_malwaregen.py │ │ ├── test_detectors_misleading.py │ │ ├── test_detectors_mitigation.py │ │ ├── test_detectors_packagehallucination.py │ │ ├── test_detectors_productkey.py │ │ ├── test_detectors_promptinject.py │ │ ├── test_detectors_shields.py │ │ ├── test_detectors_unsafe_content.py │ │ └── test_detectors_web_injection.py │ ├── generators/ │ │ ├── __init__.py │ │ ├── conftest.py │ │ ├── test_azure.py │ │ ├── test_bedrock.py │ │ ├── test_cohere.py │ │ ├── test_function.py │ │ ├── test_generators.py │ │ ├── test_generators_base.py │ │ ├── test_ggml.py │ │ ├── test_groq.py │ │ ├── test_huggingface.py │ │ ├── test_langchain_serve.py │ │ ├── test_litellm.py │ │ ├── test_llava.py │ │ ├── test_mistral.py │ │ ├── test_muiltiprocessing_support.py │ │ ├── test_nim.py │ │ ├── test_nvcf.py │ │ ├── test_ollama.py │ │ ├── test_openai.py │ │ ├── test_openai_compatible.py │ │ ├── test_rest.py │ │ ├── test_test.py │ │ ├── test_watsonx.py │ │ └── test_websocket.py │ ├── harnesses/ │ │ ├── __init__.py │ │ └── test_harnesses.py │ ├── langservice/ │ │ ├── __init__.py │ │ ├── conftest.py │ │ ├── detectors/ │ │ │ ├── __init__.py │ │ │ ├── test_detectors_leakreplay.py │ │ │ ├── test_detectors_misleading.py │ │ │ └── test_detectors_snowball.py │ │ ├── probes/ │ │ │ ├── __init__.py │ │ │ ├── test_probes_base.py │ │ │ └── test_probes_goodside.py │ │ └── test_langprovision.py │ ├── plugins/ │ │ ├── __init__.py │ │ ├── test_plugin_cache.py │ │ ├── test_plugin_load.py │ │ ├── test_plugin_provider.py │ │ └── test_plugins.py │ ├── probes/ │ │ ├── __init__.py │ │ ├── test_probes.py │ │ ├── test_probes_atkgen.py │ │ ├── test_probes_badcharacters.py │ │ ├── test_probes_continuation.py │ │ ├── test_probes_dan.py │ │ ├── test_probes_divergence.py │ │ ├── test_probes_doctor.py │ │ ├── test_probes_dra.py │ │ ├── test_probes_encoding.py │ │ ├── test_probes_fileformats.py │ │ ├── test_probes_fitd.py │ │ ├── test_probes_latentinjection.py │ │ ├── test_probes_leakreplay.py │ │ ├── test_probes_packagehallucination.py │ │ ├── test_probes_topic.py │ │ └── test_probes_visual_jailbreak.py │ ├── resources/ │ │ ├── __init__.py │ │ ├── red_team/ │ │ │ ├── __init__.py │ │ │ └── test_evaluation.py │ │ └── test_fixer.py │ ├── test_attempt.py │ ├── test_config.py │ ├── test_configurable.py │ ├── test_data.py │ ├── test_docs.py │ ├── test_hitlog.py │ ├── test_internal_structures.py │ ├── test_payloads.py │ ├── test_report.py │ ├── test_reqs.py │ └── test_sysprompt.py └── tools/ ├── packagehallucination/ │ ├── dart/ │ │ └── create_dataset.py │ ├── javascript/ │ │ └── main.py │ ├── perl/ │ │ └── create_dataset.py │ ├── python/ │ │ └── main.py │ ├── raku/ │ │ └── create_dataset.py │ └── ruby/ │ └── main.py ├── rebuild_plugin_cache.sh ├── requirements.txt ├── rest/ │ ├── restdemo.json │ └── restserv.py └── termscrape.py