gitextract_wq324oq_/ ├── .github/ │ ├── ISSUE_TEMPLATE/ │ │ ├── config.yml │ │ ├── eval_request.md │ │ ├── faithfulness_gap.md │ │ └── perf_regression.md │ └── workflows/ │ ├── ci.yml │ ├── packages.yml │ ├── release.yml │ └── security.yml ├── .gitignore ├── CHANGELOG.md ├── LICENSE ├── README.md ├── TODO.md ├── configs/ │ ├── ablations/ │ │ ├── cms_sparse.yaml │ │ ├── selfmod_chunked_8_64.yaml │ │ ├── selfmod_momentum_off.yaml │ │ ├── selfmod_momentum_on.yaml │ │ ├── selfmod_no_alpha.yaml │ │ ├── selfmod_no_cms.yaml │ │ └── selfmod_rank1_precond_off.yaml │ ├── data/ │ │ ├── continual_segments_sample.yaml │ │ ├── fineweb_edu_longdoc_filtered_sample.yaml │ │ ├── fineweb_edu_mixture_full.yaml │ │ ├── fineweb_edu_mixture_sample.yaml │ │ ├── refinedweb_mixture.yaml │ │ ├── refinedweb_mixture_filtered.yaml │ │ ├── refinedweb_mixture_full.yaml │ │ └── refinedweb_mixture_sample.yaml │ ├── deepspeed/ │ │ └── zero3.json │ ├── hope/ │ │ ├── mid.yaml │ │ ├── mid_fsdp.yaml │ │ ├── pilot.yaml │ │ ├── pilot_attention.yaml │ │ ├── pilot_selfmod.yaml │ │ ├── pilot_transformer.yaml │ │ ├── target.yaml │ │ └── target_fsdp.yaml │ ├── mid_smoke.yaml │ ├── mid_stage2.yaml │ ├── mid_stage2_smoke.yaml │ ├── mid_titan_baseline.yaml │ ├── pilot.yaml │ ├── pilot_paper_faithful.yaml │ ├── pilot_selfmod_paper_faithful.yaml │ ├── pilot_smoke.yaml │ └── resolved/ │ ├── cms_sparse_eval.yaml │ ├── phase2_pilot_attention_eval.yaml │ └── phase2_pilot_transformer_eval.yaml ├── docker/ │ └── Dockerfile.dist ├── docs/ │ ├── BUG_REPORT_CHECKLIST.md │ ├── COMPATIBILITY_MATRIX.md │ ├── FSDP_SCALING_GUIDE.md │ ├── IMPLEMENTATION_STATUS.md │ ├── P4_REMEDIATION_PLAN.md │ ├── PACKAGE_RELEASE_CHECKLIST.md │ ├── PAPER_COMPLIANCE.md │ ├── PHASE2_LONG_CONTEXT_COMPARISON.md │ ├── PHASE_2_PLAN.md │ ├── PYPI_TRUSTED_PUBLISHING.md │ ├── STREAMING_CONTRACT.md │ ├── VERSIONING_POLICY.md │ ├── compute_plan.md │ ├── continual_classification_eval.md │ ├── continual_eval.md │ ├── data_pipeline.md │ ├── env_matrix.md │ ├── experiments_report.md │ ├── future_directions.md │ ├── phase2_comparison.md │ ├── release_checklist.md │ ├── scaling_guidance.md │ ├── spec_interfaces.md │ ├── sprint_next_plan.md │ ├── stage2_plan.md │ ├── stage2_progress.md │ ├── templates/ │ │ └── checkpoint_report.md │ └── zeroshot_eval.md ├── eval/ │ ├── continual_dummy.json │ ├── continual_mid_stage2.json │ ├── continual_mid_stage2_smoke.json │ ├── continual_mid_stage2_ts10.json │ ├── continual_mid_stage2_ts10_single120_clip.json │ ├── continual_mid_stage2_ts10_single140_schedC.json │ ├── continual_mid_stage2_ts10_single220_schedD.json │ ├── continual_mid_stage2_ts10_single80.json │ ├── continual_mid_stage2_ts10_single80lr2e5.json │ ├── continual_mid_stage2_ts20.json │ ├── continual_mid_titan_baseline.json │ ├── continual_pilot.json │ ├── continual_pilot_cms_nochunk_step5000.json │ ├── continual_pilot_cms_sparse_step5000.json │ ├── continual_pilot_multi.json │ ├── continual_pilot_opt_adamw_step5000.json │ ├── continual_pilot_opt_muon_step5000.json │ ├── continual_pilot_selfmod_off_step5000.json │ ├── continual_pilot_step22000.json │ ├── continual_pilot_step230000.json │ ├── continual_pilot_teach05_long_step25000.json │ ├── continual_pilot_teach05_step2000.json │ ├── continual_pilot_teach15_long_step25000.json │ ├── continual_pilot_teach15_step2000.json │ ├── continual_smoke.json │ ├── continual_titan.json │ ├── continual_titan_relaunch_step001000.json │ ├── continual_titan_step25000.json │ ├── niah_dummy.json │ ├── niah_mid_stage2.json │ ├── niah_mid_stage2_smoke.json │ ├── niah_mid_stage2_ts10.json │ ├── niah_mid_stage2_ts10_single120_clip.json │ ├── niah_mid_stage2_ts10_single140_schedC.json │ ├── niah_mid_stage2_ts10_single220_schedD.json │ ├── niah_mid_stage2_ts10_single80.json │ ├── niah_mid_stage2_ts10_single80lr2e5.json │ ├── niah_mid_stage2_ts20.json │ ├── niah_mid_titan_baseline.json │ ├── niah_pilot.json │ ├── niah_pilot_cms_nochunk_step5000.json │ ├── niah_pilot_cms_sparse_step5000.json │ ├── niah_pilot_opt_adamw_step5000.json │ ├── niah_pilot_opt_muon_step5000.json │ ├── niah_pilot_selfmod_off_step5000.json │ ├── niah_pilot_step22000.json │ ├── niah_pilot_step230000.json │ ├── niah_pilot_teach05_long_step25000.json │ ├── niah_pilot_teach05_step2000.json │ ├── niah_pilot_teach15_long_step25000.json │ ├── niah_pilot_teach15_step2000.json │ ├── niah_smoke.json │ ├── niah_titan.json │ ├── niah_titan_relaunch_step001000.json │ ├── niah_titan_step25000.json │ ├── passkey_pilot.json │ ├── passkey_pilot_step230000.json │ ├── passkey_titan.json │ ├── passkey_titan_relaunch_step001000.json │ ├── passkey_titan_step25000.json │ ├── pg19_pilot.json │ ├── pg19_pilot_step230000.json │ ├── pg19_titan.json │ ├── pg19_titan_relaunch_step001000.json │ ├── pg19_titan_step25000.json │ ├── phase2_compare_smoke_lastlayer_metrics.json │ ├── zeroshot_full_smoke.json │ ├── zeroshot_mid_stage2.json │ ├── zeroshot_mid_stage2_smoke.json │ ├── zeroshot_mid_stage2_smoke_piqa_baseline.json │ ├── zeroshot_mid_stage2_smoke_piqa_mem.json │ ├── zeroshot_mid_stage2_ts10.json │ ├── zeroshot_mid_stage2_ts10_single120_clip.json │ ├── zeroshot_mid_stage2_ts10_single140_schedC.json │ ├── zeroshot_mid_stage2_ts10_single220_schedD.json │ ├── zeroshot_mid_stage2_ts10_single80.json │ ├── zeroshot_mid_stage2_ts10_single80lr2e5.json │ ├── zeroshot_mid_stage2_ts20.json │ ├── zeroshot_mid_titan_baseline.json │ ├── zeroshot_pilot.json │ ├── zeroshot_pilot_cms_nochunk_step5000.json │ ├── zeroshot_pilot_cms_sparse_step5000.json │ ├── zeroshot_pilot_debug.json │ ├── zeroshot_pilot_dummy_piqa.json │ ├── zeroshot_pilot_opt_adamw_step5000.json │ ├── zeroshot_pilot_opt_muon_step5000.json │ ├── zeroshot_pilot_selfmod_off_step5000.json │ ├── zeroshot_pilot_step22000.json │ ├── zeroshot_pilot_step230000.json │ ├── zeroshot_pilot_teach05_long_step25000.json │ ├── zeroshot_pilot_teach05_step2000.json │ ├── zeroshot_pilot_teach15_long_step25000.json │ ├── zeroshot_pilot_teach15_step2000.json │ ├── zeroshot_smoke.json │ ├── zeroshot_titan.json │ ├── zeroshot_titan_relaunch_step001000.json │ └── zeroshot_titan_step25000.json ├── google_papers/ │ ├── Nested_Learning/ │ │ ├── Nested_Learning.json │ │ └── Nested_Learning.md │ └── TITANs/ │ ├── TITANs.json │ └── TITANs.md ├── pyproject.toml ├── reports/ │ ├── ablations.md │ ├── cadence_mechanism_audit_smoke.json │ ├── compliance_mechanism_audit_smoke.json │ ├── compliance_summary_pilot.json │ ├── compliance_summary_pilot_paper_faithful.json │ ├── next_backlog_scoped.md │ ├── security_release_gate.md │ ├── sprint_completion_report.md │ └── stage2_smoke.md ├── scripts/ │ ├── __init__.py │ ├── checkpoint/ │ │ └── verify.py │ ├── checks/ │ │ ├── check_data_script_help.sh │ │ ├── check_git_tracked_sizes.sh │ │ ├── check_readme_commands.sh │ │ ├── compliance_report.py │ │ ├── run_fidelity_ci_subset.sh │ │ ├── tokenizer_coverage_guard.py │ │ ├── verify_docs_refs.py │ │ └── verify_update_cadence.py │ ├── compute/ │ │ └── create_reservations.sh │ ├── data/ │ │ ├── __init__.py │ │ ├── check_tokenizer.py │ │ ├── check_tokenizer_coverage.py │ │ ├── filter_corpus.py │ │ ├── process_mixture.py │ │ ├── run_full.sh │ │ ├── run_sample.sh │ │ ├── shard_corpus.py │ │ ├── train_tokenizer.py │ │ └── validate_mixture.py │ ├── eval/ │ │ ├── __init__.py │ │ ├── compare_variants.py │ │ ├── continual.py │ │ ├── continual_classification.py │ │ ├── niah.py │ │ ├── niah_suite.py │ │ ├── passkey.py │ │ ├── pg19_perplexity.py │ │ ├── phase2_memorization_delta_smoke.py │ │ ├── plot_continual_classification.py │ │ ├── plot_forgetting.py │ │ ├── plot_niah_suite.py │ │ ├── run_pilot_suite.sh │ │ ├── summarize_eval.py │ │ └── zeroshot.py │ ├── package_pilot_release.sh │ ├── run_cpu_ddp_smoke.sh │ ├── run_e2e_smoke.sh │ ├── run_mechanism_audit_smoke.sh │ ├── run_smoke.sh │ └── tests/ │ └── run_passkey_smoke.sh ├── src/ │ └── nested_learning/ │ ├── __init__.py │ ├── __main__.py │ ├── assoc_memory.py │ ├── backbones.py │ ├── capabilities.py │ ├── cli.py │ ├── cms.py │ ├── config_utils.py │ ├── continual_classification.py │ ├── continual_streaming.py │ ├── data.py │ ├── device.py │ ├── eval_state.py │ ├── fast_state.py │ ├── functional.py │ ├── hope/ │ │ ├── __init__.py │ │ ├── block.py │ │ └── self_mod.py │ ├── instrumentation.py │ ├── levels.py │ ├── logging_utils.py │ ├── memorize.py │ ├── model.py │ ├── optim/ │ │ ├── __init__.py │ │ ├── deep.py │ │ ├── factory.py │ │ ├── m3.py │ │ └── manager.py │ ├── titan/ │ │ ├── __init__.py │ │ ├── memory.py │ │ ├── model.py │ │ └── self_modifying.py │ ├── tokenizer.py │ ├── tokenizer_coverage.py │ ├── training.py │ └── transformer.py ├── tests/ │ ├── conftest.py │ ├── data/ │ │ ├── passkey_corpus.txt │ │ ├── tiny_tokenizer.model │ │ └── tiny_tokenizer.vocab │ ├── test_algorithm_mode_grad.py │ ├── test_attention_cache.py │ ├── test_attention_features.py │ ├── test_boundary_state_mode.py │ ├── test_boundary_state_training_loop.py │ ├── test_build_model_from_cfg_selfmod.py │ ├── test_checkpoint_metadata_and_eval_loaders.py │ ├── test_cli_tooling.py │ ├── test_cms.py │ ├── test_cms_cross_call.py │ ├── test_cms_delta_rule.py │ ├── test_cms_flush_partial.py │ ├── test_compare_variants_cli.py │ ├── test_compile_toggle.py │ ├── test_compliance_report.py │ ├── test_continual_classification.py │ ├── test_continual_eval_state_mode.py │ ├── test_data_scripts_help.py │ ├── test_data_split_fallbacks.py │ ├── test_determinism_seed.py │ ├── test_device_resolution.py │ ├── test_distributed_fail_fast.py │ ├── test_eval_builders.py │ ├── test_eval_state.py │ ├── test_eval_state_cli.py │ ├── test_faithfulness_harness.py │ ├── test_fast_state_batch_semantics.py │ ├── test_fast_state_forward_equivalence.py │ ├── test_fast_state_meta_grads.py │ ├── test_fast_state_selfmod_meta_grads.py │ ├── test_git_tracked_sizes_check.py │ ├── test_hope_block.py │ ├── test_hope_selfmod_fast_state_meta_unchanged.py │ ├── test_hope_selfmod_integration.py │ ├── test_hope_selfmod_update_pass.py │ ├── test_levels.py │ ├── test_m3.py │ ├── test_m3_slow_timing.py │ ├── test_memorization.py │ ├── test_model.py │ ├── test_model_streaming_cadence.py │ ├── test_online_chunking.py │ ├── test_optim.py │ ├── test_optimizer_param_policy.py │ ├── test_package_release_script.py │ ├── test_paper_faithful_configs.py │ ├── test_phase2_memorization_delta.py │ ├── test_residual_mlp_memory.py │ ├── test_run_features.py │ ├── test_self_modifying_titans.py │ ├── test_selfmod_adaptive_q.py │ ├── test_selfmod_dgd_linear.py │ ├── test_selfmod_grad_flow.py │ ├── test_selfmod_local_conv.py │ ├── test_selfmod_online.py │ ├── test_strict_streaming_contract.py │ ├── test_surprise_metric.py │ ├── test_surprise_override.py │ ├── test_teach_signal.py │ ├── test_tied_weight_guard.py │ ├── test_variants.py │ ├── test_verify_docs_refs.py │ └── test_verify_update_cadence.py ├── train.py ├── train_deepspeed.py ├── train_dist.py └── train_fsdp.py