torchacc package

Submodules

torchacc.accelerate module

torchacc.config module

Module contents

Subpackages

• torchacc.core package
  • Submodules
  • torchacc.core.accelerate_hf_trainer module
  • torchacc.core.amp module
  • torchacc.core.async_loader module
  • Module contents
• torchacc.dist package
  • Subpackages
    • torchacc.dist.pp package
      • Submodules
      • torchacc.dist.pp.executor module
      • torchacc.dist.pp.microbatch module
      • torchacc.dist.pp.p2p module
      • torchacc.dist.pp.pipeline module
      • torchacc.dist.pp.schedule module
      • torchacc.dist.pp.utils module
      • Module contents
  • Submodules
  • torchacc.dist.backend module
  • torchacc.dist.distributed_parallel module
  • torchacc.dist.dp module
  • torchacc.dist.fsdp module
  • torchacc.dist.mesh module
  • torchacc.dist.parallel_module module
  • torchacc.dist.spmd_fsdp module
  • torchacc.dist.tp module
  • Module contents
• torchacc.llm package
  • Submodules
  • torchacc.llm.qwen_patch module
  • Module contents
• torchacc.ops package
  • Subpackages
    • torchacc.ops.context_parallel package
      • Submodules
      • torchacc.ops.context_parallel.context_parallel_2d module
      • torchacc.ops.context_parallel.init_group module
      • torchacc.ops.context_parallel.ring_attn module
      • torchacc.ops.context_parallel.ulysses module
      • torchacc.ops.context_parallel.utils module
      • Module contents
  • Submodules
  • torchacc.ops.flash_attn module
  • torchacc.ops.scaled_dot_product_attention module
  • Module contents
• torchacc.utils package
  • Submodules
  • torchacc.utils.checkpoint module
  • torchacc.utils.cpu_offload module
  • torchacc.utils.decompose module
  • torchacc.utils.logger module
  • torchacc.utils.patch module
  • torchacc.utils.trace module
  • torchacc.utils.utils module
  • Module contents