Improve HF download speed

[rasbt]

Addresses the speed issue discussed in #1886. I think the issue is that the setting needs to happen before importing huggingface packages @Andrei-Aksionov .

[Andrei-Aksionov]

I think I tested the same approach and it didn't work.
I think the import happens somewhere even earlier.

⚡ rasbt-patch-4 ~/litgpt export repo_id=Qwen/Qwen2.5-0.5B-Instruct
⚡ rasbt-patch-4 ~/litgpt litgpt download $repo_id                 
Setting HF_HUB_ENABLE_HF_TRANSFER=1
config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 659/659 [00:00<00:00, 7.81MB/s]
generation_config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 242/242 [00:00<00:00, 1.32MB/s]
model.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 988M/988M [01:35<00:00, 10.4MB/s]
tokenizer.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7.03M/7.03M [00:00<00:00, 12.0MB/s]
tokenizer_config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 7.30k/7.30k [00:00<00:00, 69.2MB/s]
Converting checkpoint files to LitGPT format.
{'checkpoint_dir': PosixPath('checkpoints/Qwen/Qwen2.5-0.5B-Instruct'),
 'debug_mode': False,
 'dtype': None,
 'model_name': None}
Loading weights: model.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 00:01<00:00, 76.08it/s
Saving converted checkpoint to checkpoints/Qwen/Qwen2.5-0.5B-Instruct
⚡ rasbt-patch-4 ~/litgpt export HF_HUB_ENABLE_HF_TRANSFER=1                   
⚡ rasbt-patch-4 ~/litgpt rm -rf checkpoints                
⚡ rasbt-patch-4 ~/litgpt litgpt download $repo_id          
config.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 659/659 [00:00<00:00, 9.15MB/s]
generation_config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 242/242 [00:00<00:00, 1.54MB/s]
model.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 988M/988M [00:02<00:00, 459MB/s]
tokenizer.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7.03M/7.03M [00:00<00:00, 22.1MB/s]
tokenizer_config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 7.30k/7.30k [00:00<00:00, 64.1MB/s]
Converting checkpoint files to LitGPT format.
{'checkpoint_dir': PosixPath('checkpoints/Qwen/Qwen2.5-0.5B-Instruct'),
 'debug_mode': False,
 'dtype': None,
 'model_name': None}
Loading weights: model.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 00:01<00:00, 75.90it/s
Saving converted checkpoint to checkpoints/Qwen/Qwen2.5-0.5B-Instruct

2 seconds vs 1 minute 35 seconds.

[rasbt]

@Andrei-Aksionov thanks for checking, I will poke around a bit more

[rasbt]

Hm, this is weird:

With the code in main:

1. if I HF_HUB_ENABLE_HF_TRANSFER=1 it complaints that hf_transfer is not installed; when installing it then, the download goes fast as advertised.

2. If changing back to HF_HUB_ENABLE_HF_TRANSFER=0, it's still fast.

3. when running withHF_HUB_ENABLE_HF_TRANSFER=0 but hf_transfer uninstalled, it's back to slow

4. when reinstalling hf_transfer but keeping HF_HUB_ENABLE_HF_TRANSFER=0 it's still fast.

So I think all one needs to do is to add hf_transfer to the dependencies? And printing a message to suggest installing it if users don't have it already installed.