Skip to content

多机训练时,由于不同机器pip初始化环境下载速度不同,导致部分worker进入训练进程等待通信时超时,如何增加timeout等待时间呢? #1990

多机训练时,由于不同机器pip初始化环境下载速度不同,导致部分worker进入训练进程等待通信时超时,如何增加timeout等待时间呢?

多机训练时,由于不同机器pip初始化环境下载速度不同,导致部分worker进入训练进程等待通信时超时,如何增加timeout等待时间呢? #1990

Workflow file for this run

name: label_issue
on:
issues:
types:
- opened
jobs:
label_issue:
runs-on: ubuntu-latest
permissions:
issues: write
steps:
- env:
GH_TOKEN: ${{ secrets.GITHUB_TOKEN }}
ISSUE_URL: ${{ github.event.issue.html_url }}
ISSUE_TITLE: ${{ github.event.issue.title }}
run: |
LABEL=pending
NPU_KEYWORDS=(npu huawei ascend 华为 昇腾)
ISSUE_TITLE_LOWER=$(echo $ISSUE_TITLE | tr '[:upper:]' '[:lower:]')
for KEYWORD in ${NPU_KEYWORDS[@]}; do
if [[ $ISSUE_TITLE_LOWER == *$KEYWORD* ]] && [[ $ISSUE_TITLE_LOWER != *input* ]]; then
LABEL=pending,npu
break
fi
done
gh issue edit $ISSUE_URL --add-label $LABEL