kaggle中的常规操作

Git操作

下载带有验证的git代码

!git clone https://napolr2008:[email protected]/terranorg/coo-lm/TtClassifier.git
%cd TextClassifier
#切换到检出点
!git checkout -b 1197461c5b056324dfa31c441885af1e91aa6619

切换到检出点

#切换到检出点
!git checkout -b 1197461c5b056324dfa31c441885af1e91aa6619

代码任务管理

TODO标记

#TODO todo任务
#Fixme 已经修正

PyCharm使用技巧：TODO（代码特殊注释技术）

训练技巧

Wandb

从kaggle secrets获取参数

!pip install Wandb
# kaggle Demo

from kaggle_secrets import UserSecretsClient
user_secrets = UserSecretsClient()
secret_value_0 = user_secrets.get_secret("wandb")
os.environ["WANDB_SILENT"] = "true"
os.environ["WANDB_API_KEY"] = secret_value_0

jupyter

使用魔术方式写入文件

%%writefile config/config_cuda.yaml
seed_everything: 42
trainer:
  logger:
  - class_path: pytorch_lightning.loggers.WandbLogger
    init_args:
      save_dir: "my_logs"
      offline: false
      project: "zhihu分类"
      log_model: false
      prefix: ''
  checkpoint_callback: true

文件存储

/kaggle/working # 工作目录，后期可用输出文件 限制20g
/kaggle/input/ # 引入的数据目录
# 对于不需要输出到文件可用放在其他目录
# 比如/kaggle/目录下

需要输出的文件

https://www.notion.so/terrychanorg/kaggle-d972089c952a45428d865ece18ae5b36