深度学习优选资源

深度学习优选资源

多头注意力模型

performer

reformer

分词词典

CLUE

中文词典 总大小只有8021，远远小于google的21128https://github.com/CLUEbenchmark/CLUECorpus2020#%E8%AF%8D%E8%A1%A8%E4%BB%8B%E7%BB%8D

AutoML/AutoDL

wandb 训练监控走势

Optuna: 一个超参数优化框架

Optuna 是一个特别为机器学习设计的自动超参数优化软件框架.它具有命令式的, define-by-run 风格的 API.由于这种 API 的存在, 用 Optuna 编写的代码模块化程度很高, Optuna 的用户因此也可以动态地构造超参数的搜索空间.https://optuna.readthedocs.io/zh_CN/latest/index.html

NNi

NNI (Neural Network Intelligence) 是一个轻量但强大的工具包，帮助用户自动的进行 特征工程，神经网络架构搜索， 超参调优以及模型压缩。https://nni.readthedocs.io/zh/stable/

AutoGluon

https://auto.gluon.ai/

Ray Tune

Ray tune：一个可扩展的超参数优化Python库 Tune是一个超参数优化库，可以用于PyTorch、TensorFlow， MXnet，keras等深度学习框架https://docs.ray.io/en/master/tune/index.html

Pytorch Lightning Distributed Accelerators using Ray

https://github.com/napoler/ray_lightning

Nlp强大的包

Keras:基于Python的深度学习库 - Keras中文文档

fast.ai · Making neural nets uncool again

PyTorch

LightGBM https://lightgbm.readthedocs.io/en/latest/Installation-Guide.html

AllenNLP

pytorch-lightning

写模型首选用它https://pytorch-lightning.readthedocs.io/

贝叶斯优化

基本所有的调参都是靠他https://github.com/fmfn/BayesianOptimization

torch-optimizer

各种优化器合集https://github.com/jettify/pytorch-optimizer

spaCy https://spacy.io/

OmegaConf

fastNLP https://github.com/fastnlp/fastNLP

pytorch crf https://github.com/kmkurn/pytorch-crf

onnx / onnx：机器学习互操作性的开放标准

全部知识蒸馏函数 https://github.com/AberHu/Knowledge-Distillation-Zoo

transformers https://huggingface.co/transformers/model_doc/bert.html

文本处理

blmoistawinde/HarvestText: 文本挖掘和预处理工具（文本清洗、新词发现、情感分析、实体识别链接、关键词抽取、知识抽取、句法分析等），无监督或弱监督方法

goto456/stopwords: 中文常用停用词表（哈工大停用词表、百度停用词表等）

竞赛平台

Kaggle: Your Home for Data Science

colab

阿里天池

示例

nlp示例合集

labml.ai Neural Networks 很好的深度学习框架

nlp示例合集graykode/nlp-tutorial: Natural Language Processing Tutorial for Deep Learning Researchers https://github.com/graykode/nlp-tutorial

工具

模型可视化https://github.com/lutzroeder/Netron

torchsummaryX 参数计算 https://github.com/nmhkahn/torchsummaryX

标注工具 https://labelstud.io/

ai补全插件Kite

Read the Docs 文档托管

RIME | 中州韻輸入法引擎

Docker Hub

Anaconda.org

排行基线

https://www.cluebenchmarks.com/nlpcc2020.html

榜单SuperGLUE Benchmark https://super.gluebenchmark.com/leaderboard

GLUE Benchmark https://gluebenchmark.com/

web/api开发

FastAPI https://fastapi.tiangolo.com/

streamlit 快速可视化 https://streamlit.io/

Semantic UI 语义化的前端框架 https://semantic-ui.com/

Electron | 使用 JavaScript，HTML 和 CSS 构建跨平台的桌面应用程序。

Beautiful Soup 解析html

ngrok - secure introspectable tunnels to localhost

jsDelivr

自动生成流程图 https://flowchart.fun/

Caddy 2 不错的服务器软件

ZeroTier内网穿透 – Global Area Networking

自动化

Selenium 控制浏览器

数据集

AMiner 数据集 https://www.aminer.cn/data_cn

candlewill/Dialog_Corpus: 用于训练中英文对话系统的语料库 Datasets for Training Chatbot System

codemayq/chinese_chatbot_corpus: 中文公开聊天语料库