2021-06-08 记事

lm-scorer

lm-scorer 语言评分包。

pip install lm-scorer
https://pypi.org/project/lm-scorer/

AutoGluon中输出分类和概率

参考地址
https://auto.gluon.ai/tutorials/tabular_prediction/tabular-indepth.html

输出分类

print(predictor.predict(datapoint))

输出每一个类别的概率
To output predicted class probabilities instead of predicted classes, you can use:

predictor.predict\_proba(datapoint, as\_pandas\=True) \# as\_pandas shows which probability corresponds to which class

https://www.kaggle.com/daikikatsuragawa/tps-jun-2021-benchmark-using-autogluon 这个任务就是需要输出概率。

Neuropod

Neuropod，这是一个开源库，它能使所有深度学习框架在运行模型时看起来都是一样的。有了 Neuropod，在所有工具和基础设施中添加对新框架的支持，就像将其添加到 Neuropod 中一样简单。
https://github.com/uber/neuropod

PyTorch One Hot 编码

PyTorch has a one_hot() function for converting class indices to one-hot encoded targets:

import torch
import torch.nn.functional as F


x = torch.tensor([4, 3, 2, 1, 0])
F.one\_hot(x, num\_classes=6)

JAX / Flax 框架(谷歌)

JAX是tensorflow的简化库，也是一种深度学习框架
JAX简单的说就是GPU加速、支持自动微分(autodiff)的numpy
Flax是基于JAX上构建的

skorch

习惯用 sklearn的福利，
网格搜索什么的全部支持。
A scikit-learn compatible neural network library that wraps PyTorch.
https://github.com/skorch-dev/skorch

使用sklearn

使用sklearn.preprocessing.StandardScaler类，使用该类的好处在于可以保存训练集中的参数（均值、方差）直接使用其对象转换测试集数据。