2021-06-03 记事

google jax

JAX is Autograd and XLA, brought together for high-performance machine learning research.
JAX 是为高性能数字计算（尤其是机器学习研究）而设计的 Python 库。其用于数值计算的 API 基于 NumPy 这样一个用于科学计算的函数库所构建。得益于 Python 和 NumPy 较高的使用率和知名度，使得 JAX 简洁灵活、易于使用。
取了tensorflow的functional和PyTorch的精简，即支持gpu的 numpy, 具有autograd功能，非常追求函数式编程的思想，强调无状态，immutable，加上JIT修饰符后就是lazy，可以使用xla对计算流程进行静态分析和优化。当然JAX不带jit也可像pytorch那种命令式编程和eager执行。
高效率替换numpy

ubuntu中如何查看crontab定时任务是否执行过 查看记录

utbuntu中不存在日志文件/var/log/cron，可以通过下面的命令获取执行日志。

sudo systemctl status cron

很多时候执行不成功都是因为权限问题，如下解决：

chmod +x 脚本

还有就是尽量全路径。

如何测试脚本是否可行

crontab -u 用户 /home/t/autoupload.bash

解决 1: bad minute errors in crontab file, can’t install

快速自动提交git项目

需要部署Deploy keys
https://github.com/JaderH/GreenBox
或者使用这个可以配置用户密码的
https://github.com/tejvuligonda/Cron-Auto-Push

[[2020-11-14-修改git使用代理访问]]

shell中休眠

sleep .5 # Waits 0.5 second. sleep 5 # Waits 5 seconds. sleep 5s # Waits 5 seconds. sleep 5m # Waits 5 minutes. sleep 5h # Waits 5 hours. sleep 5d # Waits 5 days.

python ^c133e5
import time time.sleep(1)

使用optuna做优化

配合PyTorch-Lightning模块使用PruningCallback。

optuna

optuna剪枝

通过采用最先进的超参数采样算法和对无望 trial 的剪枝， #Optuna 使得高效的超参数优化成为可能。
优化过程中抛弃无望的数据丢弃掉。
https://optuna.readthedocs.io/zh_CN/latest/tutorial/10_key_features/003_efficient_optimization_algorithms.html#pruning-algorithms

剪枝

示例 colab

![img/newplot (1) 1.png]]

CMA-ES 采样器

CmaEsSampler is added at v1.3.0 and stabled at v2.0.0. This sampler uses cmaes under the hood. The usage is like this:

import optuna

def objective(trial):

x \= trial.suggest_float("x", -100, 100)

y \= trial.suggest_float("y", -100, 100)

return x ** 2 + y

if __name__ \== "__main__":

sampler \= optuna.samplers.CmaEsSampler()

study \= optuna.create_study(sampler\=sampler)

study.optimize(objective, n_trials\=200)

[https://medium.com/optuna/introduction-to-cma-es-sampler-ee68194c8f88]

optuna绘图

jupyter 有问题

https://optuna.readthedocs.io/zh_CN/latest/tutorial/10_key_features/005_visualization.html#sphx-glr-tutorial-10-key-features-005-visualization-py

plot_parallel_coordinate(study)

展示参数对结果的影响

jupyterlab激活tensorboard

%load_ext tensorboard
%tensorboard --logdir lightning_logs --host=ip