复习

• Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 5998–6008.

来自 Google 的

• Xie, Q., Dai, Z., Hovy, E., Luong, M.-T., & Le, Q. V. (2019). Unsupervised data augmentation for consistency training. arXiv Preprint arXiv:1904.12848. [Code] [Code for PyTorch]

Consistency training methods simply regularize model predictions to be invariant to small noise applied to either input examples or hidden states. This framework makes sense intuitively because a good model should be robust to any small change in an input example or hidden states.

主要参考

• Hamilton, W. L. (2020). Graph representation learning. Synthesis Lectures on Artifical Intelligence and Machine Learning, 14(3), 1-159.

一本只有 140 页的综述小册子. 本文主要基于第 5-6 章, 简要介绍图神经网络, 不涉及生成式 GNN 等内容.

主要参考

• Mccloud, S. (2015). 理解漫画: 解析漫画艺术的奥秘 (第三版) (万旻, 译). 人民邮电出版社.

原书出版于 1993 年. 有现成的详细内容 摘录.

难得下一次棋, 水平没啥进步. 默认是五林上的对局.

最常见的是前三打: 一打偏黑, 二打平衡略偏白, 三打白小优 (结论出自 2021/9/13 漱星阁的索索夫规则开局指南). 分支太多了, 只看前几手.

参考 KataGo 和

• haisarenjuthink. (2020, Mar 26). 五目クエスト攻略～疎星の打ち方～. 連珠雑記.
• 疏星二打总谱
• 疏星三打总谱

棋谱的记号完全不明白.

由于历史遗留原因, 第一篇 Python 杂录 放在了 Language 类别下. 第二篇 Python 杂录更偏重 best practices.

入门时参考了

• Shotts, W. (2019). The Linux command line.

可在官网免费下载, 从 09 年开始, 目前已经到了第五版.

官方网站: 知我.

作为 《亲密关系》笔记 的补充, 明显重复的内容略. 另有专栏 KY 恋爱教练.

模型压缩, 用小模型向大模型学习. 神经网络最后一层通常将 logits $z_i$ 经过 softmax 函数转化为类别概率预测 $q_i$ 输出,

\[q_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)},\]

其中 $T=1$. 这种概率预测称为 soft target/label (相对于 hard target, 即直接预测一个类别, 而不给与概率).