入门时参考了

• Shotts, W. (2019). The Linux command line.

可在官网免费下载, 从 09 年开始, 目前已经到了第五版.

官方网站: 知我.

作为 《亲密关系》笔记 的补充, 明显重复的内容略. 另有专栏 KY 恋爱教练.

模型压缩, 用小模型向大模型学习. 神经网络最后一层通常将 logits $z_i$ 经过 softmax 函数转化为类别概率预测 $q_i$ 输出,

\[q_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)},\]

其中 $T=1$. 这种概率预测称为 soft target/label (相对于 hard target, 即直接预测一个类别, 而不给与概率).

主要参考

• Boyd, S., & Vandenberghe, L. (2004). Convex optimization. Cambridge university press.

凸优化最有名 (?) 且十分易读的教材, 附录有一些线性代数的回顾. 如果不打算全读, 只读每章开头的小节可以很快地理清脉络.

COLING 2020 的文章

• Wang, Y., Yu, B., Zhang, Y., Liu, T., Zhu, H., & Sun, L. (2020). Tplinker: Single-stage joint extraction of entities and relations through token pair linking. arXiv preprint arXiv:2010.13415. [Code]

讲调包. 主问题是个凸二次规划, 找包调的时候顺便调研了 SciPy 处理一般带约束优化问题的不同算法的适用场景 (官方文档里并没有写得很明白).

An optimization problem with a quadratic objective function and linear constraints is called a quadratic program (QP). Consider the following (convex) QP,

\[\begin{align*} \min_\beta & \quad \Vert Y - X\beta \Vert_2^2, \\ \text{subject to} & \quad \boldsymbol{1}_p'\beta = 1, \\ & \quad \beta \succeq 0, \end{align*}\]

with

• an $n \times 1$ vector $Y$,
• an $n \times p$ matrix $X$, and
• a $p \times 1$ vector $\beta$.

题目真的很 “简单”, 但在缺乏提示的情况下未必容易做出, 有些在其他书是直接写在正文里的.

参考书目

• 应坚刚 & 金蒙伟. (2016). 随机过程基础 (第二版). 复旦大学出版社.
• Baldi, P. (2017). Stochastic Calculus: An Introduction Through Theory and Exercises. Springer.

得知这个网站起源于我想了解 “他者化 (othering)” 这个概念. 这本身是一个哲学概念, 所以大多文章多少会涉及一些术语或者人名. 但哲学我又完全不懂, 因此想找简单的文章读, 于是就找到了 verywellmind. 其上的文章不涉及任何专业术语, 非常易读, 并且有专业人士 review 确保质量. 另外还发现很多心理学相关的公众号都会编译这个网站上的内容.

Verywell Mind uses only high-quality sources, including peer-reviewed studies, to support the facts within our articles.

主要参考

• 焦元溥. (2015). 乐之本事. 广西师范大学出版社.

我对古典乐的兴趣主要来自动画《交响情人梦》, 虽然从制作的角度它被后辈京吹和四慌爆了几十条街 (这两个也是我非常喜欢的动画, 制作层面都是顶级的), 但它凭借成熟而动人的故事, 一直占据着我心目中动画 top1 的位置. 另外, 我关系最好而且最长期的室友在古典乐方面有很高的造诣, 尤其是小提琴演奏; 他自己家里更是有一整面墙摆放碟片.

但是我仍未入门古典乐, 至少现在依然如此. 以前尝试过听 Yale 大学的公开课 “聆听音乐”, 但当时出于时间关系看了两集便没能继续, 也许之后可以试试再结合教材看一看. 听音乐是一件 “费时费力” 的事情, 加之兴趣也不是很大, 不知道还有没有机会…

这本《乐之本事》是朋友推荐的. 说实话我并不太喜欢这本书, 大多内容目前都不感兴趣, 所以只记录第六章和第七章一小部分给我留下印象的东西.

经典老番, 复习.

CS224n 的 第一课讲义 写得很好, 介绍全面而清晰, 下面的讲法来自 Speech and Language Processing December 30, 2020 draft. 只讲 skip-gram + negative sampling, 最为简洁.

关于 BERT, dive into deep learning 这里有非常清楚的解释.