把 logisitic 翻译成逻辑并不恰当, 但就先这么用了.

A quick go through

有很多路径可以得到逻辑回归, 最直接地, 它是广义线性模型, 假设 log odds 可以线性表示 (从而决策边界是线性的), 即

\[\log \frac{\mathbb P (Y = 1 \mid X)}{\mathbb P (Y = 0 \mid X)} = \beta'X,\]

其中 $Y \in \{0, 1\}$, 随机向量 $X = (1, X_2, \dots, X_{p+1})’$, 参数 $\beta = (\beta_1, \dots, \beta_{p+1})’$. 用极大似然估计参数, 用 Newton 法计算优化问题. 类似地容易推广到 softmax 形式.

Motivation 我认为可以这样理解: (1) 决策边界是线性的, 于是有右边项 $\beta’X$; (2) 两个概率之比大于某个阈值则预测为其中一个, 而由于概率非负, 所以最便利的让 odds 非负的办法是写为 $\exp(\beta’X)$, 或者其他任何单调变化都可以. 最后两个概率之和为 1 天然成立.

周志华西瓜书上把动机说为用 sigmoid 逼近阶梯函数, 虽然 sigmoid 可以, 但并不必要.

翻阅了 官方 tutorial.

与 Python 比较

• new 相当于在 Python 中显式地调用 __init__ 方法.
• import 好像没有 Python 灵活, 比如 a.b.c, 只能导入 fully qualified name (一个具体的类) 或者一个库下所有的类, 而不能像 Python 一样 from a import b 然后再用 b.c.
• 没有默认参数 (可以用函数重载实现), 没有位置参数 (传参感觉不方便读 raw text?).
• 方法命名习惯用动词开头, camelCase.
• “only public methods are allowed to be called on class instance.” Why subclass in another package cannot access a protected method?

主论文

• Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., … & Liu, T. Y. (2017). Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, 30, 3146-3154.

LGB 的 light 指它比之前的 GBDT 实现 (比如 XGB) 更快. 核心是加速 GBDT 最耗时的求特征分裂点的部分 (时间复杂度 $O(\#\text{samples}\times\#\text{features})$ 或 histogram-based 的 $O(\#\text{bins}\times\#\text{features})$), 提出 Gradient-based One-Side Sampling (GOSS) 和 Exclusive Feature Bundling (EFB). 其中前者减少需要考虑的样本数 (主要考虑梯度大的样本), 后者压缩特征数, 从而实现加速. 结果除了速度, 精度也往往有提升.

大多是常用第三方库.

其他库

unyt

2022/7/7

涉及到浮点数的单位相等判断会有问题, 参考 issue#238

Pandas

Cookbook

2020/5/30

pipeline (df.pipe), 临时列 (df.assign) 等

• peter. (2022). Cookbook
• data school. (2018). What’s the future of the pandas library?
• Sin-Yi Chou. (2019). Pandas - Pipe Method. 用装饰器辅助 debug

groupby 默认会排序

2022/4/25

sort : bool, default True

Sort group keys. Get better performance by turning this off. Note this does not influence the order of observations within each group. Groupby preserves the order of rows within each group.

见 这个问题 和 文档. 我因为忽视这一点遇到了微妙的 bug. 把这个关掉还能提升性能.

弱监督旨在避免昂贵的大量手动标注, 而采用编程式的方法生成标注数据. 一般分为两步: 先用「多种来源的带噪声标注规则」(称为 labelling functions) 对「无标注数据」进行标注 (得到 label model), 再把 (用 label model) 生成的标注数据喂给下游模型 (end model) 训练. 理想是 label model 可以泛化 (处理冲突, 平滑标签) labelling functions, 然后 end model 进一步泛化. (依然需要一些标注数据作为验证集和测试集以评估效果.)

参考

• 押井守. (2021). 并不想说坏话! 无人敢评的吉卜力功过 (李思园, 译). 四川文艺出版社.

为什么批判吉卜力的意见很难印成文字? 因为批评吉卜力什么好处也捞不到, 而夸奖吉卜力能得到好处, 也就是建立了所谓 “内部圈子” (inner circle) 的利益关系, 即神之彼此共通的利害关系, 深谙沉默规则, 仅允许内部批判的共同体. 由”极少数的职业人士 + 大部分的业余爱好者” 组成的世界, 往往就会形成这种内部圈子.

虽然吉卜力作品的表现力十分卓越, 但作为电影而言, 它的作品大多都只能说是槽点满满. 是否让观众获得了足够的乐趣与作品本身的评价, 完全是两码事.

首先强烈推荐

• Frazier, P. I. (2018). A tutorial on Bayesian optimization. arXiv Preprint arXiv:1807.02811.

写得非常清楚. 本文只简单介绍最基本的内容.

考虑优化问题

\[\max_{x\in A} f(x),\]

Bayesian optimization is designed for black-box derivative-free global optimization. 黑箱意思是不知道函数 $f$ 的形式和性质 (凸性等), 只能通过输入 $x$ 得到输出 $f(x)$, 另外也不知道导数信息, 目标是求解全局最优.

参考

• Zhu, X., & Goldberg, A. B. (2009). Introduction to semi-supervised learning. Synthesis lectures on artificial intelligence and machine learning, 3(1), 1-130.

书比较老, 介绍了 SVM 时代一些分类问题机器学习算法的半监督版本. 特色是强调半监督学习有效需要的假设, 以及不符合假设的人造数据样例的可视化展示. 本文只涉及通用的算法.

只包含查询语法, 不包含具体机制.

复习

• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv Preprint arXiv:1810.04805.