本文介绍了一种在 l1 惩罚最小二乘法回归（或 LASSO）问题中消除特征（变量）的快速方法。消除特征可大幅缩短运行时间，尤其是在惩罚参数值较大的情况下。这个方法不是启发式的：它只消除在求解 LASSO 问题后保证不存在的特征。特征消除步骤易于并行化，可以独立测试每个特征的消除情况。此外，与求解 LASSO 问题相比，这一方法的计算量可以忽略不计–大致相当于单梯度步骤。这个方法扩展了现有 LASS

动态筛选的提出 以往的安全筛选法则，都是脱离训练过程所存在的筛选。我们称之为静态筛选规则(We will refer to such safe rules as static safe rules)他大致分为全局的(利用λ0)和递归的(加速筛选一系列λ),动态筛选规则为我们提供了新的思路。作者用简单的伪代码为我们展示了何为动态筛选：(字典D就是上篇里的X，x是上篇的w) 它通过在优化过程中迭代减少

树的dfs dfs俗称爆搜，用于搜索所有情况 dfs需要维护的数据结构：表征当前遍历位置的u，表征某个状态是否被遍历过的st[N],（可能）当前遍历路径下的方案。 输出n个数的全排列 12345678910111213141516171819202122232425262728293031#include<iostream>using namespace std;const int N

这一系列源自西瓜书，目的是对机器学习全局有大概的把握，重点不在于数学推导的细节，而在于了解各个经典模型的核心思想与insight，形成一张自己的地图，企望日后按图索骥。 引言 机器学习是什么？从数据中学习，基于数据产生模型去预测未知数据 基本术语/假设 独立同分布：我们认为样本空间全体样本服从一个未知分布，我们获得的每一个样本都满足独立同分布，细细一想这一结果未必总是成立，样本之间高度共线性的情况

双链表 12345678910111213141516171819202122232425262728#include<iostream>using namespace std;const int N = 100010;int m;int e[N],l[N],r[N],idx;void insert(int k,int x) //第k个节点右边插入一个数{ e[idx

背包问题 01背包 https://www.acwing.com/problem/content/2/ dp的过程可以理解为一个全局状态更新的过程， - 1，状态函数，记f[i][j]为前i个物品放入容量为j的背包的最大价值。 - 2，观察边界情况写转态转移，当前背包容量为j，考虑？第i个物品能否放入？是否放入？ 若j<w[i],无法放入，则f[i][j]=f[i-1][j] 若j>

写作之前 写作流程 统计机器翻译 利⽤用句法对⻓长距离调序建模 将树到串对泛化为树到串模板 规则抽取，搜索算法 数据集、基线系统、评价指标 投稿ACL 也就是，确定方向 确定问题 确定思路 确定方法 实验验证 撰写论⽂ 选择课题 无论热门还是冷门，都要坚持下去，持之以恒 - ①填补研究空白（老问题） 重在创新 侧重和前人研究的不同与融合 - ②延伸现有研究（新问题） 追踪研究历史：建立在前一项

问题定义 凸优化问题 一般优化问题的描述： $$\begin{array}{lll}\min&f_0(x)\\\\s.t.&f_i(x)\leq0&i=1,\ldots,m\\\\&h_i(x)=0&i=1,\ldots,p\end{array}$$ 广义凸问题：凸目标，凸集约束 狭义凸问题： $$\begin{aligned}&\min\quad

仿射 仿射集(Affine Sets) 等价定义1: 若对集合C中的任意两点x1, x2,都有过x1, x2的直线也在C中，则称C为仿射集 即： ∀x1, x2 ∈ C, ∀θ ∈ R ⇒ y = θx1 + (1 − θ)x2 ∈ C. 等价定义2：设 x1, …, xk ∈ C, ∀θ1, …, θk ∈ R,且$\sum_{i=1}^k\theta_i=1$,有$\sum_{i=1}^k\t

凸函数的四种判别 第一定义 f是凸函数，当且仅当其定义域为凸集，且 ∀x, y ∈ S, ∀θ ∈ [0, 1], f(θx + (1 − θ)y) ≤ θf(x) + (1 − θ)f(y) 第二定义 domf 为凸,且 ∀x ∈ domf, ∀v, g(t) = f(x + tv) 为凸函数 几何意义是用一个超平面去截凸函数，截面一定也是凸函数 一阶条件 设f : Rn → R可微，则f为凸函