一、 LightGBM简介

LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。

LightGBM在很多方面会比XGBoost表现的更为优秀。它有以下优势：

• 更快的训练效率
• 低内存使用
• 更高的准确率
• 支持并行化学习
• 可处理大规模数据
• 支持直接使用category特征

Python基础

1、列出 5 个常用 Python 标准库？

1
2
3
4
5
6
7
8

import os                  # 操作系统接口  示例：os.system('ls')
import sys                 # 命令行参数    示例：sys.path
import re                  # 正则模块      示例：re.match('www', 'www.zhihu.com')
import math                # 数学模块      示例：math.cos(math.pi / 3)
import time                # 日期模块      示例：time.sleep(3)
import random              # 随机数模块    示例：random.random()
import threading           # 线程模块      示例：threading.Thread(target=lambda a, b:a.append(b), args=([1, 2], 3))
import multiprocessing     # 进程模块      示例：multiprocessing.Process(target=method, args=([1, 2], 3))   # pickle模块不能序列化lambda，需要自定义函数

Transformer简介

Transformer结构来源于谷歌2017年的论文《Attention is All You Need》,它的出现引发了BERT系列模型不断刷新NLP领域SOTA的壮举，包括BERT、RoBERTa、ALBERT、SpanBERT、DistilBERT、SesameBERT、SemBERT、MobileBERT、TinyBERT 和 CamemBERT等等都是基于Transformer和其自注意力self-Attention展开的工作。

Transformer的网络架构由且仅由self-Attenion和Feed Forward Neural Network组成，没有用到传统的CNN或者RNN，一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建。正因如此，Transformer成为继CNN和RNN之后又一个高效的特征提取器。

什么是小样本学习？

人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。

小样本学习本质上属于迁移学习的一个领域，我们能通过少量图片就能认识一个新的物种，本质上是因为人类的大脑中有大量的先验知识存在。

Few-shot Learning 是 Meta Learning（元学习）在监督学习领域的应用。Meta Learning，又称为 learning to learn，在 meta training 阶段将数据集分解为不同的 meta task，去学习类别变化的情况下模型的泛化能力，面对全新的类别，不需要变动已有的模型结构就可以完成新类别的分类。

112. 路径总和

给定一个二叉树和一个目标和，判断该树中是否存在根节点到叶子节点的路径，这条路径上所有节点值相加等于目标和。

说明: 叶子节点是指没有子节点的节点。

示例:
给定如下二叉树，以及目标和sum = 22，

1
2
3
4
5
6
7

      5
     / \
    4   8
   /   / \
  11  13  4
 /  \      \
7    2      1

一般公式分为两种形式，行内公式和行间公式。

行内公式：$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt,$
行间公式：
$$\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt,.$$

目前目标检测领域的深度学习方法主要分为两类：Two Stage的目标检测算法和One Stage的目标检测算法。

• 前者是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类；
• 后者则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理。
• 正是由于两种方法的差异，在性能上也有不同，前者在检测准确率和定位精度上占优，后者在算法速度上占优。

在树的优先遍历中（包括前序、中序、后序遍历），递归方法最为直观易懂，但考虑到效率，我们通常不推荐使用递归。

栈迭代方法虽然提高了效率，但其嵌套循环却非常烧脑，不易理解，容易造成“一看就懂，一写就废”的窘况。而且对于不同的遍历顺序（前序、中序、后序），循环结构差异很大，更增加了记忆负担。

因此，我在这里介绍一种“颜色标记法”，兼具栈迭代方法的高效，又像递归方法一样简洁易懂，更重要的是，这种方法对于前序、中序、后序遍历，能够写出完全一致的代码。

其核心思想如下：

• 使用颜色标记节点的状态，新节点为白色，已访问的节点为灰色。
• 如果遇到的节点为白色，则将其标记为灰色，然后将其右子节点、自身、左子节点依次入栈。
• 如果遇到的节点为灰色，则将节点的值输出。

NLP中的预训练技术发展史

从图像领域的预训练说起

自从深度学习火起来后，从预训练模型进行迁移学习就是做图像或者视频领域的一种高效又常规的做法。

那么图像领域怎么做预训练呢？

• 对于图像来说一般是CNN的多层叠加网络结构，可以先用某个训练集合比如训练集合A或者训练集合B对这个网络进行预先训练，在A任务上或者B任务上学会网络参数，然后存起来以备后用。
• 假设我们面临第三个任务C，网络结构采取相同的网络结构，在比较浅的几层CNN结构，网络参数初始化的时候可以加载A任务或者B任务学习好的参数，其它CNN高层参数仍然随机初始化。
• 之后我们用C任务的训练数据来训练网络，此时有两种做法:
  • 一种是浅层加载的参数在训练C任务过程中不动，这种方法被称为“Frozen”;
  • 另外一种是底层网络参数尽管被初始化了，在C任务训练过程中仍然随着训练的进程不断改变，这种一般叫“Fine-Tuning”，顾名思义，就是更好地把参数进行调整使得更适应当前的C任务。一般图像或者视频领域要做预训练一般都这么做。