# Ubiquant 字符猎手决赛方案

## 一、模型架构

### 1. 字符识别模型
- 基础网络：ResNet（训练过resnet18, resnet34, resnet50，最终采用resnet18）
- 开放集识别：OpenMax 
- 特点：能够有效处理未知类别的字符识别问题
  
### 2. 模型训练
- 使用字符识别数据集进行训练
- 使用交叉熵损失函数进行训练 （考虑加上triplet loss来调整类内和类间间距，但收敛效果不好）
- 使用AdamW优化器进行优化
- 基于验证集的准确率进行模型选择
- 设置了alpha, tailsize, threshold等超参数的搜索，采用网格搜索

## 二、字符收集策略

### 1. 基本定义
- 智能体需拾取144个物体，构成可定义所有网格拾取顺序的集合为动作空间：
- A = {a} = {< (x₀,y₀), (x₁,y₁), ... (x₁₄₄,y₁₄₄) > : xᵢ ≠ xⱼ, yᵢ ≠ yⱼ, i,j ≥ 1}
- 其中(x₀,y₀)为智能体初始位置
- 根据组合定理，动作空间的元素个数为：Card(A) = 144!

### 2. 基于广义成本的轨迹评估
计算成本包含两个部分：
1. 执行成本(PC)：
   ```
   PC = 144 + ∑ᵢ₌₀¹⁴³‖(xᵢ₊₁ - xᵢ, yᵢ₊₁ - yᵢ)‖₁
   ```

2. 存储成本(SC)：
   ```
   SC = ∑ₑₗᵢₘ₍ᵢ₎₌Fₐₗₛₑ[∑ᵢ‖(xᵢ₊₁ - xᵢ, yᵢ₊₁ - yᵢ)‖₁] - 4
      · ∑ₑₗᵢₘ₍ᵢ₎₌Tᵣᵤₑ[∑ᵢ‖(xᵢ₊₁ - xᵢ, yᵢ₊₁ - yᵢ)‖₁]
   ```

3. 广义成本：
   ```
   C = PC/10 + SC/144
   ```

4. 累计奖励：
   ```
   reward_cum = 136 - C
   ```

### 3. 初始次优轨迹生成
- 每收集4个相同物品，就能发生消除并获得奖励
- 采用一种次优选择方法生成初始轨迹
- 按照物品类别统计网格位置
- 然后随机取一批4个同类网格
- 按照最小化广义成本的原则添加到已有轨迹中

### 4. 随机扰动轨迹优化
- 考虑先添加的网格对后续网格的影响
- 初始轨迹是次优的，需要进一步优化
- 采用随机扰动：每次从轨迹中随机选出一个网格
- 按照最小化广义成本重新插入
- 重复1000次

### 5. 随机重启轨迹集成
- 随机扰动轨迹优化能改善局部轨迹，但无法进行全局优化
- 选择200种初始轨迹批次选择顺序
- 生成200条优化轨迹
- 从中选择最优轨迹

### 6. 调优策略
1. 参数调优
   - 调整随机扰动次数
   - 优化轨迹集成数量
   - 微调广义成本中PC和SC的权重

2. 策略改进
   - 优化初始轨迹生成算法
   - 改进随机扰动方式
   - 设计更好的评估函数