textcnn/
├── deploy # 部署
│   └── python
│       └── predict.py # python预测部署示例
├── data.py # 数据处理脚本
├── export_model.py # 动态图参数导出静态图参数脚本
├── model.py # 模型组网脚本
├── predict.py # 模型预测脚本
├── README.md # 文档说明
└── train.py # 对话情绪识别任务训练脚本

数据准备

这里我们提供一份已标注的机器人聊天数据集，包括训练集（train.tsv），开发集（dev.tsv）和测试集（test.tsv）。完整数据集可以通过以下命令下载并解压：

wget https://bj.bcebos.com/paddlenlp/datasets/RobotChat.tar.gz
tar xvf RobotChat.tar.gz

词表下载

在模型训练之前，需要先下载词汇表文件 word_dict.txt，用于构造词-id 映射关系。

wget https://bj.bcebos.com/paddlenlp/robot_chat_word_dict.txt

NOTE: 词表的选择和实际应用数据相关，需根据实际数据选择词表。

预训练模型下载

这里我们提供了一个百度基于海量数据训练好的 TextCNN 模型，用户通过以下方式下载预训练模型。

wget https://bj.bcebos.com/paddlenlp/models/textcnn.pdparams

模型训练

在下载好词表和预训练模型后就可以在机器人聊天数据集上进行 finetune，通过运行以下命令，在训练集（train.tsv）上进行模型训练，并在开发集（dev.tsv）验证，这里通过--init_from_ckpt=./textcnn.pdparams指定 TextCNN 预训练模型。

CPU 启动：

python train.py --vocab_path=./robot_chat_word_dict.txt \
    --init_from_ckpt=./textcnn.pdparams \
    --device=cpu \
    --lr=5e-5 \
    --batch_size=64 \
    --epochs=10 \
    --save_dir=./checkpoints \
    --data_path=./RobotChat

GPU 启动：

unset CUDA_VISIBLE_DEVICES
python -m paddle.distributed.launch --gpus "0" train.py \
    --vocab_path=./robot_chat_word_dict.txt \
    --init_from_ckpt=./textcnn.pdparams \
    --device=gpu \
    --lr=5e-5 \
    --batch_size=64 \
    --epochs=10 \
    --save_dir=./checkpoints \
    --data_path=./RobotChat

XPU 启动：

python train.py --vocab_path=./robot_chat_word_dict.txt \
    --init_from_ckpt=./textcnn.pdparams \
    --device=xpu \
    --lr=5e-5 \
    --batch_size=64 \
    --epochs=10 \
    --save_dir=./checkpoints \
    --data_path=./RobotChat

以上参数表示：

vocab_path: 词汇表文件路径。
init_from_ckpt: 恢复模型训练的断点路径。
device: 选用什么设备进行训练，可选 cpu、gpu 或 xpu。如使用 gpu 训练则参数 gpus 指定 GPU 卡号。
lr: 学习率，默认为5e-5。
batch_size: 运行一个 batch 大小，默认为64。
epochs: 训练轮次，默认为10。
save_dir: 训练保存模型的文件路径。
data_path: 数据集文件路径。

程序运行时将会自动进行训练，评估，测试。同时训练过程中会自动保存模型在指定的save_dir中。如：

checkpoints/
├── 0.pdopt
├── 0.pdparams
├── 1.pdopt
├── 1.pdparams
├── ...
└── final.pdparams

NOTE:

如需恢复模型训练，则 init_from_ckpt 只需指定到文件名即可，不需要添加文件尾缀。如--init_from_ckpt=checkpoints/0即可，程序会自动加载模型参数checkpoints/0.pdparams，也会自动加载优化器状态checkpoints/0.pdopt。
使用动态图训练结束之后，还可以将动态图参数导出成静态图参数，具体代码见 export_model.py。静态图参数保存在output_path指定路径中。运行方式：

python export_model.py --vocab_path=./robot_chat_word_dict.txt --params_path=./checkpoints/final.pdparams --output_path=./static_graph_params

其中params_path是指动态图训练保存的参数路径，output_path是指静态图参数导出路径。

导出模型之后，可以用于部署，deploy/python/predict.py 文件提供了 python 部署预测示例。运行方式：开启 PIR 机制(3.0.0默认)：

python deploy/python/predict.py --model_file=static_graph_params.json --params_file=static_graph_params.pdiparams

未开启 PIR：

python deploy/python/predict.py --model_file=static_graph_params.pdmodel --params_file=static_graph_params.pdiparams

模型预测

启动预测：

CPU 启动：

python predict.py --vocab_path=./robot_chat_word_dict.txt \
    --device=cpu \
    --params_path=./checkpoints/final.pdparams

GPU 启动：

export CUDA_VISIBLE_DEVICES=0
python predict.py --vocab_path=./robot_chat_word_dict.txt \
    --device=gpu \
    --params_path=./checkpoints/final.pdparams

XPU 启动：

python predict.py --vocab_path=./robot_chat_word_dict.txt \
    --device=xpu \
    --params_path=./checkpoints/final.pdparams

待预测数据如以下示例：

你再骂我我真的不跟你聊了
你看看我附近有什么好吃的
我喜欢画画也喜欢唱歌

经过preprocess_prediction_data函数处理后，调用predict函数即可输出预测结果。

如

Data: 你再骂我我真的不跟你聊了    Label: negative
Data: 你看看我附近有什么好吃的   Label: neutral
Data: 我喜欢画画也喜欢唱歌       Label: positive

Reference

TextCNN 参考论文：

EMNLP2014-Convolutional Neural Networks for Sentence Classification

README.md Unescape Escape

使用 TextCNN 模型完成中文对话情绪识别任务

快速开始

代码结构说明