效果对比 Performance Comparison
以下分数应视为paired score,也就是说分数是一个相对值,而不是绝对值,是多个系统相比较得到的结果。详细结果见相应目录。
q4_7b-13b:对比了4-bit量化版的Alpaca-7B和13B
|
样例数 |
中文Alpaca-7B |
中文Alpaca-13B |
| 💯总平均分 |
160 |
49 |
👍🏻71 |
q8_7b-13b-p7b:对比了8-bit量化版的Alpaca-7B、13B、Plus-7B
|
样例数 |
中文Alpaca-7B |
中文Alpaca-13B |
中文Alpaca-Plus-7B |
| 💯总平均分 |
200 |
65.3 |
70.9 |
👍🏻75.3 |
q8_13b-p7b-p13b:对比了8-bit量化版的Alpaca-13B、Plus-7B、Plus-13B
|
样例数 |
Alpaca-13B |
Alpaca-Plus-7B |
Alpaca-Plus-13B |
| 💯总平均分 |
200 |
74.3 |
78.2 |
👍🏻80.8 |
f16_p7b-p13b-33b:对比了8-bit量化版的Alpaca-Plus-7B、Plus-13B和F16的33B
|
样例数 |
Alpaca-Plus-7B |
Alpaca-Plus-13B |
Alpaca-33B |
| 💯总平均分 |
200 |
75.3 |
79.4 |
👍🏻82.0 |