wehub-resource-sync效果对比 Performance Comparison
以下分数应视为paired score，也就是说分数是一个相对值，而不是绝对值，是多个系统相比较得到的结果。详细结果见相应目录。
q4_7b-13b：对比了4-bit量化版的Alpaca-7B和13B
| 样例数 | 中文Alpaca-7B | 中文Alpaca-13B | |
|---|---|---|---|
| 💯总平均分 | 160 | 49 | 👍🏻71 |
q8_7b-13b-p7b：对比了8-bit量化版的Alpaca-7B、13B、Plus-7B
| 样例数 | 中文Alpaca-7B | 中文Alpaca-13B | 中文Alpaca-Plus-7B | |
|---|---|---|---|---|
| 💯总平均分 | 200 | 65.3 | 70.9 | 👍🏻75.3 |
q8_13b-p7b-p13b：对比了8-bit量化版的Alpaca-13B、Plus-7B、Plus-13B
| 样例数 | Alpaca-13B | Alpaca-Plus-7B | Alpaca-Plus-13B | |
|---|---|---|---|---|
| 💯总平均分 | 200 | 74.3 | 78.2 | 👍🏻80.8 |
f16_p7b-p13b-33b：对比了8-bit量化版的Alpaca-Plus-7B、Plus-13B和F16的33B
| 样例数 | Alpaca-Plus-7B | Alpaca-Plus-13B | Alpaca-33B | |
|---|---|---|---|---|
| 💯总平均分 | 200 | 75.3 | 79.4 | 👍🏻82.0 |