wehub-resource-sync
28 lines
1.4 KiB
Markdown
28 lines
1.4 KiB
Markdown
# 效果对比 Performance Comparison
|
|
|
|
以下分数应视为paired score，也就是说分数是一个相对值，而不是绝对值，是多个系统相比较得到的结果。详细结果见相应目录。
|
|
|
|
### q4_7b-13b：对比了4-bit量化版的Alpaca-7B和13B
|
|
|
|
| | 样例数 | 中文Alpaca-7B | 中文Alpaca-13B |
|
|
| ------------- | :----: | :-----------: | :------------: |
|
|
| **💯总平均分** | 160 | **49** | **👍🏻71** |
|
|
|
|
### q8_7b-13b-p7b：对比了8-bit量化版的Alpaca-7B、13B、Plus-7B
|
|
|
|
| | 样例数 | 中文Alpaca-7B | 中文Alpaca-13B | 中文Alpaca-Plus-7B |
|
|
| ------------- | :----: | :-----------: | :------------: | :----------------: |
|
|
| **💯总平均分** | 200 | 65.3 | 70.9 | **👍🏻75.3** |
|
|
|
|
### q8_13b-p7b-p13b：对比了8-bit量化版的Alpaca-13B、Plus-7B、Plus-13B
|
|
|
|
| | 样例数 | Alpaca-13B | Alpaca-Plus-7B | Alpaca-Plus-13B |
|
|
| ------------- | :----: | :--------: | :------------: | :-------------: |
|
|
| **💯总平均分** | 200 | 74.3 | 78.2 | **👍🏻80.8** |
|
|
|
|
### f16_p7b-p13b-33b：对比了8-bit量化版的Alpaca-Plus-7B、Plus-13B和F16的33B
|
|
|
|
| | 样例数 | Alpaca-Plus-7B | Alpaca-Plus-13B | Alpaca-33B |
|
|
| ------------- | :----: | :------------: | :-------------: | :--------: |
|
|
| **💯总平均分** | 200 | 75.3 | 79.4 | **👍🏻82.0** |
|