YixuanWeng
commited on
Commit
•
ad43131
1
Parent(s):
6b37856
Update README.md
Browse files
README.md
CHANGED
|
@@ -7,6 +7,8 @@
|
|
| 7 |
| 预训练模型 | 学习率 | batchsize | 设备 | 语料库 | 时间 | 优化器 |
|
| 8 |
| --------------------- | ------ | --------- | ------ | ------ | ---- | ------ |
|
| 9 |
| CirBERTa-Chinese-Base | 1e-5 | 256 | 10张3090+3张A100 | 200G | 2月 | AdamW |
|
|
|
|
|
|
|
| 10 |
使用通用语料（WuDao 200G) 进行无监督预训练
|
| 11 |
在多项中文理解任务上，CirBERTa-Base模型超过MacBERT-Chinese-Large/RoBERTa-Chinese-Large
|
| 12 |
|
|
|
|
| 7 |
| 预训练模型 | 学习率 | batchsize | 设备 | 语料库 | 时间 | 优化器 |
|
| 8 |
| --------------------- | ------ | --------- | ------ | ------ | ---- | ------ |
|
| 9 |
| CirBERTa-Chinese-Base | 1e-5 | 256 | 10张3090+3张A100 | 200G | 2月 | AdamW |
|
| 10 |
+
|
| 11 |
+
|
| 12 |
使用通用语料（WuDao 200G) 进行无监督预训练
|
| 13 |
在多项中文理解任务上，CirBERTa-Base模型超过MacBERT-Chinese-Large/RoBERTa-Chinese-Large
|
| 14 |
|