rwkv6-mlm-base

This is a RWKV6 architecture MLM model . The architect looks like:

Currently it's only trained with 9% of CCIA2 corpus which makes it biased to web crawled Chinese data.

Try to use it via https://github.com/yynil/rwkv_lm_ext_runner/blob/main/tests/test_mlm.py

The result looks like:

texts = ['法国的首都在[MASK]。',
             '[MASK]首都在北京。',
             '生活的真谛是[MASK]。',
             '在二战中，阿道夫·希特勒是[MASK]。',
             '1949年十月一号，发生了一件大事，那就是中华人民共和国[MASK]。',
             '原子核的行星模型，现在普遍认为是[MASK]。',
             '根据量子场论，质量来自[MASK]的作用。',
             '雨后，彩虹出现在天边，小美陶醉地说："真[MASK]啊!"',]

法国的首都在巴黎。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop>  prob is  0.6197544932365417  cum_prob is  0.6197544932365417
中国首都在北京。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop>  prob is  0.08540000021457672  cum_prob is  0.08540000021457672
生活的真谛是快乐。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop> <eop>  prob is  0.12731894850730896  cum_prob is  0.12731894850730896
在二战中，阿道夫·希特勒是领导者。 <|endoftext|> <eop> <eop> <eop> <eop>  prob is  0.07036320120096207  cum_prob is  0.07036320120096207
1949年十月一号，发生了一件大事，那就是中华人民共和国成立。 <|endoftext|> <eop> <eop>  prob is  0.7657460570335388  cum_prob is  0.7657460570335388
原子核的行星模型，现在普遍认为是行星。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop>  prob is  0.043744392693042755  cum_prob is  0.043744392693042755
根据量子场论，质量来自质量的作用。 <|endoftext|> <eop> <eop> <eop> <eop> <eop> <eop> <eop>  prob is  0.19818857312202454  cum_prob is  0.19818857312202454
雨后，彩虹出现在天边，小美陶醉地说："真美啊!" <|endoftext|>  prob is  0.5407435297966003  cum_prob is  0.5407435297966003