| # | 2023年7月 | 2023年7月8日 |
|---|---|---|
| 1 | h2ogpt | H2O公司开源的一个类似ChatGPT的应用。是基于EleutherAI发布的GPT-NeoX-20b模型微调的结果。使用的是H2O自己收集的数据集。 h2oGPT的最大特点是具有完全宽松、商业可用的代码、数据和模型。官引介绍：建立在大型语言模型(LLM)如GPT-4上的应用程序代表了AI的革命，因为它们在自然语言处理方面具有人类水平的能力。然而，它们也面临着许多重要风险，例如存在偏见、隐私或有害文本，以及未经授权的包含版权材料。我们介绍了h2oGPT，一个基于生成预训练Transformer(GPT)的开源代码仓库套件，用于创建和使用LLM。该项目的目标是创造世界最好的真正开源替代品，以与难以置信且不可阻挡的开源社区协作，我们开源了从7亿参数到400亿参数的多个优化过的h2oGPT模型，已完全开放Apache 2.0许可证下的商业使用。在我们发布的其中包含100%自然语言私人文档搜索。开源语言模型有助于推动AI发展，使其更加容易可得且可信。它们降低入门门槛，使个人和组织能够根据需求定制这些模型。这种开放性增加了创新、透明度和公平性。 |
| 2 | unilm | 既能理解又能生成自然语言，微软提出的统一预训练新模型UniLM（Unified Language Model ）。UNILM是一个多层的Transformer网络，在大量的文本上进行预训练，优化了三种类型的无监督语言建模目标 |
