10 月 2 日消息，去年刚成立的 Liquid AI 公司于 9 月 30 日发布了三款 Liquid 基础模型（Liquid Foundation Models，LFM），分别为 LFM-1.3B … Continue reading 非 Transformer 架构 AI 模型 Liquid 问世，号称性能“凌驾 Meta Llama / 微软 Phi”
非 Transformer 架构 AI 模型 Liquid 问世，号称性能“凌驾 Meta Llama / 微软 Phi”
标签： Transformer
革命新架构掀翻 Transformer：无限上下文处理，2 万亿 token 碾压 Llama 2
Transformer 王座即将被取而代之！Meta、USC、CMU 和 UCSD 联合提出了革命性新架构 Megalodon，能够处理无限上下文，在 2 万亿 token 训练任务中，性能超越 Ll … Continue reading 革命新架构掀翻 Transformer：无限上下文处理，2 万亿 token 碾压 Llama 2
华为改进 Transformer 架构：盘古-π 解决特征缺陷问题，同规模性能超 LLaMA
华为盘古系列，带来架构层面上新！华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。 它通过增强非线性，在传统 Transformer 架构上做出改进，由此可以显著降低特征塌陷问题。带来的直接效 … Continue reading 华为改进 Transformer 架构：盘古-π 解决特征缺陷问题，同规模性能超 LLaMA
论文浅尝 | 异构图 Transformer
笔记整理：许泽众，浙江大学博士在读 论文链接：https://arxiv.org/abs/2003.01332 本文主要提出一种处理异构图的方法， … Continue reading 论文浅尝 | 异构图 Transformer
扩散模型和 Transformer 梦幻联动，一举拿下新 SOTA，MILA 博士：U-Net 已死
“U-Net 已死，Transformer 成为扩散模型新 SOTA 了！” 就在 ChatGPT 占尽 AI 圈风头时，纽约大学谢赛宁的图像生成模型新论文横空出世，收获一众同行惊讶的声音。 △MIL … Continue reading 扩散模型和 Transformer 梦幻联动，一举拿下新 SOTA，MILA 博士：U-Net 已死
Transformer 作者出走谷歌创业，专攻通用人工智能，已获得 6500 万美元投资
最近，一家 AI 初创公司引起了不少人的注意。在推特上宣布成立之时，有不少人为其点赞和转发。 一上来就要搞通用人工智能，什么来头？我们看了一下它的创始人名单： Ashish Vaswani 和 Nik … Continue reading Transformer 作者出走谷歌创业，专攻通用人工智能，已获得 6500 万美元投资