Transformer结构用于大模型的优点

发布时间:2024-02-22  栏目:LLM, 人工智能  评论:0 Comments

  • 有长短期依赖(attention机制)
  • 每个单元相当于一个小模型,方便排列组合
  • 输入输出可变长度

留下评论

You must be logged in to post a comment.

相册集

pix pix pix pix pix pix

关于自己

杨文龙,微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位,热爱创新发明,专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域,目前发明有国际专利19篇,中国专利28篇。

联系我

个人技术笔记

welonshen@gmail.com

2015 in Shanghai