NVIDIA
中小網大
The Transforming AI panel from GTC 2024 features the authors of “Attention Is All You Need," the groundbreaking paper that introduced the transformer neural network architecture. Transformers have since dominated all areas of AI, revolutionizing the industry.
章節一：計算典範轉移與 AI 工廠的興起 － 探討從傳統電腦架構（如 1964 年 IBM System 360）到加速計算（Accelerated Computing）與生成式 AI（Generative AI）作為新型態工廠的演進。
章節二：Attention Is All You Need 的誕生與命名由來 － Transformer 團隊回顧當時為解決機器翻譯（Machine Translation）及 RNN/LSTM 訓練痛點而設計自注意力機制（Self-Attention）的過程與命名趣事。
章節三：模型的架構演進與資料瓶頸（Data Bottleneck） － 討論目前 Transformer 模型過度依賴大數據的現況、合成資料（Synthetic Data）、推理階段計算（Reasoning-time compute）與高品質資料的重要性。
章節四：Transformer 創始成員的創業與未來展望 － 八位作者分享各自在生物科技（Inceptive）、去中心化網路（Near Protocol）、企業級 LLM（Cohere）、Character.AI 及 Sakana AI 等領域的創業實踐與對下一代 AI（如 SSM、循環架構）的看法。
能分析不同深度學習模型（RNN vs. Transformer vs. SSM）的優缺點與算力消耗。理解大模型訓練中的資料質量、推理計算（Reasoning）與合成資料的應用趨勢。
活動詳情：https://smelearning.sme.gov.tw/news.php?node=840