發布日志記錄、公開所有代碼，Meta開放1750億參數大模型，媲美GPT-3

Sepp Hochreiter 是一名德國計算機科學家。 1991 年，Sepp Hochreiter 發表了德語論文，探討了循環神經網絡的梯度隨著序列長度增加傾向于消失或爆炸。與 Yoshua Bengio 的相關工作幾乎同時，并且開發了 LSTM 的雛形。

在學術研究領域，人工智能通常指能夠感知周圍環境并采取行動以實現最優的可能結果的智能體（intelligent agent）

在數學和統計學裡，參數（英語：parameter）是使用通用變量來建立函數和變量之間關系（當這種關系很難用方程來闡述時）的一個數量。

張量是一個可用來表示在一些矢量、標量和其他張量之間的線性關系的多線性函數，這些線性關系的基本例子有內積、外積、線性映射以及笛卡兒積。其坐標在 維空間內，有 個分量的一種量，其中每個分量都是坐標的函數，而在坐標變換時，這些分量也依照某些規則作線性變換。稱為該張量的秩或階（與矩陣的秩和階均無關系）。 在數學里，張量是一種幾何實體，或者說廣義上的“數量”。張量概念包括標量、矢量和線性算子。張量可以用坐標系統來表達，記作標量的數組，但它是定義為“不依賴于參照系的選擇的”。張量在物理和工程學中很重要。例如在擴散張量成像中，表達器官對于水的在各個方向的微分透性的張量可以用來產生大腦的掃描圖。工程上最重要的例子可能就是應力張量和應變張量了，它們都是二階張量，對于一般線性材料他們之間的關系由一個四階彈性張量來決定。

自然語言處理（英語：natural language processing，縮寫作 NLP）是人工智能和語言學領域的分支學科。此領域探討如何處理及運用自然語言；自然語言認知則是指讓電腦“懂”人類的語言。自然語言生成系統把計算機數據轉化為自然語言。自然語言理解系統把自然語言轉化為計算機程序更易于處理的形式。