0%

最近這段時間,新出了不少很強大的NLP模型,比如elmo bert gpt xlnet什麼的
這些模型刷著各種榜單,萬用又強大
但當你跑去實作,就會悲慘地將batch size越調越小。也感慨自己3GB的1060實在是雞肋,硬件資源不足之下,可以說是與這些酷炫模型緣分不足。
其實在資源的限制下,我們還有不少的方法也可以達到不錯的效果,比如之前很熱門的Word2Vec

Read more »

Bert出來好一段時間,使用過程中或多或少會有一些疑問:

  • 如果不做finetune而是傳統的方法會怎麼樣?
  • 只拿最後一層真的是最好的選擇嗎?
  • bert在中文上怎麼樣可以做到更好?
  • 超過512個字應該怎麼樣處理?
  • bert可以做文本生成嗎?
  • Bert做多任務?
  • Bert可以用在什麽Task上面呢?
  • MaskLM和NextSentencePrediction兩種訓練方式應該怎麼關聯到我們的任務上?

在此希望對這些問題探討看看~

Read more »

Real-time Personalization using Embeddings for Search Ranking at Airbnb
2018 KDD Best Paper

試想一下,我們在Airbnb上要預定房間,通常結果都是眼花繚亂,一個個點擊查看會花費大量時間成本。
爲了減少查找的麻煩,點選了一個房源後,提供相關的推薦,如 :
當前選擇的房源 : 30塊的海景房。
推薦列表可以有 其他便宜的海景房,或者 海景很好的中價位房。
推薦列表越貼合我的喜好,能讓我越快找到自己想要的房源。

Read more »