0%

Bert以及之後的論文,都會在資料上玩各種花樣,使得self-supervised learning學到的representation更加強大
Hinton的SimCLR以及後續的論文提供了一個新的方向 - 直接在representation上動手,用不同的方法加噪聲
最終學到的representation也是十分強大,無監督模型還可以接近有監督模型的結果!
這或許預示了self-supervised learning的新方向!

SimCLR - A Simple Framework for Contrastive Learning of Visual Representations
SimCLRv2 - Big Self-Supervised Models are Strong Semi-Supervised Learners
BYOL - Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
本文會從以上三篇論文出發,介紹下最近self-supervise learning的一個新方向。

Read more »

前言
這個系列將會介紹最近研討會的成果,大量地介紹論文,看看他們在解決甚麼問題,有什麼新奇的方法,結果如何。
本篇會介紹以下的論文:
Dice Loss for Data-imbalanced NLP Tasks
Improved Natural Language Generation via Loss Truncation
A Simple, Fast Diverse Decoding Algorithm for Neural Generation

Read more »

前言
這個系列將會介紹最近研討會的成果,大量地介紹論文,看看他們在解決甚麼問題,有什麼新奇的方法,結果如何。
本篇會介紹以下的論文:
A Unified MRC Framework for Named Entity Recognition
DeFormer: Decomposing Pre-traicned Transformers for Faster Question Answering
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
Improving Truthfulness of Headline Generation
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization
FastBERT: a Self-distilling BERT with Adaptive Inference Time
DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
The Right Tool for the Job: Matching Model and Instance Complexities

Read more »

事因小弟找不到實習,看來最近工作難找,該發展一下副業賺點錢了
恰好在GITHUB裡面看到一個做周公解夢的Repo,輸入夢境,然後用文本生成的方式輸出其中的預兆。
說起來,AI + 玄學 = 負負得正!!!!這件事情十分合理
我就做一個albert解夢,然後在夜市找個位置,擺個攤位,價格低廉,說不定就年收百萬了(誤)

Read more »

transformer架構的模型最近在大放異彩,我們都想將不同的資料集和任務都換到transformer來試看看有什麼突破。麻煩在,嘗試不同的資料集和任務免不得有不少重複的操作,現在huggingface project過於臃腫,難以靈活地換到不同的資料集上。
我們換個想法,將其中的部件拆分,變成幾個主要的部件各司其職。主要是希望降低耦合性,讓我們可以專注解決每一個階段的問題,同時也更好維護。這也是打造這樣一套nlp訓練工具的原因。
一個完整的機器學習project,基本上都是 預處理 - 訓練 -預測 這樣的步驟。
按照這樣的想法,這一套nlp工具包也會如此: