Xie (KDD’23) QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search¶

Open Domain PLM (pre-trained language models)¶

• Transfomer

• BERT

• SpanBERT[11] : NSPをやらずに、Spanという区切りを作ってSpanの両端のベクトルからスパン内のtokenを予測する

Domain Adaption PLMs¶

• FinBERT [1] : 金融テキストの大規模コーパスを用いて金融センチメント分類の精度を向上させた

• BERTweet [22] : Tweeter用bert

• COVID-Twitter-BERT [21] : covid関連のタスクでsota

Query Search¶

• クエリ検索のために、PROP [19]とB-PROP [20]は、クエリと文書をモデル化する事前学習段階で代表語予測タスクを導入

• さらに、言語モデルに地理情報を組み込むことで、モデルを地理に敏感にすることができる

  • 例えば、Baidu MapsのERNIE-GeoL[10]

  • ERNIE-GeoLは、全単語マスクとジオコーディング予測タスクで事前学習された言語モデルであり、地理的タスクのパフォーマンスを向上させる

• Point of Interest（POI）検索では、POI分布をシミュレートするグラフ埋め込みを学習するGeo-BERT[16]があるを

  • しかし、あらかじめ定義された単一の目的のために学習されるため検索ドメイン内の他のタスクに一般化することができないらしい (そこで、モデルの一般性を向上させるために、宿泊領域の検索に共通する特徴に基づいたカスタムタスクを提案する)

Geography-aware Mask Prediction (Geo-MP)¶

目的、モチベ

• 地理情報を認識できるようにすることを目的としている

• なぜなら、旅行ドメインの検索において、クエリのほとんどが地理情報を含んでいることが観察されるから

  • Fliggyアプリ(アリババが運営するオンライン旅行サービス)から1,000のクエリをランダムサンプリングし、内製の辞書によって地理情報を含んでいるか判定したところ、65%のクエリで含んでいた

手法

• クエリとそのクエリでクリックされたアイテム(のタイトル)を特殊トークン[SEP]で連結する

  • クエリは短いので事前学習には向かず、モデルの表現能力を弱めるリスクを高めるらしい (4.2.1に詳細)

  • クリックされたアイテムはクエリとマッチしていて、クエリの情報を補足するのに適している

• そこに含まれる地理フレーズを特定する (Alibaba製AliNLPを使ってNERを行い特定するらしい)

• そして3つのマスク戦略を適用して、MLMする

  • クエリとアイテムの両方に含まれる地理フレーズに対して、マスク確率を50%に設定 (両方マスクしてしまうのと過剰のなので一方がマスクされたらもう一方はマスクしない)

  • どちらか一方のみに現れる地理フレーズには30%のマスク確率を割り当てる

  • 残りのトークンについては、BERTと同様、15%をマスクする

Geohash Code Prediction (Geo-CP)¶

目的、モチベ

• Geo-MPに加えて地理情報を理解するためにGeo-CPを導入する

• 例えば、POI検索ランキングにおいて地理の理解は必要である

  • クエリが「Hangzhou tour」の場合、 Hangzhouにある有名なPOIであるWest-Lakeは想起されるべきである

  • しかし古典的なMLMでは意味レベルで地理を理解することができるが、地理的階層関係や距離関係を取られることができない

手法

ざっくりいうと、入力にある地域をジオハッシュ化して各Bitを当てる分類問題にする感じ

(例えば緯度経度=(57.64911,10.40744)ならu4pruydqqvj (11ビット))

• アイテム中のすべての地理フレーズの緯度と経度を特定からジオハッシュコードを得る(アイテムは業者から入稿されるので信頼度が高いため、アイテム内の地理のみを考慮する)

• 以下の処理を行い、ひとつのジオハッシュコードを作る

  • 地理フレーズが1つの場合: そのまま用いる

  • 地理フレーズが1つもない場合: Nビットすべてを特殊トークン*で埋める

  • 地理フレーズが複数ある場合: 先頭のビットから見ていき共通しているビットはそれらをそのまま用いる、残りは”*”で埋める

• 各ビットごとに、そのビットを当てる分類問題を解く (コード見た感じ、Bertのpooling output(CLSではなく)をLinear層(各ビットごとに用意)に入れてcross entropy lossを最適化)

User Click Behavior Learning (UCBL)¶

目的、モチベ

• 「package tour Hangzho」と「one-day tour of West Lake」というクエリは関連しており、どちらも西湖と霊隠寺の訪問を含む杭州のツアーというアイテムに関連しているが、文字面的に似ているわけではない

• 従来のMLMでは、この暗黙の関連性を捉えることができない

• それを解決したい

手法

• query \(q_i\) とそのクエリでクリックされたアイテム \(c_i\) , \(c_i\) がクリックされているtop Kのクエリ群 \(G\) が与えられる

• \(G\) からクエリをランダムに一つ選んで \(q^{\text{pos}}_i\) とし、\(q_i, q^{\text{pos}}_i\) をpositive pairとしてcontrastive learningする

• negative pairを同じbatch内のペア (in-batch negative)

Phrase and Token Order Prediction (PTOP)¶

目的、モチベ

• 以下のようなケースでクエリは揺れるが意図は変わらないので、揺れたクエリでも表現が近くなるように学習したい

  • ユーザーはフレーズ順序を入れ替えて検索してくる: 「package tour | Hangzhou」と「Hangzhou | package tour」

  • ユーザーはトークン順序を入れ替えて検索してくる: 「tour package | Hangzhou」　(ランダムに選んだ検索結果が悪かったケース5000件のうち、5.3%がトークン並び替えによるものだったとのこと)

手法 (phrase order prediction)

• 元のクエリが　「package tour | Hangzhou」としたとき、フレーズ順序をtokenごとにつけて (1, 1, 2)と定義する (どのようにフレーズ分割するかは記述がなかった)

• フレーズをランダムシャッフルしたときの結果が「Hangzhou | package tour」とするとこれのフレーズ順序は (2, 1, 1) になる

• そして、「Hangzhou | package tour」から(2, 1, 1)を当てる問題を解く (分類問題)

手法 (token order prediction)

• 元のクエリが　「package tour | Hangzhou」としたとき、トークン順序をtokenごとにつけて (1, 2, 1)と定義する (フレーズが変わるとリセットされて1に戻る)

• トークンをランダムシャッフルしたときの結果が「Hangzhou | tour package」とするとこれのフレーズ順序は (1, 2, 1) になる

• そして、「Hangzhou | tour package」から(1,2,1)を当てる問題を解く (分類問題)

Supervised results¶

• 提案法(QUERT)がSOTAとのこと

  • BERTと比較して平均2.02%向上

  • QIC(クエリ意図分類)で顕著な性能向上

• BERTq はクエリコーパスからのみ学習したらしく(具体的な記述なし)、素のBERTよりも性能が悪い→クエリのみコーパスでは表現学習がうまく行かず、テキスト理解能力が弱まった、と主張

• BERTq+cだとBERTより改善しており、クリックされたアイテムがクエリ理解を深めるのに適しているという著者らの推測を妥当なものであることの裏付けとなっている、と主張

Unsupervised results¶

• 圧倒的に勝てる (そりゃそうでしょう)

Ablation Studies¶

• どのタスクを抜いても性能低下

• Geo-MPを抜くとすべてのタスクで性能低下

• UCBLは文レベルのタスク（QICとQDM）で需要な役割を果たしている

• PTOPを抜くとQEDのF1スコア（86.99%）が元の BERT（88.35%）よりも低くなっている

  • PTOP以外のタスクによって論理的バイアスが生まれてしまったのを是正していると主張

Few-shot Learning¶

• Downstream Taskの教師データ数がすくないと顕著に差がでる (もっと教師データ数あればBERTと差が出ないのではと思った)

TASK 1: Geo-MP¶

• 地理フレーズをマスクして、マスクしたところを当てた結果

• BERTはぜんぜん当てられないが、+Geo-MPは当たられるか、正解に近いものを出している

TASK 2: Geo-CP¶

• 10のメージャー都市からそれぞれ500の人気POIを選択肢し、embedding化しt-SNEで可視化したもの

• BERTはぜんぜんまとまりがないが、+Geo-CPはきれいに分けられている

TASK 3: UCBL¶

• \(q_i, q^{\text{pos}}_i\) のcos類似度を取ったところ (ランダム500ペア)、BERTは0.7758, BERT+UCBLは0.8278

TASK 4: PTOP¶

• トークンの順序が入れ替わっているかどうかを判定した結果