EX3: Explainable Attribute-aware Item-set Recommendations

実験 オフラインテスト Top-N Recommendation Performance (Expect-Step) Model Robustness to Missing Attributes オンラインテスト 論文: https://dl.acm.org/doi/10.1145/3460231.3474240 論文(Amazon scienceの方):EX³: Explainable attribute-aware…

SimCSE: Simple Contrastive Learning of Sentence Embeddings

目次 概要 提案手法 Unsupervised SimCSE Supervised SimCSE 評価結果 他手法との比較 Alignment and uniformity Unsupervised SimeCSEの検証 data augmentationの手法としての比較 dropout確率による精度の変化 Supervised SimeCSEの検証 Supervised SimCSE…

Injecting Numerical Reasoning Skills into Language Models を読んだ

目次 概要 提案手法の内容 Digit Tokenization(DT) Random Shift(RS) pre-training用のNumerical Data (ND)の生成 pre-training用のTextual Data (TD)の生成 追加pre-trainingの方法 数値実験 ND・TDによる追加pre-trainの効果 Digit Tokenizationの効果 言…

pythonのテストでmockを使う

pytest 固定値を返却させたい場合 特定の値を順番に返却させたい場合 pytest 固定値を返却させたい場合 mockerを使う場合はpytest-mockをインストールしておく必要がある import numpy as np def get_rand(): return np.random.randint(0, 100) def test_ran…

BERT-based similarity learning for product matchingを読んだ

概要 COLING2020に採択BERT-based similarity learning for product matching - ACL Anthology 著者 Janusz Tracz (ML Research at Allegro.pl) Piotr Wojcik (ML Research at Allegro.pl) Kalina Jasinska-Kobus (ML Research at Allegro.pl, Poznan Univer…

はてなブログを書くときのメモ

公式:はてなブログ ヘルプ 記法 上付き、下付き はてな記法をそのままブログに書きたい時 コードブロック インラインコード 画像 画像の貼り付け サイズの指定 キャプションの設定 記法 上付き、下付き <sup> 上付きにしたい文字 </sup><sub> 上付きにしたい文字 </sub> はてな記…

Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Productを読む

概要 問題設定 contribution 提案手法 Encoder Product Attention Prediction Product Value Extraction Multitask Learning 実験 Ablation Study Low-Resource Evaluation 概要 ECの商品情報のテキストに含まれるAttributeとその値の抽出を行う。テキストの…

Position-Aware Tagging for Aspect Sentiment Triplet Extractionを読む

概要 問題設定 提案手法 Architecture 実験 既存手法との比較 ロバストネスの評価 予測結果のサンプル Ablation Study アンサンブルの効果検証 概要 レビューの様な自然文からtarget, opinion, sentimentのtriplet( 例=(“salmon”, “fresh”, positive))をEnd…

Adversarial Multimodal Representation Learning for Click-Through Rate Predictionを読む

概要 リンク INTRODUCTION Related work Adversarial Transfer Learning OUR PROPOSED METHOD Modality Embedding Layer Item Modality Embedding Behavior Property Embedding Multimodal Attention Network Multimodal Adversarial Network Cross-Modal Ad…

Gitの使い方

ローカルブランチのブランチ名の変更 git branch -m <変更したいブランチ名> <変更後のブランチ名> checkout中のブランチ名を変更する場合 git branch -m <変更後のブランチ名>

Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japaneseを読んだ

概要 リンク 用語 背景 提案手法(LM-based method) 検証結果 Human-based methodとLM-based methodの比較 検証用のデータ作成 評価方法 Data-driven methodsとLM-based methodの比較 目的語が2つある場合 その他の場合 概要 日本語の語順の評価をLanguage Mo…

ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-Text Dataを読んだ

概要 リンク pre-training用のデータセット(LAIT)の作成 data collection pipeline Architecture Pre-training Pre-training task Multi-stage Pre-training 検証結果 画像検索のタスクでの検証 Ablation Studies 概要 テキストと画像のマルチモーダルBERTの…

Dockerfile内でconda activateする

公開されているコードを試す際、セットアップにconda activate xxxx が必要な場合がある。 以下のissueを参考にconda activateした状態でインストールを行うことができたのでメモ。 Activating environment in dockerfile - related to #81 · Issue #89 · Co…

PyTorchでout of memoryになる

推論時に徐々にメモリ使用量が増えてout of memoryになる 推論時に徐々にメモリ使用量が増えてout of memoryになる 推論時にout of memory になった。 out of memoryになったコードのイメージ。 for batch in dataloader: inputs = {"input_ids": batch[0]} …

Supervised Multimodal Bitransformers for Classifying Images and Textを読んだ

概要 リンク Architecture 結果 検証用データセット Baseline 検証用データセットでの精度 Hard Subsetsでの検証 weightのfreezing 概要 BERTをベースにしたテキストと画像のマルチモーダルネットワークを提案。画像をResNet-152でベクトルに変換した後に、a…