| | --- |
| | license: apache-2.0 |
| | language: |
| | - en |
| | pipeline_tag: fill-mask |
| | tags: |
| | - code |
| | --- |
| | # Shuu12121/CodeDiff-Owl-ModernBERT-base |
| |
|
| | ## モデル概要 |
| |
|
| | **CodeDiff-Owl-ModernBERT-base** は、GitHub の **コード差分（diff）とコミットメッセージ** を対象にマスク化言語モデル (MLM) で学習した、**diff・コミット履歴特化の ModernBERT 系モデル** です。 |
| |
|
| | * ベースモデル: `ModernBERT` |
| | * 事前学習タスク: マスク化言語モデル (Masked Language Modeling; MLM) |
| | * 入力フォーマット: |
| | `"[CLS]" + commit_message + "[SEP]" + diff` |
| | * 対象言語: |
| | diff 内のコードとして **Python / Java / JavaScript / Rust** を含むリポジトリ |
| |
|
| | コミットメッセージと diff を同時にエンコードすることで、**「どのような変更(diff)に対して、どのような説明(コミットメッセージ)が付くか」** という対応関係を捉えることを目的としています。 |
| | 今後、学習を継続した「完全版」を公開予定です（本モデルは 1.8 epoch 時点の途中版です）。 |
| |
|
| | --- |
| |
|
| | ## 想定される用途 |
| |
|
| | ### 主なユースケース |
| |
|
| | * コード変更差分に対する意味的検索 |
| |
|
| | * 例: 「バグ修正」「ログ出力の追加」などの自然言語・疑似クエリと diff の類似度計算 |
| | * コミットメッセージと diff の表現獲得 |
| |
|
| | * 例: コミットメッセージ・diff の埋め込みベクトルを用いたクラスタリングや可視化 |
| | * diff＋コミットメッセージを入力とする下流タスクの初期化 |
| |
|
| | * コミットメッセージ生成・補完 |
| | * コードレビューメモの生成 など |
| |
|
| | ### 非推奨 / 注意が必要な用途 |
| |
|
| | * 汎用自然言語モデルとしての利用（一般文書に対する性能は未検証） |
| | * セキュリティやライセンス上の判断の自動化（著作権・ライセンス判定など） |
| | * 高リスク領域での自動意思決定（法的判断、安全性が重要な場面など） |
| |
|
| | --- |
| |
|
| | ## 学習データ |
| |
|
| | ### データソース |
| |
|
| | * GitHub 上の公開リポジトリ |
| | * GitHub の「言語判定」により **Python / Java / JavaScript / Rust** 含有と判断されたリポジトリを対象 |
| | * 各リポジトリから、コミットごとの **diff とコミットメッセージ** を収集 |
| | * 各リポジトリあたり最大 **1万件** のコミットを上限としてサンプリング |
| | * 収集した diff 全体で、おおよそ **70〜100GB 程度**（テキストベース）の規模 |
| |
|
| | ### 前処理・フィルタリング |
| |
|
| | * diff が **32KB を超える場合は途中で打ち切り** |
| |
|
| | * テキストとして読み取り可能な diff のみを利用 |
| |
|
| | --- |
| |
|
| | ## 学習設定 |
| |
|
| | * 初期化: ModernBERTアーキテクチャをもとにランダムな初期値から学習 |
| | * タスク: マスク化言語モデル (MLM) |
| | * 入力フォーマット: |
| | `"[CLS]" + commit_message + "[SEP]" + diff` |
| | ※実装で特別な変更は加えていません |
| | * バッチサイズ: **64** |
| | * 学習率 (learning rate): **1e-6** |
| | * エポック数: **1.8 epoch**（時間制約により途中で打ち切り） |
| | * 学習時間: 約 **4日間** |
| | * その他: |
| |
|
| | * モデル構造自体には特別な改変なし |
| | * 純粋に MLM のみで学習（コントラスト学習などは未実施） |
| |
|
| | 今後、同様の設定でもう少し長く学習した「完全版」を公開予定です。 |
| |
|
| | --- |
| |
|
| | ## 入力形式と使い方 |
| |
|
| | ### 入力形式 |
| |
|
| | * **Segment A (sentence A)**: コミットメッセージ（自然言語） |
| | * **Segment B (sentence B)**: 対応する diff テキスト |
| |
|
| | トークナイザには、以下のように「2つの入力」として与えてください。 |
| |
|
| | ```python |
| | from transformers import AutoTokenizer, AutoModel |
| | |
| | model_name = "Shuu12121/CodeDiff-Owl-ModernBERT-base" |
| | tokenizer = AutoTokenizer.from_pretrained(model_name) |
| | model = AutoModel.from_pretrained(model_name) |
| | |
| | commit_message = "Fix bug in user login flow" |
| | diff_text = """ |
| | diff --git a/app/auth.py b/app/auth.py |
| | index 1234567..89abcde 100644 |
| | --- a/app/auth.py |
| | +++ b/app/auth.py |
| | @@ -10,7 +10,9 @@ def login(user, password): |
| | - if user.password == password: |
| | - return True |
| | - return False |
| | + if not user: |
| | + return False |
| | + return user.check_password(password) |
| | """ |
| | |
| | inputs = tokenizer( |
| | commit_message, |
| | diff_text, |
| | return_tensors="pt", |
| | truncation=True, |
| | ) |
| | |
| | outputs = model(**inputs) |
| | last_hidden_state = outputs.last_hidden_state # [batch, seq_len, hidden] |
| | cls_embedding = last_hidden_state[:, 0] # [CLS] トークンの埋め込み |
| | ``` |
| |
|
| | * `cls_embedding` を **コミット＋diff の表現ベクトル** として検索・クラスタリング等に利用することを想定しています。 |
| | * diff が非常に長い場合はモデル側でトークン長に応じて自動的に切り詰められるため、必要に応じて自前で要約・抽出を行ってください。 |
| |
|
| | --- |
| |
|
| | ## 評価 |
| |
|
| | * 本モデルは現時点では **事前学習段階のスナップショット (1.8 epoch)** です。 |
| | * 具体的な使用用途については今後検討予定です。 |
| |
|
| | --- |
| |
|
