V 0.0.4
Browse files- mainXXX.md +17 -3
mainXXX.md
CHANGED
|
@@ -10,6 +10,12 @@ pip install torch
|
|
| 10 |
|
| 11 |
pip install huggingface-hub
|
| 12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 13 |
**CUDA**
|
| 14 |
|
| 15 |
Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind.
|
|
@@ -22,20 +28,22 @@ pip install torch torchvision torchaudio --extra-index-url https://download.pyto
|
|
| 22 |
|
| 23 |
**Führe das Skript aus:**
|
| 24 |
|
| 25 |
-
python
|
| 26 |
|
| 27 |
-
|
| 28 |
|
| 29 |
-
python
|
| 30 |
|
| 31 |
Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.
|
| 32 |
|
|
|
|
| 33 |
**Kurzfassung:**
|
| 34 |
|
| 35 |
Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank,
|
| 36 |
|
| 37 |
konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.
|
| 38 |
|
|
|
|
| 39 |
**Ausführlich:**
|
| 40 |
|
| 41 |
Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum,
|
|
@@ -52,6 +60,7 @@ und speichert das trainierte Modell sowie den Tokenizer.
|
|
| 52 |
|
| 53 |
Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:
|
| 54 |
|
|
|
|
| 55 |
1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**:
|
| 56 |
|
| 57 |
- Öffnet eine Datei und liest deren Zeilen.
|
|
@@ -70,6 +79,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
| 70 |
-
|
| 71 |
- Speichert die extrahierten Parameter in der SQLite-Datenbank.
|
| 72 |
|
|
|
|
| 73 |
3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**:
|
| 74 |
|
| 75 |
- Verbindet sich mit der SQLite-Datenbank.
|
|
@@ -78,6 +88,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
| 78 |
-
|
| 79 |
- Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.
|
| 80 |
|
|
|
|
| 81 |
4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**:
|
| 82 |
|
| 83 |
|
|
@@ -85,6 +96,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
| 85 |
-
|
| 86 |
- Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.
|
| 87 |
|
|
|
|
| 88 |
5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**:
|
| 89 |
|
| 90 |
- Lädt das Hugging Face Dataset von der Festplatte.
|
|
@@ -101,6 +113,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
| 101 |
-
|
| 102 |
- Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`).
|
| 103 |
|
|
|
|
| 104 |
6. **Main-Funktion (`if __name__ == "__main__":`)**:
|
| 105 |
|
| 106 |
- Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
|
|
@@ -111,6 +124,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
| 111 |
-
|
| 112 |
- Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde.
|
| 113 |
|
|
|
|
| 114 |
Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren,
|
| 115 |
|
| 116 |
diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert.
|
|
|
|
| 10 |
|
| 11 |
pip install huggingface-hub
|
| 12 |
|
| 13 |
+
pip install beautifulsoup4
|
| 14 |
+
|
| 15 |
+
pip install pyth3
|
| 16 |
+
|
| 17 |
+
pip install seaborn
|
| 18 |
+
|
| 19 |
**CUDA**
|
| 20 |
|
| 21 |
Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind.
|
|
|
|
| 28 |
|
| 29 |
**Führe das Skript aus:**
|
| 30 |
|
| 31 |
+
python main_GPU_V004.py /path/to/your/directory
|
| 32 |
|
| 33 |
+
Testing
|
| 34 |
|
| 35 |
+
python main_Testing_V004.py /path/to/your/directory/ModelTestData.db
|
| 36 |
|
| 37 |
Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.
|
| 38 |
|
| 39 |
+
|
| 40 |
**Kurzfassung:**
|
| 41 |
|
| 42 |
Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank,
|
| 43 |
|
| 44 |
konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.
|
| 45 |
|
| 46 |
+
|
| 47 |
**Ausführlich:**
|
| 48 |
|
| 49 |
Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum,
|
|
|
|
| 60 |
|
| 61 |
Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:
|
| 62 |
|
| 63 |
+
|
| 64 |
1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**:
|
| 65 |
|
| 66 |
- Öffnet eine Datei und liest deren Zeilen.
|
|
|
|
| 79 |
-
|
| 80 |
- Speichert die extrahierten Parameter in der SQLite-Datenbank.
|
| 81 |
|
| 82 |
+
|
| 83 |
3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**:
|
| 84 |
|
| 85 |
- Verbindet sich mit der SQLite-Datenbank.
|
|
|
|
| 88 |
-
|
| 89 |
- Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.
|
| 90 |
|
| 91 |
+
|
| 92 |
4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**:
|
| 93 |
|
| 94 |
|
|
|
|
| 96 |
-
|
| 97 |
- Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.
|
| 98 |
|
| 99 |
+
|
| 100 |
5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**:
|
| 101 |
|
| 102 |
- Lädt das Hugging Face Dataset von der Festplatte.
|
|
|
|
| 113 |
-
|
| 114 |
- Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`).
|
| 115 |
|
| 116 |
+
|
| 117 |
6. **Main-Funktion (`if __name__ == "__main__":`)**:
|
| 118 |
|
| 119 |
- Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
|
|
|
|
| 124 |
-
|
| 125 |
- Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde.
|
| 126 |
|
| 127 |
+
|
| 128 |
Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren,
|
| 129 |
|
| 130 |
diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert.
|