#coding:utf-8 ''' write by ygq create on 2025-09-01 OASIS（Open Access Series of Imaging Studies） 是一个旨在向科研界免费提供脑部MRI数据的项目。本横断面（Cross-Sectional）数据集是其第一个版本，发布于2007年。 OASIS-1 是横断面的，意味着它无法捕捉个体随时间的动态变化。对于研究疾病进展，后续的 OASIS-2 和 OASIS-3（纵向数据集）是更好的选择。 1. 目录与文件命名规则 根目录下按受试者会话ID建立文件夹。 受试者ID格式：OAS1_xxxx （例如 OAS1_0012） 会话ID格式：OAS1_xxxx_MRy （例如 OAS1_0012_MR1，y代表第几次访问成像） OAS1_xxxx_MRy/ │ ├── OAS1_xxxx_MRy.xml # 包含采集细节和解剖指标的XML元数据文件 ├── OAS1_xxxx_MRy.txt # 与XML内容相同的文本格式文件（便于查看） ├── RAW/ # 存储原始扫描图像（DICOM或Analyze格式） ├── PROCESSED/ # 预处理后的图像 │ ├── SUBJ_111/ # 原始空间下的平均配准图像（各向同性1mm³） │ └── T88_111/ # 图谱配准空间下的图像 │ ├── t4_files/ # 存储配准变换矩阵文件 │ └── ... # 配准后的图像文件 └── FSL_SEG/ # 基于图谱配准图像生成的脑组织分割结果（灰质2/白质3/脑脊液1） 所有图像均以 Analyze 7.5格式 存储，包含： 一个图像文件（.img） 一个头文件（.hdr） 使用 16位大端序（big-endian） 存储 OAS1_xxxx_MRy_mpr-z_anon 单次原始扫描 256x256x128 1x1x1.25 mm 矢状位 OAS1_xxxx_MRy_mpr_ni_anon_sbj_111 多次扫描平均配准图像 256x256x160 1x1x1 mm 矢状位 OAS1_xxxx_MRy_mpr_ni_anon_111_t88_gfc 增益场校正后的图谱配准图像 176x208x176 1x1x1 mm 横断位 OAS1_xxxx_MRy_mpr_ni_anon_111_t88_masked_gfc 去除非脑组织的掩模图像 176x208x176 1x1x1 mm 横断位 OAS1_xxxx_MRy_mpr_ni_anon_111_t88_masked_gfc_fseg 脑组织分割图像（灰/白/CSF） 176x208x176 1x1x1 mm 横断位 1. 人口统计学信息 性别（M/F） 用手习惯（Hand）（均为右利手） 年龄（Age） 教育程度（Educ）（1-5级） 社会经济地位（SES） 2. 临床评估 MMSE（简易精神状态检查） CDR（临床痴呆评级：0=正常，0.5=非常轻微，1=轻度，2=中度） 3. 衍生解剖指标 eTIV：估计颅内容积 ASF：图谱缩放因子 nWBV：标准化全脑体积 OASIS Cross-Sectional 数据集经过 FreeSurfer 处理后的版本。这通常被称为 OASIS Cross-Sectional FreeSurfer Processed 数据集 经过 FreeSurfer 处理后，每个受试者的数据都会存储在一个独立的目录中，其结构遵循 FreeSurfer 的标准输出格式。 ├── sub-OASIS10001/ # 受试者1的FreeSurfer输出目录 │ ├── mri/ # 体积数据（Volume-based data） │ │ ├── orig.mgz # 原始图像（转换为FreeSurfer格式） │ │ ├── nu.mgz # 强度归一化后的图像 │ │ ├── T1.mgz # 用于分割的图像 │ │ ├── aseg.mgz # 自动亚结构分割（皮质下分割） │ │ ├── aparc+aseg.mgz # 皮层+皮质下融合分割 │ │ ├── brain.mgz # 去除非脑组织后的图像 │ │ ├── brainmask.mgz # 大脑掩模 │ │ └── ... (其他文件) │ ├── surf/ # 表面数据（Surface-based data） │ │ ├── lh.pial # 左半球软脑膜表面 │ │ ├── lh.white # 左半球白质表面 │ │ ├── rh.pial # 右半球软脑膜表面 │ │ ├── rh.white # 右半球白质表面 │ │ ├── lh.thickness # 左半球皮层厚度图 │ │ └── ... (其他文件) │ ├── stats/ # 统计结果（文本文件） │ │ ├── aseg.stats # 皮质下结构体积统计 │ │ ├── lh.aparc.stats # 左半球皮层脑区厚度/面积统计 │ │ └── rh.aparc.stats # 右半球皮层脑区厚度/面积统计 │ └── label/ # 标签文件 │ └── ... ''' import os import glob import pandas as pd import SimpleITK as sitk import argparse import json from tqdm import tqdm from util import meta_data import util import numpy as np # from bert_helper import * import shutil import warnings warnings.filterwarnings("ignore") meta_id_name='ID' ##性别（M/F）,用手习惯（Hand）（均为右利手）,年龄（Age）,教育程度（Educ）（1-5级）,社会经济地位（SES）,MMSE（简易精神状态检查）,CDR（临床痴呆评级：0=正常，0.5=非常轻微，1=轻度，2=中度）,eTIV：估计颅内容积,ASF：图谱缩放因子,nWBV：标准化全脑体积 META_COLUMN=['ID', 'M/F', 'Hand', 'Age', 'Educ', 'SES', 'MMSE', 'CDR', 'eTIV','nWBV', 'ASF', 'Delay'] TASK_VALUE="segmentation" CLAMP_RANGE_CT = [-300,300] CLAMP_RANGE_MRI = None # MRI images threshold placeholder TBC... TARGET_VOXEL_SPACING=None ##参考MSD的sub_modality描述信息 SUB_MODALITY=["FLAIR","T1w","t1gd","T2w"] ##文件名对应的排序顺序 SERIES_ORDER=["flair","t1","t1ce","t2"] LABEL_DICT={ "0":"backgroud", "1":"cerebrospinal fluid",#CSF "2":"gray matter",#GM "3":"white matter"#WM } # def find_metadata_files(path): # # for Cancer Image Archive (TCIA) dataset # search_pattern = os.path.join(path, '**', 'metadata.csv') # return glob.glob(search_pattern, recursive=True) def find_metadata_files(path): # for Cancer Image Archive (TCIA) dataset search_pattern = os.path.join(path, '*.csv') return glob.glob(search_pattern, recursive=True) ##added by yanguoqing on 20250527 def find_image_dirs(path): return os.listdir(path) ##modify by yanguoqing on 20250527 def load_dicom_images(folder_path): reader = sitk.ImageSeriesReader() dicom_names = reader.GetGDCMSeriesFileNames(folder_path) reader.SetFileNames(dicom_names) image = reader.Execute() return dicom_names,image ##added by yanguoqing on 20250527 def load_dicom_tag(imgs): reader = sitk.ImageFileReader() # dicom_names = reader.GetGDCMSeriesFileNames(folder_path) reader.SetFileName(imgs) reader.ReadImageInformation() # 仅读取元信息，不加载像素数据 # metadata_keys = reader.GetMetaDataKeys() tag=reader.Execute() return tag def load_nrrd(fp): return sitk.ReadImage(fp) ##modify by yanguoqing on 20250805 def load_brtas_images(series_files): ''' 每个病例包含四种不同序列的 3D MRI 扫描（均已进行预处理，如配准、重采样到 1mm³ 各向同性、颅骨剥离） 将多个分开的模态合并，构建第四个维度的数组，分别按照FLAIR,T1,T1CE,T2顺序存放 ''' reader = sitk.ImageSeriesReader() reader.SetFileNames(series_files) image = reader.Execute() return image def save_nifti(image, output_path, folder_path): # Set metadata in the NIfTI file's header output_dirpath = os.path.dirname(output_path) if not os.path.exists(output_dirpath): print(f"Creating directory {output_dirpath}") os.makedirs(output_dirpath) # Set metadata in the NIfTI file's header image.SetMetaData("FolderPath", folder_path) sitk.WriteImage(image, output_path) ##modify by yanguoqing on 20250527 def convert_windows_to_linux_path(windows_path): # Replace backslashes with forward slashes and remove the drive letter # Some meta files have windows paths, but the data is stored on a linux server linux_path = windows_path.replace('\\', '/') if ':' in linux_path: linux_path = linux_path.split(':', 1)[1] return linux_path def main(target_path, output_dir): pid_dirs=find_image_dirs(target_path) failed_files = [] if not os.path.isdir(output_dir): os.makedirs(output_dir) json_output_path = os.path.join(output_dir, 'nifti_mappings.json') failed_files_path = os.path.join(output_dir, 'failed_files.json') meta = meta_data() # Initialize the JSON file if not os.path.exists(json_output_path): with open(json_output_path, 'w') as json_file: json.dump({}, json_file) ##方便处理解析信息，转成csv文件 meta_file=os.path.join(os.path.dirname(os.path.realpath(__file__)),'oasis_cross-sectional-5708aa0a98d82080.csv') meta_file_ori=os.path.join(target_path,'oasis_cross-sectional-5708aa0a98d82080.xlsx') if os.path.isfile(meta_file): mf_flag=True df_meta=pd.read_csv(meta_file,sep=',') else: mf_flag=False if pid_dirs: for pid_dir in tqdm(pid_dirs, desc="Processing pid dirs"): if not os.path.isdir(os.path.join(target_path,pid_dir)): continue ##遍历所有目录下的病例数据 image_dirs=find_image_dirs(os.path.join(target_path,pid_dir)) for data_dir in tqdm(image_dirs, desc="Processing images files"): ##data_dir即id full_path=os.path.join(target_path,pid_dir,data_dir) modality="MRI" study='OASIS_1'##Dataset_name CIA_other_info = {'metadata_file':''} CIA_other_info['split'] = "train" CIA_other_info['metadata_file']=meta_file_ori data_info_row=df_meta[df_meta[meta_id_name]==data_dir] if data_info_row.shape[0]>0: data_info_row=data_info_row.reset_index() #print(data_info_row[meta_id_name]) for keyname in META_COLUMN[1:]: CIA_other_info[keyname]=str(data_info_row[keyname][0]) CIA_other_info['Image_id']=data_dir else: meta_image_id=data_dir for keyname in META_COLUMN[1:]: CIA_other_info[keyname]='' try: ##读取去骨保留脑组织的img #\PROCESSED\MPRAGE\T88_111\OAS1_0001_MR1_mpr_n4_anon_111_t88_masked_gfc.img full_file=glob.glob("%s/PROCESSED/MPRAGE/T88_111/%s_*_anon_111_t88_masked_gfc.img"%(full_path,data_dir))[0] # full_file=os.path.join(full_path,"PROCESSED/MPRAGE/T88_111","%s_mpr_n4_anon_111_t88_masked_gfc.img"%data_dir) if os.path.isfile(full_file): ##存在有效的MRI影像数据进行后续处理 sitk_img_original=util.load_nifti(full_file) else: print("病例数据%s为空"%data_dir) continue original_spacing = list(sitk_img_original.GetSpacing()) original_size = list(sitk_img_original.GetSize()) meta.add_keyvalue('Spacing_mm',min(original_spacing)) meta.add_keyvalue('OriImg_path',full_file) meta.add_keyvalue('Size',original_size) # 这里用处理后的size -- YH Jachin meta.add_keyvalue('Modality',modality) meta.add_keyvalue('Dataset_name',study) meta.add_keyvalue('ROI','head') meta.add_keyvalue('Label_Dict',LABEL_DICT) output_image_file = os.path.join(output_dir,data_dir, f"{data_dir}.nii.gz") # output_path=convert_windows_to_linux_path(output_path) ## save_nifti(sitk_img_original, output_image_file, full_path) print(f"Saved NIfTI file to {output_image_file}") ##Label processing label_path_dict={} #OAS1_0001_MR1_mpr_n4_anon_111_t88_masked_gfc_fseg.img full_label_file=glob.glob("%s/FSL_SEG/%s_*_anon_111_t88_masked_gfc_fseg.img"%(full_path,data_dir))[0] process_label_path=os.path.join(output_dir,data_dir,'segmentation') processed_lbl_full_path=os.path.join(process_label_path, f"{data_dir}.nii.gz") if not os.path.isdir(process_label_path): os.makedirs(process_label_path,exist_ok=True) if not os.path.isfile(full_label_file): label_flag=False else: sitk_lbl_original = util.load_nifti(full_label_file) util.save_nifti(sitk_lbl_original, processed_lbl_full_path, os.path.dirname(full_label_file)) # Save original print(f"Saved Segemention NIfTI file to {processed_lbl_full_path}") label_path_dict['head'] = processed_lbl_full_path label_flag=True if label_flag: meta.add_keyvalue('Task',TASK_VALUE) meta.add_keyvalue('Label_path',{TASK_VALUE:label_path_dict}) # try: # assert sitk_img_processed.GetSize() == sitk_lbl_processed.GetSize() # except Exception as e: # failed_files.append(full_path_label) # continue print(sitk_img_original.GetSize(),sitk_lbl_original.GetSize()) except Exception as e: print(e) failed_files.append(data_dir) print(f"Failed to load BRATS images from {data_dir}") continue meta.add_extra_keyvalue('Metadata',CIA_other_info) # Write the mapping to the JSON file on the fly with open(json_output_path, 'r+') as json_file: existing_mappings = json.load(json_file) existing_mappings[output_image_file] = meta.get_meta_data() json_file.seek(0) # print(existing_mappings) json.dump(existing_mappings, json_file, indent=4) json_file.truncate() # else: # print("No metadata.csv files found.") with open(failed_files_path, "w") as json_file: json.dump(failed_files, json_file) print(f"The list has been written to {failed_files_path}") print(f"Saved NIfTI mappings to {json_output_path}") if __name__ == "__main__": parser = argparse.ArgumentParser(description="Process DICOM files and save as NIfTI.") parser.add_argument("--target_path", type=str, help="Path to the target directory containing metadata files.", default="/home/data/Github/data/data_gen_def/DATASETS/OASIS/OASIS_1/oasis_cs_sectional/") parser.add_argument("--output_dir", type=str, help="Directory to save the NIfTI files.", default="/home/data/Github/data/data_gen_def/DATASETS_processed/OASIS/OASIS_1/CS_SECTIONAL") args = parser.parse_args() print(args.target_path, args.output_dir) main(args.target_path, args.output_dir)