Python

자연어 처리(NLP), 컴퓨터 비전, 오디오 등 다양한 데이터 형태를 다룰 때, 대규모 데이터셋을 어떻게 효율적으로 불러오고 가공할지가 상당히 중요한 이슈 👉 Hugging Face Datasets Library ?딥러닝 데이터셋을 효율적으로 다루기 위해 설계된 고성능 데이터셋 라이브러리📌 주요 특징메모리 효율적 관리대용량 데이터도 메모리 부담 없이 처리 가능필요할 때만 데이터를 불러오는 lazy loading 지원다양한 형식 지원CSV, JSON, Parquet, 이미지, 오디오 등 다양한 포맷을 손쉽게 로드 가능고성능 전처리 지원map(), filter(), shuffle() 등 강력한 전처리 기능 제공멀티프로세싱 및 배치 처리를 통한 빠른 데이터 변환Hugging Face 모델과 자연스러운 통합..

PIP 원래 웹 프론트를 해와서 그런지 웹이랑 비교하면 이해가 쉬운 것 같다! 📦 패키지 설치pip installnpm install / yarn add📃 의존성 저장requirements.txtpackage.json + package-lock.json🔍 패키지 저장소PyPInpmjs.com🔄 의존성 관리수동 (pip freeze)자동 (npm install 시)🧱 로컬 설치 폴더venv/lib/site-packagesnode_modules/🔄 패키지 업데이트pip install --upgradenpm update, yarn upgrade  주요 명령어 pip install 패키지명 -- 패키지 설치pip uninstall 패키지명 -- 패키지 제거pip freeze -- 현재 설치된 패키지 ..

가상환경다른 프로젝트랑 충돌 없이 각자 필요한 라이브러리만 설치해서 쓸 수 있게 해주는 "격리된 공간"  🐍 venvPython 가상환경Python 라이브러리만파이썬 프로젝트간단, 내장됨OS, 시스템 환경은 격리 안 됨🐍 conda환경 + 라이브러리 통합Python + 패키지 + 일부 OS libs과학, ML 프로젝트패키지 관리 쉬움, 빠름무거움, PyPI와 호환성 이슈 있음🐍 pipenv, poetry가상환경 + 의존성 관리venv 기반 + 의존성 고정파이썬 프로젝트버전 관리 깔끔학습 필요🐳 DockerOS 수준 격리파일, OS, 네트워크까지 완전 격리실서버, 팀 협업, 배포완벽한 독립 환경, 재현성설정 복잡, 이미지 용량 큼    venv는 격리된 공간을 만드는 것( 컨테이너 기반 x ) 이 ..