입문 실습: 표본으로 시작하는 Nemotron-Personas-Korea

import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams["font.family"] = "Malgun Gothic"   # 그림에 한글이 나오게 한다
plt.rcParams["axes.unicode_minus"] = False       # 마이너스 기호가 깨지지 않게 한다
pd.set_option("display.max_columns", 30)         # 표의 컬럼이 생략되지 않게 한다 => 출력에서 최대 컬럼수를 30개로 조정

import matplotlib as mpl
print(mpl.matplotlib_fname())          # 지금 읽어 온 matplotlibrc 파일 위치
print(plt.rcParams["font.family"])     # 현재 값
print(len(plt.rcParams))               # 설정 항목 수 (300개 이상)

(사용자 폴더)\AppData\Local\Programs\Python\Python39\lib\site-packages\matplotlib\mpl-data\matplotlibrc
['Malgun Gothic']
316

BASE_URL = "https://kwonsuhyeon.github.io/personaex/data/"

df = pd.read_parquet(BASE_URL + "sample_random.parquet")
df.shape     # (행 수, 컬럼 수)

(10000, 26)

# df.to_parquet("sample_random.parquet")          # 한 번 저장 (이 노트북과 같은 폴더에 생긴다)
# df = pd.read_parquet("sample_random.parquet")   # 이후엔 로컬에서 읽는다

df.dtypes    # 컬럼마다 자료형. object는 문자열, int64는 정수

uuid                          object
professional_persona          object
sports_persona                object
arts_persona                  object
travel_persona                object
culinary_persona              object
family_persona                object
persona                       object
cultural_background           object
skills_and_expertise          object
skills_and_expertise_list     object
hobbies_and_interests         object
hobbies_and_interests_list    object
career_goals_and_ambitions    object
sex                           object
age                            int64
marital_status                object
military_status               object
family_type                   object
housing_type                  object
education_level               object
bachelors_field               object
occupation                    object
district                      object
province                      object
country                       object
dtype: object

df.head(3)

demo_cols = [
    "sex",              # 성별. 남자 / 여자
    "age",              # 나이. 19~99세 정수 (성인 기준)
    "marital_status",   # 혼인 상태. 미혼 / 배우자있음 / 사별 / 이혼
    "education_level",  # 최종 학력. 무학부터 대학원까지 7단계
    "bachelors_field",  # 전공 계열 (11가지). 4년제 대학교·대학원만 값이 있고 나머지는 '해당없음'
    "occupation",       # 직업명. 2,000가지가 넘는다. 일이 없으면 '무직'
    "province",         # 사는 시도. 17개 (서울, 경기, 충청남 ...)
]
df[demo_cols].head(5)

df.isna()

df.isna().sum()    # isna(): 빈 칸이면 True / sum(): 컬럼마다 True를 더함 → 컬럼별 결측치 수

uuid                          0
professional_persona          0
sports_persona                0
arts_persona                  0
travel_persona                0
culinary_persona              0
family_persona                0
persona                       0
cultural_background           0
skills_and_expertise          0
skills_and_expertise_list     0
hobbies_and_interests         0
hobbies_and_interests_list    0
career_goals_and_ambitions    0
sex                           0
age                           0
marital_status                0
military_status               0
family_type                   0
housing_type                  0
education_level               0
bachelors_field               0
occupation                    0
district                      0
province                      0
country                       0
dtype: int64

(df["bachelors_field"] == "해당없음").sum()    # 전공 계열이 '해당없음'인 사람 수 (4년제 대학교·대학원이 아닌 사람)

6611

df["age"].describe()    # 개수, 평균, 표준편차, 최소, 사분위수, 최대

count    10000.000000
mean        50.346400
std         17.633307
min         19.000000
25%         36.000000
50%         51.000000
75%         63.000000
max         99.000000
Name: age, dtype: float64

# df["sex"] == "남자" → 행마다 True/False / df[...] → True인 행(남자)만 남김 / ["age"] → 그중 나이 컬럼만
# bins=range(15, 105, 5) → 막대 경계 15, 20, ..., 100 (105는 range의 끝값이라 빠짐). 15 이상 100 이하를 5세 구간 17개로 나눈다
#   최솟값이 19세라 15~20 막대에는 19세만 들어간다
# histtype="step" → 막대 속을 칠하지 않고 윤곽선만 (두 집단을 겹쳐도 가리지 않게)
# linewidth=2 → 윤곽선 두께 / label → 범례에 쓸 이름표
df[df["sex"] == "남자"]["age"].plot.hist(bins=range(15, 105, 5), histtype="step", linewidth=2, label="남자")
df[df["sex"] == "여자"]["age"].plot.hist(bins=range(15, 105, 5), histtype="step", linewidth=2, label="여자")   # 같은 그림에 덧그림. 색은 자동으로 다음 색
plt.legend()         # 범례: 어느 색 선이 어느 집단인지 알려 주는 상자. 위의 label을 모아 만든다
plt.xlabel("나이")   # x축 이름. y축은 사람 수
plt.show()           # 그림을 화면에 내보내고 다음 그림을 위해 비운다

df["sex"].value_counts(normalize=True) * 100

sex
남자    50.16
여자    49.84
Name: proportion, dtype: float64

df["education_level"].value_counts(normalize=True) * 100

education_level
고등학교          32.17
4년제 대학교       28.24
2~3년제 전문대학    15.01
중학교            8.40
초등학교           7.96
대학원            5.65
무학             2.57
Name: proportion, dtype: float64

order = ["무학", "초등학교", "중학교", "고등학교", "2~3년제 전문대학", "4년제 대학교", "대학원"]   # 학력 순서 (낮은 것부터)

# value_counts(normalize=True) → 학력별 비율(0~1), 많은 순 / * 100 → 퍼센트
# 바깥 괄호 → 비율 계산을 먼저 끝낸 뒤 그 결과로 그림을 그리게 한다 (없으면 100에 .plot이 붙어 에러)
# reindex(order) → 많은 순 대신 order 순서로 다시 줄 세운다. barh는 첫 항목을 맨 아래에 그리므로 무학이 아래, 대학원이 위
# plot.barh → 가로 막대. 인덱스(학력 이름)가 세로축 이름, 값(비율)이 막대 길이
# color="#2a78d6" → 16진수 색 코드. 빨강 2a·초록 78·파랑 d6, 파랑이 가장 세서 파란색
(df["education_level"].value_counts(normalize=True) * 100).reindex(order).plot.barh(color="#2a78d6")
plt.xlabel("비율 (%)")   # 가로 막대라 x축(가로)이 비율
plt.ylabel("학력")       # 지정하지 않으면 인덱스 이름 education_level이 자동으로 붙는다
plt.show()

df["province"].value_counts().head(10)    # 시도별 인원, 많은 순 10개

province
경기     2606
서울     1883
부산      677
경상남     652
인천      574
경상북     549
충청남     443
대구      423
전북      354
전라남     315
Name: count, dtype: int64

# pd.crosstab(행, 열) → 두 범주형 변수의 조합마다 사람 수를 센 표. 행 = 성별, 열 = 학력
# normalize="index" → 칸마다 그 행의 합계로 나눈 비율. 한 행(남자, 여자)을 더하면 1
#   → "남자 중 몇 %가 이 학력인가"로 읽는다. 집단 크기가 달라도 분포를 공정하게 비교할 수 있다
#   (다른 선택: "columns" → 열 합이 1, 학력별 성비 / "all" → 전체 합이 1)
# .round(3) → 소수 셋째 자리까지 반올림 / * 100 → 퍼센트
pd.crosstab(df["sex"], df["education_level"], normalize="index").round(3) * 100

df["occupation"].value_counts().head(10)

occupation
무직                   3638
건물 경비원                190
건물 청소원                170
경리 사무원                146
사무 보조원                145
일반 비서                 109
시설 경비원                109
전화 상담원                107
하역 및 적재 관련 단순 종사원     104
그 외 일반 영업원             80
Name: count, dtype: int64

(df["occupation"] == "무직").sum()                            # 무직인 사람 수

3638

df["occupation"].str.contains("현재 구직중").sum()             # 직업명에 "현재 구직중"이 들어간 사람 수

278

# 조건 1: df["occupation"] != "무직" → 직업명이 정확히 "무직"이 아니면 True
# 조건 2: ~df["occupation"].str.contains("현재 구직중") → str.contains는 글자가 들어 있으면 True, ~가 뒤집어서 없으면 True
# & → 두 조건이 모두 True인 행만 남긴다 (AND). pandas에서는 and·or·not 대신 &·|·~ 를 쓴다
# 조건 1을 괄호로 감싼 이유 → &가 !=보다 먼저 계산되기 때문
employed = df[(df["occupation"] != "무직") & ~df["occupation"].str.contains("현재 구직중")]
len(employed), len(df)    # (취업자 수, 전체 수). 쉼표로 나열하면 튜플로 함께 출력된다

(6084, 10000)

jobs = pd.read_parquet(BASE_URL + "sample_jobs.parquet")
jobs.shape

(7500, 18)

jobs["dept"].value_counts()    # 학과별 인원

dept
컴퓨터공학      2000
데이터경영      2000
기계공학       1500
메카트로닉스     1000
고용서비스정책    1000
Name: count, dtype: int64

jobs.groupby("dept")["job"].unique()    # 학과마다 어떤 직무가 있는가

dept
고용서비스정책                                [인사·노무, 사회복지]
기계공학                         [기계공학 기술자, 용접, 금형·공작기계]
데이터경영      [데이터 분석, 마케팅·기획, 경영 컨설팅·품질, 데이터 설계·프로그래밍]
메카트로닉스                                   [로봇, 제어·계측]
컴퓨터공학      [소프트웨어 개발, 정보 보안, 네트워크·시스템, 데이터 설계·프로그래밍]
Name: job, dtype: object

MY_DEPT = "컴퓨터공학"
MY_JOB = "소프트웨어 개발"

mine = jobs[(jobs["dept"] == MY_DEPT) & (jobs["job"] == MY_JOB)]
mine["occupation"].value_counts()    # 이 직무에 묶인 실제 직업명

occupation
범용 소프트웨어 프로그래머        199
모바일 애플리케이션 프로그래머       70
웹 프로그래머                69
시스템 소프트웨어 설계 및 분석가     49
시스템 소프트웨어 프로그래머        37
산업 특화 소프트웨어 프로그래머      32
게임 프로그래머               28
그 외 응용 소프트웨어 프로그래머     16
Name: count, dtype: int64

# 새 컬럼 두 개를 jobs에 붙인다 (메모리의 jobs만 바뀌고 parquet 파일은 그대로)
jobs["여자"] = jobs["sex"] == "여자"    # 여자면 True
jobs["전문대이상"] = jobs["education_level"].isin(["2~3년제 전문대학", "4년제 대학교", "대학원"])   # isin → 목록 중 하나와 같으면 True

# groupby("dept") → 학과가 같은 행끼리 묶는다
# agg(결과이름=("컬럼", "계산")) → 묶음마다 여러 계산을 한 번에 한다 (named aggregation)
#   size → 행 수(인원). 어느 컬럼을 넣어도 같아서 age를 적었다
#   mean → True/False의 평균은 True의 비율. 그래서 여자비율, 전문대이상비율이 된다
# round(2) → 소수 둘째 자리까지
jobs.groupby("dept").agg(인원=("age", "size"), 나이중앙값=("age", "median"),
                         여자비율=("여자", "mean"), 전문대이상비율=("전문대이상", "mean")).round(2)

jobs.groupby(["dept", "job"]).agg(나이중앙값=("age", "median"), 여자비율=("여자", "mean"),
                                  전문대이상비율=("전문대이상", "mean")).round(2)

my_dept = jobs[jobs["dept"] == MY_DEPT]
pd.crosstab(my_dept["job"], my_dept["education_level"], normalize="index").round(3) * 100

jobs.boxplot(column="age", by="dept", grid=False)
plt.title("")
plt.suptitle("")
plt.ylabel("나이")
plt.show()

for _, r in mine.sample(3, random_state=42).iterrows():
    print("=" * 90)
    print(r["occupation"], "|", r["sex"], r["age"], "세 |", r["education_level"])
    print("[직업 페르소나]", r["professional_persona"])
    print("[경력 목표]", r["career_goals_and_ambitions"])

==========================================================================================
범용 소프트웨어 프로그래머 | 여자 43 세 | 고등학교
[직업 페르소나] 김성아 씨는 교육 현장의 낡고 복잡한 레거시 코드를 논리적으로 분석해 말끔하게 정리하는 데 탁월한 능력을 갖춘 프로그래머입니다. 학습 속도가 느린 아이들이 직관적으로 이해할 수 있는 교육 보조 소프트웨어를 보급하겠다는 목표로 매일 정해진 루틴에 따라 코드를 짭니다.
[경력 목표] 직급 상승이나 권위보다는, 학습 속도가 느린 아이들이 시각적으로 쉽게 이해하고 몰입할 수 있는 직관적인 교육 보조 소프트웨어를 완성해 현장에 보급하는 것에 가치를 둡니다.
==========================================================================================
시스템 소프트웨어 프로그래머 | 여자 43 세 | 4년제 대학교
[직업 페르소나] 정지연 씨는 출판사 전산실에서 편집자들이 겪는 사소한 불편함까지 잡아내는 시스템 최적화에 몰두하며, 가끔은 낡은 코드와 씨름하다가 혼자 헛웃음을 터뜨리곤 합니다. 복잡한 설계를 실무자가 한눈에 이해하도록 쉽게 풀어내는 능력이 뛰어나 동료들 사이에서 기술적 갈등을 해결하는 부드러운 중재자로 통합니다.
[경력 목표] 현장의 편집자들이 도구에 구애받지 않고 창작에만 몰입할 수 있도록 더 직관적인 저작 시스템을 구축하고 싶어 합니다. 급격한 기술 변화에 매몰되기보다 실질적인 편의를 주는 기술을 현장에 안착시키는 실용적인 전문가를 지향합니다.
==========================================================================================
그 외 응용 소프트웨어 프로그래머 | 남자 51 세 | 4년제 대학교
[직업 페르소나] 신윤식 씨는 오래된 출판사 관리 시스템의 낡은 코드를 하나하나 다듬으며 정년퇴직까지 무탈한 직장 생활을 꿈꾸는 중년 프로그래머입니다. 후배들의 기술적 고민을 묵묵히 들어주며 팀 내 갈등을 조율하는 중재자 역할을 하지만, 정작 본인의 책상 위는 정돈되지 않은 서류와 엉킨 전선들이 가득합니다.
[경력 목표] 급격한 승진이나 성취보다는 현재의 위치에서 후배들과 원만한 관계를 유지하며 정년까지 무사히 직장 생활을 마치는 것을 최우선으로 생각합니다. 업무적으로는 누군가에게 부담을 주지 않는 선에서 자신의 몫을 다하는 안정적인 상태를 유지하고자 합니다.

jobs["글자수"] = jobs["professional_persona"].str.len()
jobs.groupby(["dept", "job"])["글자수"].median().sort_values()

dept     job         
기계공학     용접              169.0
         금형·공작기계         171.0
데이터경영    경영 컨설팅·품질       171.0
메카트로닉스   제어·계측           171.0
데이터경영    마케팅·기획          172.0
고용서비스정책  인사·노무           173.0
기계공학     기계공학 기술자        173.0
데이터경영    데이터 분석          173.0
고용서비스정책  사회복지            174.0
메카트로닉스   로봇              175.0
컴퓨터공학    데이터 설계·프로그래밍    175.0
         소프트웨어 개발        175.0
         정보 보안           175.0
데이터경영    데이터 설계·프로그래밍    176.0
컴퓨터공학    네트워크·시스템        177.0
Name: 글자수, dtype: float64

WORD = "고객"
jobs["포함"] = jobs["professional_persona"].str.contains(WORD)
(jobs.groupby(["dept", "job"])["포함"].mean() * 100).round(1).sort_values(ascending=False)

dept     job         
데이터경영    경영 컨설팅·품질       8.6
         마케팅·기획          6.8
기계공학     기계공학 기술자        1.8
컴퓨터공학    소프트웨어 개발        0.4
고용서비스정책  인사·노무           0.2
데이터경영    데이터 분석          0.2
컴퓨터공학    네트워크·시스템        0.2
         데이터 설계·프로그래밍    0.2
         정보 보안           0.2
고용서비스정책  사회복지            0.0
기계공학     금형·공작기계         0.0
         용접              0.0
데이터경영    데이터 설계·프로그래밍    0.0
메카트로닉스   로봇              0.0
         제어·계측           0.0
Name: 포함, dtype: float64

skills = mine["skills_and_expertise_list"].str.findall(r"'([^']+)'")   # 작은따옴표 안의 항목을 리스트로 꺼낸다
print(skills.head(3))

2500    [C/C++ 기반 시스템 프로그래밍, 리눅스 커널 최적화 및 튜닝, 임베디드 시스템...
2501    [리액트를 활용한 웹 프론트엔드 개발, 사용자 경험 중심의 인터페이스 설계, 파이썬...
2502    [임베디드 시스템 설계, 실시간 운영체제 최적화, 소프트웨어 요구사항 분석, 제어 ...
Name: skills_and_expertise_list, dtype: object

skills = skills.explode()                                             # 리스트 항목 하나가 행 하나가 되게 펼친다
print(skills.head(3))

2500    C/C++ 기반 시스템 프로그래밍
2500       리눅스 커널 최적화 및 튜닝
2500      임베디드 시스템 아키텍처 설계
Name: skills_and_expertise_list, dtype: object

words = skills.str.split(" ").explode()                               # 항목을 띄어쓰기로 쪼개 낱말 하나가 행 하나
print(words.head(3))
print("="*90)
words = words[words.str.len() >= 2]                                   # '및' 같은 한 글자는 뺀다
print(words.head(3))
print("="*90)
words = words[~words.isin(["관리", "기술", "능력", "활용", "통한", "위한"])]   # 어느 직무에나 나오는 낱말은 뺀다
print(words.head(3))
print("="*90)
words.value_counts().head(20)                                         # 많은 순 20개

2500    C/C++
2500       기반
2500      시스템
Name: skills_and_expertise_list, dtype: object
==========================================================================================
2500    C/C++
2500       기반
2500      시스템
Name: skills_and_expertise_list, dtype: object
==========================================================================================
2500    C/C++
2500       기반
2500      시스템
Name: skills_and_expertise_list, dtype: object
==========================================================================================

skills_and_expertise_list
최적화       456
설계        429
시스템       349
기반        283
분석        218
데이터베이스    210
개발        184
사용자       174
레거시       146
소프트웨어     141
코드        136
교육        133
유지보수      121
자바        120
구현        113
인터페이스     109
교육용       109
쿼리        108
요구사항      105
작성        103
Name: count, dtype: int64

skills = mine["skills_and_expertise_list"].str.findall(r"'([^']+)'")   # 작은따옴표 안의 항목을 리스트로 꺼낸다
skills = skills.explode()                                             # 리스트 항목 하나가 행 하나가 되게 펼친다
words = skills.str.split(" ").explode()                               # 항목을 띄어쓰기로 쪼개 낱말 하나가 행 하나
words = words[words.str.len() >= 2]                                   # '및' 같은 한 글자는 뺀다
words = words[~words.isin(["관리", "기술", "능력", "활용", "통한", "위한"])]   # 어느 직무에나 나오는 낱말은 뺀다
words.value_counts().head(20)                                         # 많은 순 20개

skills_and_expertise_list
최적화       456
설계        429
시스템       349
기반        283
분석        218
데이터베이스    210
개발        184
사용자       174
레거시       146
소프트웨어     141
코드        136
교육        133
유지보수      121
자바        120
구현        113
인터페이스     109
교육용       109
쿼리        108
요구사항      105
작성        103
Name: count, dtype: int64