파이썬(Python) 고급문자열 처리
2020. 12. 31. 14:39
고급 문자열 처리¶
In [3]:
## 모듈 가져오기
import pandas as pd
import numpy as np
from pandas import Series, DataFrame
# 그래픽에 필요힌 페키지와 라이브러리를 가져 온다.
import matplotlib as mpl
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm
%matplotlib inline
# 그래프에서 마이너스 폰트 깨지는 문제 해결
# (폰트를 지정하면 이러한 문제가 발생하기 때문에 아래 설정)
mpl.rcParams['axes.unicode_minus'] = False
문자 인코딩 문제¶
- 읽기, 쓰기에서 맞는 인코딩을 사용해야 한다.In [3]:
# 잘 읽어온다.
pd.read_csv('data/geeks.csv')
Out[3]:
In [5]:
# Encoding 문제로 오류 발생
pd.read_csv('data/geeks_cp949.txt')
In [6]:
# Encoding 맞게 변경
pd.read_csv('data/geeks_cp949.txt', encoding='cp949')
Out[6]:
In [7]:
# encoding을 지정하지 않으면 윈도우 기본 인코딩을 사용: 한글 원도우는 code page 949가 기본이다.
frame = pd.read_csv('data/geeks.csv')
frame
Out[7]:
In [8]:
# 오류발생....
frame['직업']
In [10]:
# 칼럼 확인
frame.columns
# 직업이 .... ㅠㅠ 칼럼명에 공백이 있다.
Out[10]:
In [11]:
#' 직업' 직업 앞에 ' '공백이 들어가 있다.
frame[' 직업']
Out[11]:
In [12]:
# 칼럼명을 변경한다.
# rename을 이용해 칼럼의 문자열을 가져와서 str.strip 시킨다.
frame = frame.rename(columns=str.strip)
In [13]:
# 이제 '직업'으로 칼럼이 변경되었다.
frame['직업']
Out[13]:
정규식을 활용해 읽어올때 처리¶
In [15]:
import re
# 정규식 사용을 위해
In [17]:
# 구분자가 공백 한개 이상인 패턴인 경우 정규식을 사용하여 공백한개 이상을 sep에 셋팅한다.
pd.read_csv('data/ex3.csv', sep='\s+')
Out[17]:
문자열 다루기¶
In [18]:
text = 'a, b, 성주'
In [19]:
# 문자열 분리하기(자르기)
text.split(',')
Out[19]:
In [20]:
#앞 뒤 공백 삭제
' 안녕 하세요. \r\n'.strip()
Out[20]:
In [21]:
# split을 사용하는 경우에는 strip을 보통 같이 사용한다.
# 내장리스트 문법( --> [t.strip() for t in text.split(',')] )으로 문자열 분리후 앞뒤 공백 제거.
items = [t.strip() for t in text.split(',')]
items
Out[21]:
In [22]:
# 문자열 합치기
':'.join(items)
Out[22]:
In [28]:
# 문자열의 포함 여부 확인 --> in 연산자
text = 'If the columns have multiple levels, determines how the other levels are named.'
'how' in text
Out[28]:
In [29]:
'levels' in text
Out[29]:
In [30]:
# 포함된 문자열이 몇개인지 확인
text.count('levels')
Out[30]:
In [33]:
# 포함된 문자열의 위치 --> 2개 이상이 존재하는 경우 첫번째 찾은 문자의 위치
text.find('the')
Out[33]:
In [34]:
# 없는 경우 -1 값 리턴
text.find('java')
Out[34]:
In [35]:
# find와 마찬가지로 위치를 알려주지만 없는 경우 예외가 발생한다.
text.index('python')
#text.index('java')
In [36]:
# 문자열 대체
text.replace(' ', '')
Out[36]:
In [37]:
# 빈문자와 공백문자의 차이 이해
len(' ')
Out[37]:
In [38]:
len('')
Out[38]:
In [39]:
# 대문자
text.upper()
Out[39]:
In [40]:
# 소문자
text.lower()
Out[40]:
정규 표현식¶
In [8]:
import re
# 정규식 사용을 위해
In [45]:
text = """
제가 뭘 샀는데요. 어쩌구 저쩌구... 하여튼 연락 주세요. 제 번호는
010-1234-5678 입니다. 혹시 연락이 안되면 010.4567.1234로
부탁 드립니다.
"""
In [44]:
# 공백(길이가 1이상의 모든)을 기준으로 분리
re.split('\s+' , text)
Out[44]:
In [46]:
# 전화번호 찾기 []안의 문자는 이것들 중 하나가 나오면 이다. 리턴 결과는 리스트 형식
전화번호패턴 = '\d{3}[.-]\d{4}[-.]\d{4}'
re.findall(전화번호패턴, text)
Out[46]:
In [47]:
# 정규식에서는 그룹을 만들기 위해서 ()를 사용 한다.
그룹패턴식 = '(\d{3})[.-](\d{4})[.-](\d{4})'
In [49]:
groups = re.findall(그룹패턴식, text)
groups
## 튜플의 리스트로 반환
Out[49]:
In [50]:
#() 만든 그룹은 앞에서 부터 차례로 1, 2, 3 순번이 붙는다. 순번은 1부터 시작한다.
# r'\1-****-\3' 패턴식에서 r은 뒤의 문자열을 입력한 그대로 사용한다는 의미이다. --> c#의 @와 동일한 기능이다.
# --> 그룹1과 그룹3은 그대로 출력하고 그룹2는 ****으로 치환 한다.
text2 = re.sub(그룹패턴식, r'\1-****-\3', text)
print(text2)
In [13]:
튜링 = """앨런 매티슨 튜링(영어: Alan Mathison Turing, OBE, FRS, 1912년 6월 23일 ~ 1954년 6월 7일)은 영국의 수학자, 암호학자, 논리학자이자 컴퓨터 과학의 선구적 인물이다. 알고리즘과 계산 개념을 튜링 기계라는 추상 모델을 통해 형식화함으로써 컴퓨터 과학의 발전에 지대한 공헌을 했다.[2][3][4] 튜링 테스트의 고안으로도 유명하다. ACM에서 컴퓨터 과학에 중요한 업적을 남긴 사람들에게 매년 시상하는 튜링상은 그의 이름을 따 제정한 것이다. 이론 컴퓨터 과학과 인공지능 분야에 지대한 공헌을 했기 때문에 "컴퓨터 과학의 아버지"라고 불린다.
1945년에 그가 고안한 튜링 머신은 초보적 형태의 컴퓨터로, 복잡한 계산과 논리 문제를 처리할 수 있었다. 하지만 튜링은 1952년에 당시에는 범죄로 취급되던 동성애 혐의로 영국 경찰에 체포돼 유죄 판결을 받았다.[5] 감옥에 가는 대신 화학적 거세를 받아야 했던 그는, 2년 뒤 청산가리를 넣은 사과를 먹고 자살했다.[5]
사후 59년만인 2013년 12월 24일에 엘리자베스 2세 여왕이 크리스 그레일링 법무부 장관의 건의를 받아들여 튜링의 동성애 죄를 사면하였다. 이어서 무죄 판결을 받고 복권되었다.[5]
"""
In [14]:
# 1.yyyy년 mm월 dd일 형식의 문자열 추출
날짜패턴 = r"\d{4}년\s+\d{1,2}월\s+\d{1,2}일"
re.findall(날짜패턴, 튜링)
Out[14]:
In [15]:
날짜그룹패턴 = r"(\d{4})년\s+(\d{1,2})월\s+(\d{1,2})일"
re.findall(날짜그룹패턴, 튜링)
Out[15]:
In [1]:
#날짜그룹 = r"(\d{4})년\s+(\d{2})월\s+(\d{2})일"
변환그룹패턴 = r"\1.\2.\3"
result = re.sub(날짜그룹패턴, 변환그룹패턴, 튜링)
print(result)
변환하는 날짜 형식을 년도4자리.월2자리.일2자리 정형화된 형식으로 변환¶
- 1954.6.7 --> 1954.06.07 형식으로...
In [61]:
from datetime import datetime, date, time
In [62]:
# 문자열의 형식 지정 --> 02d 표현형식(02) + 자료형(d)
# 입력 인수로 함수 넣기를 사용한다.
# 1. 함수를 만든다. 함수는 def f(match)로 만들고 매치된 문자를 변환해서 리턴 한다.
# 2. complie을 이용해서 매치 패턴을 만든다.
# 3. sub(함수, 문자)를 실행 한다.
# 1 날짜 포멧을 변환하는 함수를 만든다. 매개 변수는 match
def 날짜포멧변환(m):
value = str(m.group())
value = re.findall(날짜그룹패턴, value)[0]
dt = datetime(int(value[0]), int(value[1]), int(value[2]))
#value = '{0}-{1}-{2}'.format(value[0], value[1], value[2])
return '{0.year}.{0.month:02d}.{0.day:02d}'.format(dt)
#return str(value)
In [63]:
#'{0}-{1:02d}-{2:02d}'.format(datetime)
# 2 complie을 이용해 포멧함수 호출해서 변환
p = re.compile(날짜패턴)
print(p.sub(날짜포멧변환, 튜링))
In [60]:
p.sub?
In [17]:
# 날씨 데이터 로딩
날씨 = pd.read_excel('data/weather.xlsx')
weather 칼럼의 날씨 정보 문자열 처리¶
- '/' 구분자로 날씨 정보 존재
- 첫번째 맑음여부, 두번째 안개여부, 세번째 비여부 등의 정보 있음.
- 여기서 첫번째 항목만 분리 표시
In [21]:
# weather 칼럼 확인
날씨[['weather']].sample(10)
Out[21]:
In [23]:
# weather 열에 있는 각 문자열들을 모두 분할.
날씨['weather'].str.split('/')[:10]
Out[23]:
In [25]:
# 열의 분할된 문자리스트에서 첫번째 문자열
날씨['weather'].str.split('/').str[0][:10]
Out[25]:
문자열에서 전화번호 패턴만 분리하기¶
- 패턴은 정규식을 사용한다.
- 문자열의 시리즈 데이터에서 전화번호만 뽑아온다.
- str 사용 : str은 배열의 각각의 문자를 반환한다.
- findall : 일치하는 패턴은 모두 찾는다.
- replace : 일치하는 패턴을 찾아서 변환 한다.
- contains : 일치하는 패턴이 존재하는지 여부를 반환 한다.
- slpit : 지정된 구분자로 분할 한다.
- join : 지정된 구분자로 배열 또는 리스트를 하나의 문자열로 합친다.
- str 사용 : str은 배열의 각각의 문자를 반환한다.
In [26]:
# 시리즈에 대한 처리
sr = Series([
'02-1357-2468 또는 010-1234-6789입니다. ',
'연락처: 010-2345-7890'
])
In [27]:
전화번호패턴 = r'\d{2,3}-\d{4}-\d{4}'
sr.str.findall(전화번호패턴)
Out[27]:
In [78]:
전화번호그룹패턴 = r'(\d{2,3})-(\d{4})-(\d{4})'
전화번호변환패턴 = r'\1-****-\3'
#sr.str.replace(전화번호그룹패턴, 전화번호변환패턴)
In [79]:
sr.str.replace(전화번호그룹패턴, 전화번호변환패턴)
Out[79]:
In [80]:
# .str[0] 쓰는 이유. --> str.get[0] 과 동일한 의미이다.
# 첫번째 항목(문자열)을 가져온다. 0 인덱스의 두번째 항목인 010-1234-5678은 반환되지 않는다.
전번 = sr.str.findall(전화번호패턴).str[0]
전번
Out[80]:
In [81]:
전번.str.replace(전화번호그룹패턴, 전화번호변환패턴)
Out[81]:
In [82]:
## contains 함수를 이용해서 날씨에 비온 것만 확인
날씨['weather'].str.contains('비')[:5]
Out[82]:
In [83]:
## contains 함수를 이용해 날씨에 비 또는 눈이 내린 것을 정규식을 이용해서 확인
날씨['weather'].str.contains('비|눈')[:5]
Out[83]:
In [84]:
# 분할하고 다시 조인해서 구분자 변경
날씨['weather'].str.split('/').str.join(':')[:10]
Out[84]:
In [89]:
# replace함수를 이용해 '/'를 ':' 로 변환
날씨['weather'].str.replace('/', ':')[:10]
Out[89]:
Series에서 str함수를 사용할때와 사용하지 않을땡의 차이¶
Series에서 str 함수를 사용하여 replace¶
In [88]:
# str 함수를 사용할때 --> 내부 셀들의 문자열에 대해서 repace 수행
날씨['weather'].str.replace('구름많음', 'cloudy')[:10]
Out[88]:
Series에서 str함수를 사용하지 않고 replace¶
In [90]:
# str 함수를 쓰지 않을때의 결과 차이 확인 --> 4,5,7,9 색인의 변환 결과가 다르다.
#즉 내부 셀의 텍스트를 가지고 처리를 하는가 셀 전체를 대상으로 처리하는가의 차이를 보인다.
# 셀 자체에 대해서 replace 수행... --> 셀값 전체가 구름많음 일때만 교체된다.
날씨['weather'].replace('구름많음', 'cloudy')[:10]
Out[90]:
지역별 눈 또는 비가 온 날씨와 안온 날씨를 표시하기¶
In [91]:
# 지역 도수 확인
날씨['location'].value_counts()
Out[91]:
In [92]:
# 눈비 확인
눈비 = 날씨['weather'].str.contains('눈|비')
In [93]:
눈비 = 눈비.replace({True: '눈비', False: '안옴'})
In [94]:
# 위 불리언 필터를 이용해서 눈과 비가 온 날과 안온날로 분리된 그룹으로 각 지역의 온도의 평균을 구할 수 있다.
날씨.pivot_table('avgTemp', aggfunc='mean', index='location', columns=눈비)
Out[94]:
In [96]:
# 날씨의 weather에서 글자가 많은 것을 선택....
필터 = 날씨['weather'].str.len() > 10
날씨[필터]['weather'].sample(10)
Out[96]:
In [99]:
# 날씨의 weather에서 날씨 속성이 여러개인것. (2개 이상인 것들만 추출)
# .str.split('/') 의 결과는 문자열이 아니지만 문자열과 비슷하게 취급... 헷갈림....
# split()한 것들을 str을 이용해 길이를 측정.
복수날씨필터 = 날씨['weather'].str.split('/').str.len() > 2
날씨[복수날씨필터]['weather']
Out[99]:
In [ ]:
728x90
'프로그래밍 > Python' 카테고리의 다른 글
| 파이썬(Python) 시계열분석 (0) | 2020.12.31 |
|---|---|
| 파이썬(Python) 고급연산 (0) | 2020.12.31 |
| 파이썬(Python) - 분석 실습 영화평점분석 (0) | 2020.12.29 |
| 파이썬(Python) 분석실습 -웹로그 분석 (0) | 2020.12.29 |
| 파이썬(Python) 분석실습 - URL을 통한 HTML 데이터 수집 및 분석 (0) | 2020.12.29 |
