레이블이 Unicode인 게시물을 표시합니다. 모든 게시물 표시
레이블이 Unicode인 게시물을 표시합니다. 모든 게시물 표시

2024년 12월 19일 목요일

Unity TextMeshPro 유니티 텍스트 메시 프로 한글이 네모로 나올때, 일본어 폰트 추가

 최근 일본어 추가 작업하면서 TMP 사용시 charset range 어떻게 해야할지 정리된것이 없어서 여기저기 찾아보고 정리하였습니다. 그리고 한글에 관해서도 몰랐던 사실도 정리해봅니다.

1. 들어가기에 앞서

FontAsset Creator로 생성할때 Character Set 부분 확실하게 알고 넘어가야 합니다.

중요한 3가지만 알면 됩니다.
아래 3개는 결국 같은 의미이고 표현하는 것에만 차이가 있습니다.
Custom Range : 10진수
Unicode Range(Hex) : 16진수
Custom Charactors : 글자
추가로 입력간에는 공백없이 , 나 -(범위 지정시)를 사용합니다.

예를 들어 인터넷 검색 해서 범위를 이렇게 설정하라고 한다면

32-126,44032-55203,12593-12643,8200-9900

위 내용은 이것은 10진수 이므로 Custom Range로 설정을 하면 됩니다.

만약 0020-007E,AC00-D7A3,3131-3163,2008-26AC 이렇게 주어진다면

이것은 16진수입니다. Unicode Range(Hex) 이것으로 설정하면 됩니다.


2. 한글 영역

검색해보면 32-126,44032-55203,12593-12643,8200-9900 이렇게 알려주는 곳이 있는데 16진수로 해보면 0020-007E,AC00-D7A3,3131-3163,2008-26AC 같은 값입니다.

해당 영역을 세분화 해보면 아래와 같습니다.


영어 범위 : 0020-007E  : 94

한글 범위 : AC00-D7A3  : 11171

한글 자모 : 3131-3163  : 50   ->  ㄱ, ㄴ, ㄷ 이런식입니다. 

특수 문자 : 2008-26AC  : 1700 ->  " 따옴포 같은 특수 문자들 


위 영역은 유니코드 한글 영역의 전체이므로 메모리상 여유가 된다면 추가해도 되긴 하는데 사실 게임에서 많이 사용안하는 코드가 많을 것입니다.

유니코드 많이 사용 하기 전 시절 상용 한글 이라는 것이 있었습니다. 많이 사용하는 한글 2350글자를 모아둔 코드입니다.

그래서 일부 개발자 분들은 상용 한글 2350+영문+특수  이렇게 공유하는 분들도 있습니다. 이 글자만 해도 충분하니까요. 제가 생각해도 충분할 것 같습니다. 문제는 코드는 유니코드에서는 연속 영역이 아닌 부분이 많아서 범위 영역으로 공유를 하지 않고 있습니다. 글자 그대로 복사해서 Custom Charactors로 넣는것을 추천드립니다.

상용한글 2350+영문+특수:

!"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_`abcdefghijklmonpqrstuvwxyz{|}~ㄱㄴㄷㄹㅁㅂㅅㅇㅈㅊㅋㅌㅍㅎㅏㅑㅓㅕㅗㅛㅜㅠㅡㅣ가각간갇갈갉갊감갑값갓갔강갖갗같갚갛개객갠갤갬갭갯갰갱갸갹갼걀걋걍걔걘걜거걱건걷걸걺검겁것겄겅겆겉겊겋게겐겔겜겝겟겠겡겨격겪견겯결겸겹겻겼경곁계곈곌곕곗고곡곤곧골곪곬곯곰곱곳공곶과곽관괄괆괌괍괏광괘괜괠괩괬괭괴괵괸괼굄굅굇굉교굔굘굡굣구국군굳굴굵굶굻굼굽굿궁궂궈궉권궐궜궝궤궷귀귁귄귈귐귑귓규균귤그극근귿글긁금급긋긍긔기긱긴긷길긺김깁깃깅깆깊까깍깎깐깔깖깜깝깟깠깡깥깨깩깬깰깸깹깻깼깽꺄꺅꺌꺼꺽꺾껀껄껌껍껏껐껑께껙껜껨껫껭껴껸껼꼇꼈꼍꼐꼬꼭꼰꼲꼴꼼꼽꼿꽁꽂꽃꽈꽉꽐꽜꽝꽤꽥꽹꾀꾄꾈꾐꾑꾕꾜꾸꾹꾼꿀꿇꿈꿉꿋꿍꿎꿔꿜꿨꿩꿰꿱꿴꿸뀀뀁뀄뀌뀐뀔뀜뀝뀨끄끅끈끊끌끎끓끔끕끗끙끝끼끽낀낄낌낍낏낑나낙낚난낟날낡낢남납낫났낭낮낯낱낳내낵낸낼냄냅냇냈냉냐냑냔냘냠냥너넉넋넌널넒넓넘넙넛넜넝넣네넥넨넬넴넵넷넸넹녀녁년녈념녑녔녕녘녜녠노녹논놀놂놈놉놋농높놓놔놘놜놨뇌뇐뇔뇜뇝뇟뇨뇩뇬뇰뇹뇻뇽누눅눈눋눌눔눕눗눙눠눴눼뉘뉜뉠뉨뉩뉴뉵뉼늄늅늉느늑는늘늙늚늠늡늣능늦늪늬늰늴니닉닌닐닒님닙닛닝닢다닥닦단닫달닭닮닯닳담답닷닸당닺닻닿대댁댄댈댐댑댓댔댕댜더덕덖던덛덜덞덟덤덥덧덩덫덮데덱덴델뎀뎁뎃뎄뎅뎌뎐뎔뎠뎡뎨뎬도독돈돋돌돎돐돔돕돗동돛돝돠돤돨돼됐되된될됨됩됫됴두둑둔둘둠둡둣둥둬뒀뒈뒝뒤뒨뒬뒵뒷뒹듀듄듈듐듕드득든듣들듦듬듭듯등듸디딕딘딛딜딤딥딧딨딩딪따딱딴딸땀땁땃땄땅땋때땍땐땔땜땝땟땠땡떠떡떤떨떪떫떰떱떳떴떵떻떼떽뗀뗄뗌뗍뗏뗐뗑뗘뗬또똑똔똘똥똬똴뙈뙤뙨뚜뚝뚠뚤뚫뚬뚱뛔뛰뛴뛸뜀뜁뜅뜨뜩뜬뜯뜰뜸뜹뜻띄띈띌띔띕띠띤띨띰띱띳띵라락란랄람랍랏랐랑랒랖랗래랙랜랠램랩랫랬랭랴략랸럇량러럭런럴럼럽럿렀렁렇레렉렌렐렘렙렛렝려력련렬렴렵렷렸령례롄롑롓로록론롤롬롭롯롱롸롼뢍뢨뢰뢴뢸룀룁룃룅료룐룔룝룟룡루룩룬룰룸룹룻룽뤄뤘뤠뤼뤽륀륄륌륏륑류륙륜률륨륩륫륭르륵른를름릅릇릉릊릍릎리릭린릴림립릿링마막만많맏말맑맒맘맙맛망맞맡맣매맥맨맬맴맵맷맸맹맺먀먁먈먕머먹먼멀멂멈멉멋멍멎멓메멕멘멜멤멥멧멨멩며멱면멸몃몄명몇몌모목몫몬몰몲몸몹못몽뫄뫈뫘뫙뫼묀묄묍묏묑묘묜묠묩묫무묵묶문묻물묽묾뭄뭅뭇뭉뭍뭏뭐뭔뭘뭡뭣뭬뮈뮌뮐뮤뮨뮬뮴뮷므믄믈믐믓미믹민믿밀밂밈밉밋밌밍및밑바박밖밗반받발밝밞밟밤밥밧방밭배백밴밸뱀뱁뱃뱄뱅뱉뱌뱍뱐뱝버벅번벋벌벎범법벗벙벚베벡벤벧벨벰벱벳벴벵벼벽변별볍볏볐병볕볘볜보복볶본볼봄봅봇봉봐봔봤봬뵀뵈뵉뵌뵐뵘뵙뵤뵨부북분붇불붉붊붐붑붓붕붙붚붜붤붰붸뷔뷕뷘뷜뷩뷰뷴뷸븀븃븅브븍븐블븜븝븟비빅빈빌빎빔빕빗빙빚빛빠빡빤빨빪빰빱빳빴빵빻빼빽뺀뺄뺌뺍뺏뺐뺑뺘뺙뺨뻐뻑뻔뻗뻘뻠뻣뻤뻥뻬뼁뼈뼉뼘뼙뼛뼜뼝뽀뽁뽄뽈뽐뽑뽕뾔뾰뿅뿌뿍뿐뿔뿜뿟뿡쀼쁑쁘쁜쁠쁨쁩삐삑삔삘삠삡삣삥사삭삯산삳살삵삶삼삽삿샀상샅새색샌샐샘샙샛샜생샤샥샨샬샴샵샷샹섀섄섈섐섕서석섞섟선섣설섦섧섬섭섯섰성섶세섹센셀셈셉셋셌셍셔셕션셜셤셥셧셨셩셰셴셸솅소속솎손솔솖솜솝솟송솥솨솩솬솰솽쇄쇈쇌쇔쇗쇘쇠쇤쇨쇰쇱쇳쇼쇽숀숄숌숍숏숑수숙순숟술숨숩숫숭숯숱숲숴쉈쉐쉑쉔쉘쉠쉥쉬쉭쉰쉴쉼쉽쉿슁슈슉슐슘슛슝스슥슨슬슭슴습슷승시식신싣실싫심십싯싱싶싸싹싻싼쌀쌈쌉쌌쌍쌓쌔쌕쌘쌜쌤쌥쌨쌩썅써썩썬썰썲썸썹썼썽쎄쎈쎌쏀쏘쏙쏜쏟쏠쏢쏨쏩쏭쏴쏵쏸쐈쐐쐤쐬쐰쐴쐼쐽쑈쑤쑥쑨쑬쑴쑵쑹쒀쒔쒜쒸쒼쓩쓰쓱쓴쓸쓺쓿씀씁씌씐씔씜씨씩씬씰씸씹씻씽아악안앉않알앍앎앓암압앗았앙앝앞애액앤앨앰앱앳앴앵야약얀얄얇얌얍얏양얕얗얘얜얠얩어억언얹얻얼얽얾엄업없엇었엉엊엌엎에엑엔엘엠엡엣엥여역엮연열엶엷염엽엾엿였영옅옆옇예옌옐옘옙옛옜오옥온올옭옮옰옳옴옵옷옹옻와왁완왈왐왑왓왔왕왜왝왠왬왯왱외왹왼욀욈욉욋욍요욕욘욜욤욥욧용우욱운울욹욺움웁웃웅워웍원월웜웝웠웡웨웩웬웰웸웹웽위윅윈윌윔윕윗윙유육윤율윰윱윳융윷으윽은을읊음읍읏응읒읓읔읕읖읗의읜읠읨읫이익인일읽읾잃임입잇있잉잊잎자작잔잖잗잘잚잠잡잣잤장잦재잭잰잴잼잽잿쟀쟁쟈쟉쟌쟎쟐쟘쟝쟤쟨쟬저적전절젊점접젓정젖제젝젠젤젬젭젯젱져젼졀졈졉졌졍졔조족존졸졺좀좁좃종좆좇좋좌좍좔좝좟좡좨좼좽죄죈죌죔죕죗죙죠죡죤죵주죽준줄줅줆줌줍줏중줘줬줴쥐쥑쥔쥘쥠쥡쥣쥬쥰쥴쥼즈즉즌즐즘즙즛증지직진짇질짊짐집짓징짖짙짚짜짝짠짢짤짧짬짭짯짰짱째짹짼쨀쨈쨉쨋쨌쨍쨔쨘쨩쩌쩍쩐쩔쩜쩝쩟쩠쩡쩨쩽쪄쪘쪼쪽쫀쫄쫌쫍쫏쫑쫓쫘쫙쫠쫬쫴쬈쬐쬔쬘쬠쬡쭁쭈쭉쭌쭐쭘쭙쭝쭤쭸쭹쮜쮸쯔쯤쯧쯩찌찍찐찔찜찝찡찢찧차착찬찮찰참찹찻찼창찾채책챈챌챔챕챗챘챙챠챤챦챨챰챵처척천철첨첩첫첬청체첵첸첼쳄쳅쳇쳉쳐쳔쳤쳬쳰촁초촉촌촐촘촙촛총촤촨촬촹최쵠쵤쵬쵭쵯쵱쵸춈추축춘출춤춥춧충춰췄췌췐취췬췰췸췹췻췽츄츈츌츔츙츠측츤츨츰츱츳층치칙친칟칠칡침칩칫칭카칵칸칼캄캅캇캉캐캑캔캘캠캡캣캤캥캬캭컁커컥컨컫컬컴컵컷컸컹케켁켄켈켐켑켓켕켜켠켤켬켭켯켰켱켸코콕콘콜콤콥콧콩콰콱콴콸쾀쾅쾌쾡쾨쾰쿄쿠쿡쿤쿨쿰쿱쿳쿵쿼퀀퀄퀑퀘퀭퀴퀵퀸퀼큄큅큇큉큐큔큘큠크큭큰클큼큽킁키킥킨킬킴킵킷킹타탁탄탈탉탐탑탓탔탕태택탠탤탬탭탯탰탱탸턍터턱턴털턺텀텁텃텄텅테텍텐텔템텝텟텡텨텬텼톄톈토톡톤톨톰톱톳통톺톼퇀퇘퇴퇸툇툉툐투툭툰툴툼툽툿퉁퉈퉜퉤튀튁튄튈튐튑튕튜튠튤튬튱트특튼튿틀틂틈틉틋틔틘틜틤틥티틱틴틸팀팁팃팅파팍팎판팔팖팜팝팟팠팡팥패팩팬팰팸팹팻팼팽퍄퍅퍼퍽펀펄펌펍펏펐펑페펙펜펠펨펩펫펭펴편펼폄폅폈평폐폘폡폣포폭폰폴폼폽폿퐁퐈퐝푀푄표푠푤푭푯푸푹푼푿풀풂품풉풋풍풔풩퓌퓐퓔퓜퓟퓨퓬퓰퓸퓻퓽프픈플픔픕픗피픽핀필핌핍핏핑하학한할핥함합핫항해핵핸핼햄햅햇했행햐향허헉헌헐헒험헙헛헝헤헥헨헬헴헵헷헹혀혁현혈혐협혓혔형혜혠혤혭호혹혼홀홅홈홉홋홍홑화확환활홧황홰홱홴횃횅회획횐횔횝횟횡효횬횰횹횻후훅훈훌훑훔훗훙훠훤훨훰훵훼훽휀휄휑휘휙휜휠휨휩휫휭휴휵휸휼흄흇흉흐흑흔흖흗흘흙흠흡흣흥흩희흰흴흼흽힁히힉힌힐힘힙힛힝

다음과 같이 넣습니다.



3. 일본어

사실 이글을 쓰게 된 이유 중 하나가 일본어 때문인데요, 일본어는 한자가 있어서 어렵습니다.

제일 아래 표에 따르면 아래와 같이 구성 되어 있습니다. 

히라가나U+3041 - U+3096,

U+309D, U+309E

가타카나

전자/반자 문자

U+30A1 - U+30FA, U+30FC
간지CJK 통합 한자 참조
더블바이트 숫자FF10 - FF19

이것을 16진수로 만들어보면, 다음과 같습니다.

3041-3096,309D,309E,30A1-30FA,30FC,FF10-FF19

이것만 해서는 안됩니다. 일본어에 한자가 많이 있어서 일부 네모 상자로 나옵니다.

일반4E00 - 9FEA
확장 AU+3400 - U+4DB5
CJK 호환용 한자F900 - FA6D

결론은 한자 포함해서 아래와 같이 해야 합니다. 

모든 문자를 누락하지 않기 위해서 atlas 크기가 굉장히 커집니다.

3041-3096,309D,309E,30A1-30FA,30FC,FF10-FF19,3400-4DB5,4E00-9FCB,F900-FA6A

일본에서 주로 사용하는 한자를 분리 가능하신 분이 있다면 제보 부탁드립니다.


저의 경우 너무 많은 메모리 사용으로 인한 낭비가 심해서 실제 사용하는 부분만 추출해서 해당 부분만 코드를 넣었습니다.

코드는 아래와 같이 작성하였고 text 부분에 문장을 넣으면 unicode 영역을 리턴합니다.

그중에 영어 범위나 한글 범위를 제외하고 범위를 생성 하였습니다. 매번 문장이 변경되거나 추가될때 일본어 폰트를 다시 작업해 줘야 하는 단점이 있습니다.

https://github.com/donarts/sourcecode/blob/main/python/example/_70_unicode_range/get_unicode_range.py


4. 일본어 폰트

폰트는 라이센스가 자유로운 구글 폰트 사용하였습니다. 아래 링크에서 다운로드 가능합니다.

https://fonts.google.com/noto/specimen/Noto+Sans


5. Fallback Font Assets 설정

설정한 폰트가 없을때 다른 font assets을 찾도록 하는 기능입니다.

폰트를 선택하면 아래쪽에 메뉴가 있습니다.

다국어를 지원 할때 유용한 기능입니다.




6. 부록 전체 코드 범위

링크에서 가져왔습니다.

언어문자범위
아랍어

U+0600 - U+0605, U+0620 - U+0669, U+066E - U+06D3

CJK 통합 한자일반4E00 - 9FEA
확장 AU+3400 - U+4DB5
CJK 호환용 한자F900 - FA6D
Chinese중국 간지CJK 통합 한자 참조
그리스어

모든 알파벳 문자(대문자 및 소문자)가 지원됩니다. 확장 문자의 경우(ά έ ή ί ϊ ΐ ό ύ ϋ ΰ ώ €)

U+0370 - U+0374,

U+0376 - U+0377,

U+037A - U+037D,

U+037F - U+0386,

U+0388 - U+038A,

U+038C, U+038E - U+03A1, U+03A3 - U+03F5,

U+03F7 - U+03FF,

U+1F00 - U+1F15,

U+1F18 - U+1F1D,

U+1F20 - U+1F45,

U+1F48 - U+1F4D,

U+1F50 - U+1F57, U+1F59, U+1F5B, U+1F5D,

U+1F5F - U+1F7D,

U+1F80 - U+1FB4,

U+1FB6 - U+1FBC, U+1FBE,

U+1FC2 - U+1FC4,

U+1FC6 - U+1FCC,

U+1FD0 - U+1FD3,

U+1FD6 - U+1FDB,

U+1FE0 - U+1FEC,

U+1FF2 - U+1FF4,

1FF6 - 1FFC

일본어히라가나U+3041 - U+3096,

U+309D, U+309E

가타카나

전자/반자 문자

U+30A1 - U+30FA, U+30FC
간지CJK 통합 한자 참조
더블바이트 숫자FF10 - FF19
한국어한글 음절AC00 - D7A3
라틴어a-z

A-Z

U+0061 - U+007A

U+0041 - U+005A

라틴어 확장

(체코어, 덴마크어, 네덜란드어, 핀란드어, 프랑스어, 독일어, 헝가리어, 이탈리아어, 노르웨이어, 폴란드어, 포르투갈어, 루마니아어, 스페인어, 스웨덴어)

라틴어-1 보충

U+00C0 - U+00D6,

U+00D8 - U+00F6,

00F8 - 00FF

라틴어 확장-A

U+0100 - U+017F

라틴어 확장-B

U+0180 - U+024F

라틴어 확장-C

2C60 - 2C7F

통화 기호U+20AC
숫자0-9U+0030 - U+0039
러시아어키릴 문자

U+0400 - U+0481,

U+0483 - U+0487,

U+048A - U+04FF

특수 문자하이픈(-) 및 밑줄(_)U+002D, U+005F


참고 링크

https://docs.automationanywhere.com/ko-KR/bundle/enterprise-v2019/page/enterprise-cloud/topics/aae-client/bot-creator/using-variables/unicode-range.html