[3] <문제 1> 분석

이전 글 : 2023.11.16 - [Project/Math_Photo_Project] - [2] GitHub는 신이고, 나는 멍청하다.

 

<문제 1>

{수식}과 {문제 글}이 혼용되어 있을 경우, LaTeX 언어가 제대로 생성되지 않는다.

 

<문제 1>을 조금 더 세분화해서 문제를 검토해보겠다.

 

세분화 1 - {문제 글} + {문제 번호} +  {수식}의 상황

세분화 1-1 - {문제 글} + {수식}의 상황

 

세분화 2 - {문제 번호} + {수식 1} + {수식 2}의 상황

세분화 2-1 - {수식 1} + {수식 2}의 상황

 

<세분화 1> 검증

[그림 1] 세분화 1의 Data

Result

\begin{array}{l l}{{\mathrm{simpity~to~to~opergessions}}}\\ {{{}}}&{{{}}}\\ {{{}_{\mathrm{a}})\quad{\sqrt{125}+3\sqrt{2}-{\frac{16}{\sqrt{32}}}}-{\sqrt{20}},}}\end{array}

[그림 2] 세분화 1의 Result

이런... 예상과는 다르다.

수식 자체의 정확성은 매우 높다.

맨 마지막 온점 (.)이 따옴표 (,)로 표시된 것만 다르다.

심지어 {문제 번호}까지 엉성하지만 캐칭해준다. 저정도면 GPT가 충분히 읽어낼 수 있을것 같다.

다만 문제 글을 읽는 능력은 부족하다.

(당연하게 생각한다. 텍스트를 읽어내는 OCR이 아니라 LaTeX 특화 OCR이니까...)

 

세분화 1의 결과 보고는 다음과 같다.

<문제 1-1> {문제 글}은 잘 읽어내지 못한다.

세분화 1-1은 스킵하도록 하겠다. 의미 없는 행위일 것 같다.

 

<세분화 2> 검증

[그림 3] 세분화 2의 Data

Result

\begin{array}{r l}{{\mathrm{a}})}&{{}{\sqrt{125}}+3{\sqrt{2}}-{\frac{16}{\sqrt{32}}}-{\sqrt{20}}}\\ {{\mathrm{b}}&{{}5{\sqrt{12}}\left(-6{\sqrt{3}}-2{\sqrt{27}}\right)}\end{array}

[그림 4] 세분화 2의 Result

찾았다. 이뇨속 ㅋㅋ

위 문제를 보고 생각해보니, {문제 번호}가 없다면, 수식이 엉망진창이 될 것같다.

아무튼... 수식은 한줄씩만 뽑아야하나보다.

 

Summary

 

<문제 1> 이미지에 수식이 두 줄 이상 존재하면 LaTeX 문법의 오류가 발생한다.

<문제 1-1> {문제 글}은 잘 읽어내지 못한다.

 

문제 해결을 위해 조금 생각해 본 결과. LaTeX OCR만 존재해서는 정확한 System이 나오기 힘들 것 같다.

이에, Computer Vision에서 이미지를 Labeling 하는 모델이 생각났다.

[그림 5] 개체 감지 모델 (출처 - 마이크로소프트)

개체 감지 모델을 이용하여 먼저 {문제 글}, {문제 번호}, {수식}, {도형} 등으로 분류한 후 알맞게 짝짓는것이 좋을 것 같다.

되게 초라하게 시작했는데, 시작하자마자 완성이 오래 걸릴 것 같다. ㅠㅠ