refine: query list, category keywords, and relevance terms #2

Merged
KG-access merged 1 commits from feature/querymodification into main 2026-08-21 09:24:59 +00:00
3 changed files with 68 additions and 65 deletions
Showing only changes of commit ff300a087f - Show all commits
+11 -16
View File
@@ -11,24 +11,20 @@ app:
search: search:
queries: queries:
- automotive radar - automotive radar
- automotive imaging radar
- 4D radar - 4D radar
- FMCW radar MIMO - MIMO radar
- radar DOA estimation - radar DOA estimation
- wideband DOA radar
- automotive radar antenna
- radar target simulation
- radar interference - radar interference
- super resolution DOA - radar super resolution
- radar waveform
- automotive radar antenna
categories: categories:
Antenna: [antenna, array, radome, beamforming, radiation pattern, sidelobe] Antenna: [array antenna, radome, beamforming, radiation pattern, sidelobe]
Waveform: [waveform, FMCW, chirp, stepped frequency, frequency step, PMCW, phase coded] Waveform: [waveform, FMCW, chirp, stepped frequency, OFDM, PMCW, phase coded]
DOA: [DOA, direction of arrival, angle estimation, MUSIC, ESPRIT, angle FFT, beamspace, super resolution] DOA: [DOA, angle estimation, super resolution, direction of arrival, MUSIC, ESPRIT, Capon, beamspace, subspace, compressive sensing]
MIMO: [MIMO, TDM, BPM, DDMA, virtual array, multiplexing] MIMO: [MIMO, TDM, BPM, DDM, RDMA, virtual array, multiplexing]
Target Modeling: [target model, target simulation, extended target, scatterer, scattering center, Swerling, RCS]
Interference: [interference, mutual interference, interference mitigation, coexistence] Interference: [interference, mutual interference, interference mitigation, coexistence]
RF Impairment: [phase noise, nonlinearity, IQ imbalance, leakage, oscillator]
Imaging Radar: [imaging radar, 4D radar, high resolution radar, point cloud] Imaging Radar: [imaging radar, 4D radar, high resolution radar, point cloud]
relevance_terms: relevance_terms:
@@ -39,10 +35,9 @@ search:
MIMO: 2 MIMO: 2
DOA: 2 DOA: 2
direction of arrival: 2 direction of arrival: 2
super resolution: 3
antenna: 1 antenna: 1
target simulation: 2 interference: 2
phase noise: 2
interference: 1
sources: sources:
ieee: ieee:
@@ -51,7 +46,7 @@ sources:
base_url: https://ieeexploreapi.ieee.org/api/v1/search/articles base_url: https://ieeexploreapi.ieee.org/api/v1/search/articles
semantic_scholar: semantic_scholar:
enabled: false # Set true after your API key is approved/available. enabled: false
api_key_env: SEMANTIC_SCHOLAR_API_KEY api_key_env: SEMANTIC_SCHOLAR_API_KEY
base_url: https://api.semanticscholar.org/graph/v1/paper/search base_url: https://api.semanticscholar.org/graph/v1/paper/search
+52 -42
View File
@@ -1,6 +1,6 @@
# Paper Monitor 프로젝트 - 남은 작업 및 검토 TODO # Paper Monitor 프로젝트 - 남은 작업 및 검토 TODO
최종 업데이트: 2026-08-21 최종 업데이트: 2026-08-21 (IEEE 접근 차단 해제 확인)
이 문서는 지금까지 구축한 Synology NAS 기반 논문 자동 모니터링 시스템에서 **아직 미정이거나 수행하지 못한 항목**, 그리고 **운영 전에 변경 또는 추가 검토가 필요한 항목**을 정리한 TODO 목록이다. 이 문서는 지금까지 구축한 Synology NAS 기반 논문 자동 모니터링 시스템에서 **아직 미정이거나 수행하지 못한 항목**, 그리고 **운영 전에 변경 또는 추가 검토가 필요한 항목**을 정리한 TODO 목록이다.
@@ -52,14 +52,10 @@
- 검색 query 수 축소 - 검색 query 수 축소
- `max_retries` 추가 축소 - `max_retries` 추가 축소
### [ ] IEEE 접근 차단 해제 여부 확인 ### [x] IEEE 접근 차단 해제 여부 확인
- 현재 상태 - 2026-08-21 확인: 집 인터넷에서 `developer.ieee.org` HTTP 200 OK - 차단 해제 완료
- 집 인터넷: `developer.ieee.org` -> HTTP 403 - API 승인 상태 및 key 교체 여부는 아래 별도 항목에서 확인 필요
- 동일 PC + 휴대폰 테더링: HTTP 200 OK - 재활성화 시 먼저 1개 query만 수동 테스트 권장
- 현재 공인 IP 또는 해당 회선이 IEEE/Mashery/WAF에서 제한된 가능성이 매우 높음
- 현재는 `IEEE enabled: false` 유지
- 차단 해제 후에만 다시 활성화
- 재활성화 시 먼저 1개 query만 수동 테스트
- 401 / 403 / 429 / timeout / connection error 발생 시 해당 run의 IEEE 전체 중단 유지 - 401 / 403 / 429 / timeout / connection error 발생 시 해당 run의 IEEE 전체 중단 유지
- 동일 run에서 IEEE 자동 retry는 하지 않음 - 동일 run에서 IEEE 자동 retry는 하지 않음
- 요청 간 최소 간격 5초 유지 - 요청 간 최소 간격 5초 유지
@@ -69,11 +65,6 @@
- IEEE API key가 최종 승인되었는지 확인 후 활성화 - IEEE API key가 최종 승인되었는지 확인 후 활성화
- 웹사이트 접속 정상화와 API 승인 상태를 각각 확인 - 웹사이트 접속 정상화와 API 승인 상태를 각각 확인
### [ ] 노출된 IEEE API key 교체 여부 확인
- 과거 오류 로그에 API key가 query string 형태로 노출된 적이 있음
- 아직 교체하지 않았다면 새 API key 발급/회전 권장
- 현재 수정한 IEEE collector는 향후 오류 로그에서 key가 노출되지 않도록 유지
--- ---
## 2. 스케줄러 / 운영 설정 ## 2. 스케줄러 / 운영 설정
@@ -96,23 +87,24 @@ lookback_days: 14
- 매주 중복 수집량이 지나치게 많으면 10일 정도로 감소 검토 - 매주 중복 수집량이 지나치게 많으면 10일 정도로 감소 검토
- publication date가 늦게 반영되는 source가 많으면 14일 유지 - publication date가 늦게 반영되는 source가 많으면 14일 유지
### [ ] Query 목록 재정비 ### [x] Query 목록 재정비 (2026-08-21)
현재 자동차 레이더 관련 다수 query 사용. 중복도 높은 query 제거 및 관심영역별 재정비 완료.
검토 필요: 적용 결과 (현재 query 목록):
- 중복도가 지나치게 높은 query 제거 - `automotive radar`
- 실제 유용 논문을 거의 만들지 않는 query 제거 - `4D radar`
- 주요 관심영역별 query 분리 - `MIMO radar`
- `radar DOA estimation`
- `radar interference`
- `radar super resolution`
- `radar waveform`
- `automotive radar antenna`
예: 제거된 query: `automotive imaging radar` (4D radar와 중복), `FMCW radar MIMO` → `MIMO radar`로 단순화, `wideband DOA radar` / `super resolution DOA` → `radar super resolution`으로 통합, `radar target simulation` (유용 논문 적음)
- Automotive radar
- Imaging radar / 4D radar 향후 추가 검토:
- FMCW / Waveform - 수회 실행 후 각 query별 hit rate 확인
- MIMO / DDMA - 중복 비율이 여전히 높으면 추가 정리
- DOA / Wideband DOA / Super-resolution
- Antenna
- Target modeling / Scattering center
- Interference / RF impairment
### [ ] Source별 query 목록 분리 검토 ### [ ] Source별 query 목록 분리 검토
IEEE, Semantic Scholar, Crossref에서 동일한 query 세트를 사용하는 대신 source 특성에 맞게 별도 query 목록을 둘지 검토. IEEE, Semantic Scholar, Crossref에서 동일한 query 세트를 사용하는 대신 source 특성에 맞게 별도 query 목록을 둘지 검토.
@@ -152,13 +144,22 @@ sources:
- 공격적인 제목 키워드 필터링보다 쿼리 수준에서 범위 조정 - 공격적인 제목 키워드 필터링보다 쿼리 수준에서 범위 조정
- 새로운 비논문 항목이 나타나면 UI 링크 제외 목록 추가 - 새로운 비논문 항목이 나타나면 UI 링크 제외 목록 추가
### [ ] `classify_and_score()` 점수 규칙 검토 ### [~] `classify_and_score()` 카테고리 및 관련성 점수 규칙 1차 정비 (2026-08-21)
다음 항목에 대해 자동차 레이더 관련성이 명확하지 않으면 낮은 관련성 점수 부여:
- 일반 MIMO 완료된 변경 사항:
- 일반 안테나 - `Antenna` 카테고리: `antenna` 제거 → `array antenna`만 유지 (일반 안테나 논문 필터링 강화)
- 통신 전용 ISAC - `Waveform` 카테고리: `OFDM` 추가
- C/X/sub-6 GHz 논문 - `DOA` 카테고리: `Capon`, `subspace`, `compressive sensing` 추가 / `angle FFT` 제거
- 비레이더 DOA 논문 - `MIMO` 카테고리: `DDMA` → `DDM`, `RDMA` 추가
- `Target Modeling` 카테고리 제거 (자동차 레이더 관련성 낮음)
- `RF Impairment` 카테고리 제거 (자동차 레이더 관련성 낮음)
- `relevance_terms`: `interference: 1 → 2`, `super resolution: 3` 추가, `target simulation: 2` / `phase noise: 2` 제거
미완료 - 추가 검토 필요:
- [ ] 통신 전용 ISAC 논문 낮은 점수 처리
- [ ] C/X/sub-6 GHz 비레이더 논문 필터링
- [ ] 비레이더 DOA 논문 낮은 점수 처리
- 수회 실행 후 false positive 여전히 많으면 추가 규칙 도입
--- ---
@@ -468,8 +469,8 @@ OA PDF
### [ ] Semantic Scholar 연결/접근 안정화 후 재활성화 ### [ ] Semantic Scholar 연결/접근 안정화 후 재활성화
(기존 섹션 1 참조) (기존 섹션 1 참조)
### [ ] IEEE 웹사이트/API 접근 확인 후 재활성화 ### [x] IEEE 웹사이트/API 접근 확인 후 재활성화
(기존 섹션 1 참조) - 2026-08-21: 네트워크 차단 해제 확인. API 승인 상태 및 key 교체 후 `IEEE enabled: true`로 전환 가능
### [ ] provider circuit breaker 지속 운용 ### [ ] provider circuit breaker 지속 운용
현재 circuit breaker 정상 동작 중. 계속 유지. 현재 circuit breaker 정상 동작 중. 계속 유지.
@@ -571,7 +572,7 @@ app:
sources: sources:
ieee: ieee:
enabled: false enabled: false # 네트워크 차단 해제됨. API 승인 및 key 교체 확인 후 true로 전환
semantic_scholar: semantic_scholar:
enabled: false enabled: false
@@ -596,7 +597,7 @@ oa:
lookback: 14일 lookback: 14일
``` ```
현재 IEEE와 Semantic Scholar가 비활성화되어 있으므로 당분간 Crossref 중심으로 수집되고, DOI가 있는 신규 논문에 대해 Unpaywall OA 검색 및 Gemini 분석이 수행된다. IEEE 네트워크 차단은 해제되었으나 API 승인 상태 및 key 교체 확인 전까지 `enabled: false` 유지. 현재 Semantic Scholar도 비활성화 상태이므로 당분간 Crossref 중심으로 수집되고, DOI가 있는 신규 논문에 대해 Unpaywall OA 검색 및 Gemini 분석이 수행된다.
--- ---
@@ -610,7 +611,7 @@ lookback: 14일
## P1 - 필터링 품질 ## P1 - 필터링 품질
- [ ] 수회 스케줄 실행 후 Google Scholar 관련성 임계값 검토 (현재: 3, 전역: 2) - [ ] 수회 스케줄 실행 후 Google Scholar 관련성 임계값 검토 (현재: 3, 전역: 2)
- [ ] Scholar 파서 개선 (필요 시) - [ ] Scholar 파서 개선 (필요 시)
- [ ] `classify_and_score()` 점수 규칙 검토 (일반 MIMO/안테나/통신 전용 논문 처리) - [~] `classify_and_score()` 카테고리/점수 1차 정비 완료 (ISAC/C밴드/비레이더 DOA 처리는 미완)
## P1 - AI ## P1 - AI
- [ ] Gemini 429 RetryInfo/backoff 명시적 처리 (13초 간격이 주 보호, 방어 처리 추가) - [ ] Gemini 429 RetryInfo/backoff 명시적 처리 (13초 간격이 주 보호, 방어 처리 추가)
@@ -619,7 +620,8 @@ lookback: 14일
## P1 - 소스 ## P1 - 소스
- [ ] Semantic Scholar 연결/접근 안정화 후 재활성화 - [ ] Semantic Scholar 연결/접근 안정화 후 재활성화
- [ ] IEEE 웹사이트/API 접근 확인 후 재활성화 - [x] IEEE 네트워크 차단 해제 확인 (2026-08-21)
- [ ] IEEE API 승인 상태 확인 및 활성화
- [ ] provider circuit breaker 지속 운용 - [ ] provider circuit breaker 지속 운용
- [ ] Crossref 간헐적 네트워크 타임아웃 모니터링 - [ ] Crossref 간헐적 네트워크 타임아웃 모니터링
@@ -669,3 +671,11 @@ scheduler-YYYY-MM-DD_HH-MM-SS.log
- [x] Gemini 13초 요청 간격 추가 (무료 5 RPM 한도 보호) - [x] Gemini 13초 요청 간격 추가 (무료 5 RPM 한도 보호)
- [x] Gemini 무료 5 RPM 한도에서 429 오류 없음 확인 - [x] Gemini 무료 5 RPM 한도에서 429 오류 없음 확인
- [x] 이전 실패(`ai_status=failed`) Gemini 논문 재시도 구현 - [x] 이전 실패(`ai_status=failed`) Gemini 논문 재시도 구현
## IEEE 접근 (2026-08-21)
- [x] IEEE 네트워크 차단 해제 확인 (`developer.ieee.org` HTTP 200 OK)
## Query / 카테고리 정비 (2026-08-21)
- [x] Query 목록 재정비: 중복 제거, 영역별 재구성 (8개 query)
- [x] `classify_and_score()` 카테고리 키워드 정제 (Target Modeling / RF Impairment 제거, DOA/MIMO/Waveform 확장)
- [x] `relevance_terms` 조정 (`interference: 2`, `super resolution: 3` 추가)
+5 -7
View File
@@ -1,16 +1,14 @@
{ {
"semantic_scholar": { "semantic_scholar": {
"open_until": 1786804590.1067948, "open_until": 1787324596.303989,
"reason": "http_403", "reason": "http_403",
"strikes": { "strikes": {
"http_403": 1 "http_403": 2
} }
}, },
"crossref": { "crossref": {
"open_until": 1787231271.0746372, "open_until": 0.0,
"reason": "network_error", "reason": null,
"strikes": { "strikes": {}
"network_error": 1
}
} }
} }