refine: query list, category keywords, and relevance terms #2

Merged
KG-access merged 1 commits from feature/querymodification into main 2026-08-21 09:24:59 +00:00
3 changed files with 68 additions and 65 deletions
+11 -16
View File
@@ -11,24 +11,20 @@ app:
search:
queries:
- automotive radar
- automotive imaging radar
- 4D radar
- FMCW radar MIMO
- MIMO radar
- radar DOA estimation
- wideband DOA radar
- automotive radar antenna
- radar target simulation
- radar interference
- super resolution DOA
- radar super resolution
- radar waveform
- automotive radar antenna
categories:
Antenna: [antenna, array, radome, beamforming, radiation pattern, sidelobe]
Waveform: [waveform, FMCW, chirp, stepped frequency, frequency step, PMCW, phase coded]
DOA: [DOA, direction of arrival, angle estimation, MUSIC, ESPRIT, angle FFT, beamspace, super resolution]
MIMO: [MIMO, TDM, BPM, DDMA, virtual array, multiplexing]
Target Modeling: [target model, target simulation, extended target, scatterer, scattering center, Swerling, RCS]
Antenna: [array antenna, radome, beamforming, radiation pattern, sidelobe]
Waveform: [waveform, FMCW, chirp, stepped frequency, OFDM, PMCW, phase coded]
DOA: [DOA, angle estimation, super resolution, direction of arrival, MUSIC, ESPRIT, Capon, beamspace, subspace, compressive sensing]
MIMO: [MIMO, TDM, BPM, DDM, RDMA, virtual array, multiplexing]
Interference: [interference, mutual interference, interference mitigation, coexistence]
RF Impairment: [phase noise, nonlinearity, IQ imbalance, leakage, oscillator]
Imaging Radar: [imaging radar, 4D radar, high resolution radar, point cloud]
relevance_terms:
@@ -39,10 +35,9 @@ search:
MIMO: 2
DOA: 2
direction of arrival: 2
super resolution: 3
antenna: 1
target simulation: 2
phase noise: 2
interference: 1
interference: 2
sources:
ieee:
@@ -51,7 +46,7 @@ sources:
base_url: https://ieeexploreapi.ieee.org/api/v1/search/articles
semantic_scholar:
enabled: false # Set true after your API key is approved/available.
enabled: false
api_key_env: SEMANTIC_SCHOLAR_API_KEY
base_url: https://api.semanticscholar.org/graph/v1/paper/search
+52 -42
View File
@@ -1,6 +1,6 @@
# Paper Monitor 프로젝트 - 남은 작업 및 검토 TODO
최종 업데이트: 2026-08-21
최종 업데이트: 2026-08-21 (IEEE 접근 차단 해제 확인)
이 문서는 지금까지 구축한 Synology NAS 기반 논문 자동 모니터링 시스템에서 **아직 미정이거나 수행하지 못한 항목**, 그리고 **운영 전에 변경 또는 추가 검토가 필요한 항목**을 정리한 TODO 목록이다.
@@ -52,14 +52,10 @@
- 검색 query 수 축소
- `max_retries` 추가 축소
### [ ] IEEE 접근 차단 해제 여부 확인
- 현재 상태
- 집 인터넷: `developer.ieee.org` -> HTTP 403
- 동일 PC + 휴대폰 테더링: HTTP 200 OK
- 현재 공인 IP 또는 해당 회선이 IEEE/Mashery/WAF에서 제한된 가능성이 매우 높음
- 현재는 `IEEE enabled: false` 유지
- 차단 해제 후에만 다시 활성화
- 재활성화 시 먼저 1개 query만 수동 테스트
### [x] IEEE 접근 차단 해제 여부 확인
- 2026-08-21 확인: 집 인터넷에서 `developer.ieee.org` HTTP 200 OK - 차단 해제 완료
- API 승인 상태 및 key 교체 여부는 아래 별도 항목에서 확인 필요
- 재활성화 시 먼저 1개 query만 수동 테스트 권장
- 401 / 403 / 429 / timeout / connection error 발생 시 해당 run의 IEEE 전체 중단 유지
- 동일 run에서 IEEE 자동 retry는 하지 않음
- 요청 간 최소 간격 5초 유지
@@ -69,11 +65,6 @@
- IEEE API key가 최종 승인되었는지 확인 후 활성화
- 웹사이트 접속 정상화와 API 승인 상태를 각각 확인
### [ ] 노출된 IEEE API key 교체 여부 확인
- 과거 오류 로그에 API key가 query string 형태로 노출된 적이 있음
- 아직 교체하지 않았다면 새 API key 발급/회전 권장
- 현재 수정한 IEEE collector는 향후 오류 로그에서 key가 노출되지 않도록 유지
---
## 2. 스케줄러 / 운영 설정
@@ -96,23 +87,24 @@ lookback_days: 14
- 매주 중복 수집량이 지나치게 많으면 10일 정도로 감소 검토
- publication date가 늦게 반영되는 source가 많으면 14일 유지
### [ ] Query 목록 재정비
현재 자동차 레이더 관련 다수 query 사용.
### [x] Query 목록 재정비 (2026-08-21)
중복도 높은 query 제거 및 관심영역별 재정비 완료.
검토 필요:
- 중복도가 지나치게 높은 query 제거
- 실제 유용 논문을 거의 만들지 않는 query 제거
- 주요 관심영역별 query 분리
적용 결과 (현재 query 목록):
- `automotive radar`
- `4D radar`
- `MIMO radar`
- `radar DOA estimation`
- `radar interference`
- `radar super resolution`
- `radar waveform`
- `automotive radar antenna`
예:
- Automotive radar
- Imaging radar / 4D radar
- FMCW / Waveform
- MIMO / DDMA
- DOA / Wideband DOA / Super-resolution
- Antenna
- Target modeling / Scattering center
- Interference / RF impairment
제거된 query: `automotive imaging radar` (4D radar와 중복), `FMCW radar MIMO` → `MIMO radar`로 단순화, `wideband DOA radar` / `super resolution DOA` → `radar super resolution`으로 통합, `radar target simulation` (유용 논문 적음)
향후 추가 검토:
- 수회 실행 후 각 query별 hit rate 확인
- 중복 비율이 여전히 높으면 추가 정리
### [ ] Source별 query 목록 분리 검토
IEEE, Semantic Scholar, Crossref에서 동일한 query 세트를 사용하는 대신 source 특성에 맞게 별도 query 목록을 둘지 검토.
@@ -152,13 +144,22 @@ sources:
- 공격적인 제목 키워드 필터링보다 쿼리 수준에서 범위 조정
- 새로운 비논문 항목이 나타나면 UI 링크 제외 목록 추가
### [ ] `classify_and_score()` 점수 규칙 검토
다음 항목에 대해 자동차 레이더 관련성이 명확하지 않으면 낮은 관련성 점수 부여:
- 일반 MIMO
- 일반 안테나
- 통신 전용 ISAC
- C/X/sub-6 GHz 논문
- 비레이더 DOA 논문
### [~] `classify_and_score()` 카테고리 및 관련성 점수 규칙 1차 정비 (2026-08-21)
완료된 변경 사항:
- `Antenna` 카테고리: `antenna` 제거 → `array antenna`만 유지 (일반 안테나 논문 필터링 강화)
- `Waveform` 카테고리: `OFDM` 추가
- `DOA` 카테고리: `Capon`, `subspace`, `compressive sensing` 추가 / `angle FFT` 제거
- `MIMO` 카테고리: `DDMA` → `DDM`, `RDMA` 추가
- `Target Modeling` 카테고리 제거 (자동차 레이더 관련성 낮음)
- `RF Impairment` 카테고리 제거 (자동차 레이더 관련성 낮음)
- `relevance_terms`: `interference: 1 → 2`, `super resolution: 3` 추가, `target simulation: 2` / `phase noise: 2` 제거
미완료 - 추가 검토 필요:
- [ ] 통신 전용 ISAC 논문 낮은 점수 처리
- [ ] C/X/sub-6 GHz 비레이더 논문 필터링
- [ ] 비레이더 DOA 논문 낮은 점수 처리
- 수회 실행 후 false positive 여전히 많으면 추가 규칙 도입
---
@@ -468,8 +469,8 @@ OA PDF
### [ ] Semantic Scholar 연결/접근 안정화 후 재활성화
(기존 섹션 1 참조)
### [ ] IEEE 웹사이트/API 접근 확인 후 재활성화
(기존 섹션 1 참조)
### [x] IEEE 웹사이트/API 접근 확인 후 재활성화
- 2026-08-21: 네트워크 차단 해제 확인. API 승인 상태 및 key 교체 후 `IEEE enabled: true`로 전환 가능
### [ ] provider circuit breaker 지속 운용
현재 circuit breaker 정상 동작 중. 계속 유지.
@@ -571,7 +572,7 @@ app:
sources:
ieee:
enabled: false
enabled: false # 네트워크 차단 해제됨. API 승인 및 key 교체 확인 후 true로 전환
semantic_scholar:
enabled: false
@@ -596,7 +597,7 @@ oa:
lookback: 14일
```
현재 IEEE와 Semantic Scholar가 비활성화되어 있으므로 당분간 Crossref 중심으로 수집되고, DOI가 있는 신규 논문에 대해 Unpaywall OA 검색 및 Gemini 분석이 수행된다.
IEEE 네트워크 차단은 해제되었으나 API 승인 상태 및 key 교체 확인 전까지 `enabled: false` 유지. 현재 Semantic Scholar도 비활성화 상태이므로 당분간 Crossref 중심으로 수집되고, DOI가 있는 신규 논문에 대해 Unpaywall OA 검색 및 Gemini 분석이 수행된다.
---
@@ -610,7 +611,7 @@ lookback: 14일
## P1 - 필터링 품질
- [ ] 수회 스케줄 실행 후 Google Scholar 관련성 임계값 검토 (현재: 3, 전역: 2)
- [ ] Scholar 파서 개선 (필요 시)
- [ ] `classify_and_score()` 점수 규칙 검토 (일반 MIMO/안테나/통신 전용 논문 처리)
- [~] `classify_and_score()` 카테고리/점수 1차 정비 완료 (ISAC/C밴드/비레이더 DOA 처리는 미완)
## P1 - AI
- [ ] Gemini 429 RetryInfo/backoff 명시적 처리 (13초 간격이 주 보호, 방어 처리 추가)
@@ -619,7 +620,8 @@ lookback: 14일
## P1 - 소스
- [ ] Semantic Scholar 연결/접근 안정화 후 재활성화
- [ ] IEEE 웹사이트/API 접근 확인 후 재활성화
- [x] IEEE 네트워크 차단 해제 확인 (2026-08-21)
- [ ] IEEE API 승인 상태 확인 및 활성화
- [ ] provider circuit breaker 지속 운용
- [ ] Crossref 간헐적 네트워크 타임아웃 모니터링
@@ -669,3 +671,11 @@ scheduler-YYYY-MM-DD_HH-MM-SS.log
- [x] Gemini 13초 요청 간격 추가 (무료 5 RPM 한도 보호)
- [x] Gemini 무료 5 RPM 한도에서 429 오류 없음 확인
- [x] 이전 실패(`ai_status=failed`) Gemini 논문 재시도 구현
## IEEE 접근 (2026-08-21)
- [x] IEEE 네트워크 차단 해제 확인 (`developer.ieee.org` HTTP 200 OK)
## Query / 카테고리 정비 (2026-08-21)
- [x] Query 목록 재정비: 중복 제거, 영역별 재구성 (8개 query)
- [x] `classify_and_score()` 카테고리 키워드 정제 (Target Modeling / RF Impairment 제거, DOA/MIMO/Waveform 확장)
- [x] `relevance_terms` 조정 (`interference: 2`, `super resolution: 3` 추가)
+5 -7
View File
@@ -1,16 +1,14 @@
{
"semantic_scholar": {
"open_until": 1786804590.1067948,
"open_until": 1787324596.303989,
"reason": "http_403",
"strikes": {
"http_403": 1
"http_403": 2
}
},
"crossref": {
"open_until": 1787231271.0746372,
"reason": "network_error",
"strikes": {
"network_error": 1
}
"open_until": 0.0,
"reason": null,
"strikes": {}
}
}