diff --git a/config.nas.yaml b/config.nas.yaml index a21e38d..3ce8a90 100644 --- a/config.nas.yaml +++ b/config.nas.yaml @@ -11,24 +11,20 @@ app: search: queries: - automotive radar - - automotive imaging radar - 4D radar - - FMCW radar MIMO + - MIMO radar - radar DOA estimation - - wideband DOA radar - - automotive radar antenna - - radar target simulation - radar interference - - super resolution DOA + - radar super resolution + - radar waveform + - automotive radar antenna categories: - Antenna: [antenna, array, radome, beamforming, radiation pattern, sidelobe] - Waveform: [waveform, FMCW, chirp, stepped frequency, frequency step, PMCW, phase coded] - DOA: [DOA, direction of arrival, angle estimation, MUSIC, ESPRIT, angle FFT, beamspace, super resolution] - MIMO: [MIMO, TDM, BPM, DDMA, virtual array, multiplexing] - Target Modeling: [target model, target simulation, extended target, scatterer, scattering center, Swerling, RCS] + Antenna: [array antenna, radome, beamforming, radiation pattern, sidelobe] + Waveform: [waveform, FMCW, chirp, stepped frequency, OFDM, PMCW, phase coded] + DOA: [DOA, angle estimation, super resolution, direction of arrival, MUSIC, ESPRIT, Capon, beamspace, subspace, compressive sensing] + MIMO: [MIMO, TDM, BPM, DDM, RDMA, virtual array, multiplexing] Interference: [interference, mutual interference, interference mitigation, coexistence] - RF Impairment: [phase noise, nonlinearity, IQ imbalance, leakage, oscillator] Imaging Radar: [imaging radar, 4D radar, high resolution radar, point cloud] relevance_terms: @@ -39,10 +35,9 @@ search: MIMO: 2 DOA: 2 direction of arrival: 2 + super resolution: 3 antenna: 1 - target simulation: 2 - phase noise: 2 - interference: 1 + interference: 2 sources: ieee: @@ -51,7 +46,7 @@ sources: base_url: https://ieeexploreapi.ieee.org/api/v1/search/articles semantic_scholar: - enabled: false # Set true after your API key is approved/available. + enabled: false api_key_env: SEMANTIC_SCHOLAR_API_KEY base_url: https://api.semanticscholar.org/graph/v1/paper/search diff --git a/paper-monitor-todo.md b/paper-monitor-todo.md index f39ab4c..d0f2342 100644 --- a/paper-monitor-todo.md +++ b/paper-monitor-todo.md @@ -1,6 +1,6 @@ # Paper Monitor 프로젝트 - 남은 작업 및 검토 TODO -최종 업데이트: 2026-08-21 +최종 업데이트: 2026-08-21 (IEEE 접근 차단 해제 확인) 이 문서는 지금까지 구축한 Synology NAS 기반 논문 자동 모니터링 시스템에서 **아직 미정이거나 수행하지 못한 항목**, 그리고 **운영 전에 변경 또는 추가 검토가 필요한 항목**을 정리한 TODO 목록이다. @@ -52,14 +52,10 @@ - 검색 query 수 축소 - `max_retries` 추가 축소 -### [ ] IEEE 접근 차단 해제 여부 확인 -- 현재 상태 - - 집 인터넷: `developer.ieee.org` -> HTTP 403 - - 동일 PC + 휴대폰 테더링: HTTP 200 OK - - 현재 공인 IP 또는 해당 회선이 IEEE/Mashery/WAF에서 제한된 가능성이 매우 높음 -- 현재는 `IEEE enabled: false` 유지 -- 차단 해제 후에만 다시 활성화 -- 재활성화 시 먼저 1개 query만 수동 테스트 +### [x] IEEE 접근 차단 해제 여부 확인 +- 2026-08-21 확인: 집 인터넷에서 `developer.ieee.org` HTTP 200 OK - 차단 해제 완료 +- API 승인 상태 및 key 교체 여부는 아래 별도 항목에서 확인 필요 +- 재활성화 시 먼저 1개 query만 수동 테스트 권장 - 401 / 403 / 429 / timeout / connection error 발생 시 해당 run의 IEEE 전체 중단 유지 - 동일 run에서 IEEE 자동 retry는 하지 않음 - 요청 간 최소 간격 5초 유지 @@ -69,11 +65,6 @@ - IEEE API key가 최종 승인되었는지 확인 후 활성화 - 웹사이트 접속 정상화와 API 승인 상태를 각각 확인 -### [ ] 노출된 IEEE API key 교체 여부 확인 -- 과거 오류 로그에 API key가 query string 형태로 노출된 적이 있음 -- 아직 교체하지 않았다면 새 API key 발급/회전 권장 -- 현재 수정한 IEEE collector는 향후 오류 로그에서 key가 노출되지 않도록 유지 - --- ## 2. 스케줄러 / 운영 설정 @@ -96,23 +87,24 @@ lookback_days: 14 - 매주 중복 수집량이 지나치게 많으면 10일 정도로 감소 검토 - publication date가 늦게 반영되는 source가 많으면 14일 유지 -### [ ] Query 목록 재정비 -현재 자동차 레이더 관련 다수 query 사용. +### [x] Query 목록 재정비 (2026-08-21) +중복도 높은 query 제거 및 관심영역별 재정비 완료. -검토 필요: -- 중복도가 지나치게 높은 query 제거 -- 실제 유용 논문을 거의 만들지 않는 query 제거 -- 주요 관심영역별 query 분리 +적용 결과 (현재 query 목록): +- `automotive radar` +- `4D radar` +- `MIMO radar` +- `radar DOA estimation` +- `radar interference` +- `radar super resolution` +- `radar waveform` +- `automotive radar antenna` -예: -- Automotive radar -- Imaging radar / 4D radar -- FMCW / Waveform -- MIMO / DDMA -- DOA / Wideband DOA / Super-resolution -- Antenna -- Target modeling / Scattering center -- Interference / RF impairment +제거된 query: `automotive imaging radar` (4D radar와 중복), `FMCW radar MIMO` → `MIMO radar`로 단순화, `wideband DOA radar` / `super resolution DOA` → `radar super resolution`으로 통합, `radar target simulation` (유용 논문 적음) + +향후 추가 검토: +- 수회 실행 후 각 query별 hit rate 확인 +- 중복 비율이 여전히 높으면 추가 정리 ### [ ] Source별 query 목록 분리 검토 IEEE, Semantic Scholar, Crossref에서 동일한 query 세트를 사용하는 대신 source 특성에 맞게 별도 query 목록을 둘지 검토. @@ -152,13 +144,22 @@ sources: - 공격적인 제목 키워드 필터링보다 쿼리 수준에서 범위 조정 - 새로운 비논문 항목이 나타나면 UI 링크 제외 목록 추가 -### [ ] `classify_and_score()` 점수 규칙 검토 -다음 항목에 대해 자동차 레이더 관련성이 명확하지 않으면 낮은 관련성 점수 부여: -- 일반 MIMO -- 일반 안테나 -- 통신 전용 ISAC -- C/X/sub-6 GHz 논문 -- 비레이더 DOA 논문 +### [~] `classify_and_score()` 카테고리 및 관련성 점수 규칙 1차 정비 (2026-08-21) + +완료된 변경 사항: +- `Antenna` 카테고리: `antenna` 제거 → `array antenna`만 유지 (일반 안테나 논문 필터링 강화) +- `Waveform` 카테고리: `OFDM` 추가 +- `DOA` 카테고리: `Capon`, `subspace`, `compressive sensing` 추가 / `angle FFT` 제거 +- `MIMO` 카테고리: `DDMA` → `DDM`, `RDMA` 추가 +- `Target Modeling` 카테고리 제거 (자동차 레이더 관련성 낮음) +- `RF Impairment` 카테고리 제거 (자동차 레이더 관련성 낮음) +- `relevance_terms`: `interference: 1 → 2`, `super resolution: 3` 추가, `target simulation: 2` / `phase noise: 2` 제거 + +미완료 - 추가 검토 필요: +- [ ] 통신 전용 ISAC 논문 낮은 점수 처리 +- [ ] C/X/sub-6 GHz 비레이더 논문 필터링 +- [ ] 비레이더 DOA 논문 낮은 점수 처리 +- 수회 실행 후 false positive 여전히 많으면 추가 규칙 도입 --- @@ -468,8 +469,8 @@ OA PDF ### [ ] Semantic Scholar 연결/접근 안정화 후 재활성화 (기존 섹션 1 참조) -### [ ] IEEE 웹사이트/API 접근 확인 후 재활성화 -(기존 섹션 1 참조) +### [x] IEEE 웹사이트/API 접근 확인 후 재활성화 +- 2026-08-21: 네트워크 차단 해제 확인. API 승인 상태 및 key 교체 후 `IEEE enabled: true`로 전환 가능 ### [ ] provider circuit breaker 지속 운용 현재 circuit breaker 정상 동작 중. 계속 유지. @@ -571,7 +572,7 @@ app: sources: ieee: - enabled: false + enabled: false # 네트워크 차단 해제됨. API 승인 및 key 교체 확인 후 true로 전환 semantic_scholar: enabled: false @@ -596,7 +597,7 @@ oa: lookback: 14일 ``` -현재 IEEE와 Semantic Scholar가 비활성화되어 있으므로 당분간 Crossref 중심으로 수집되고, DOI가 있는 신규 논문에 대해 Unpaywall OA 검색 및 Gemini 분석이 수행된다. +IEEE 네트워크 차단은 해제되었으나 API 승인 상태 및 key 교체 확인 전까지 `enabled: false` 유지. 현재 Semantic Scholar도 비활성화 상태이므로 당분간 Crossref 중심으로 수집되고, DOI가 있는 신규 논문에 대해 Unpaywall OA 검색 및 Gemini 분석이 수행된다. --- @@ -610,7 +611,7 @@ lookback: 14일 ## P1 - 필터링 품질 - [ ] 수회 스케줄 실행 후 Google Scholar 관련성 임계값 검토 (현재: 3, 전역: 2) - [ ] Scholar 파서 개선 (필요 시) -- [ ] `classify_and_score()` 점수 규칙 검토 (일반 MIMO/안테나/통신 전용 논문 처리) +- [~] `classify_and_score()` 카테고리/점수 1차 정비 완료 (ISAC/C밴드/비레이더 DOA 처리는 미완) ## P1 - AI - [ ] Gemini 429 RetryInfo/backoff 명시적 처리 (13초 간격이 주 보호, 방어 처리 추가) @@ -619,7 +620,8 @@ lookback: 14일 ## P1 - 소스 - [ ] Semantic Scholar 연결/접근 안정화 후 재활성화 -- [ ] IEEE 웹사이트/API 접근 확인 후 재활성화 +- [x] IEEE 네트워크 차단 해제 확인 (2026-08-21) +- [ ] IEEE API 승인 상태 확인 및 활성화 - [ ] provider circuit breaker 지속 운용 - [ ] Crossref 간헐적 네트워크 타임아웃 모니터링 @@ -669,3 +671,11 @@ scheduler-YYYY-MM-DD_HH-MM-SS.log - [x] Gemini 13초 요청 간격 추가 (무료 5 RPM 한도 보호) - [x] Gemini 무료 5 RPM 한도에서 429 오류 없음 확인 - [x] 이전 실패(`ai_status=failed`) Gemini 논문 재시도 구현 + +## IEEE 접근 (2026-08-21) +- [x] IEEE 네트워크 차단 해제 확인 (`developer.ieee.org` HTTP 200 OK) + +## Query / 카테고리 정비 (2026-08-21) +- [x] Query 목록 재정비: 중복 제거, 영역별 재구성 (8개 query) +- [x] `classify_and_score()` 카테고리 키워드 정제 (Target Modeling / RF Impairment 제거, DOA/MIMO/Waveform 확장) +- [x] `relevance_terms` 조정 (`interference: 2`, `super resolution: 3` 추가) diff --git a/state/provider_circuit_breaker_state.json b/state/provider_circuit_breaker_state.json index e367433..0e28133 100644 --- a/state/provider_circuit_breaker_state.json +++ b/state/provider_circuit_breaker_state.json @@ -1,16 +1,14 @@ { "semantic_scholar": { - "open_until": 1786804590.1067948, + "open_until": 1787324596.303989, "reason": "http_403", "strikes": { - "http_403": 1 + "http_403": 2 } }, "crossref": { - "open_until": 1787231271.0746372, - "reason": "network_error", - "strikes": { - "network_error": 1 - } + "open_until": 0.0, + "reason": null, + "strikes": {} } } \ No newline at end of file