AECBench: Benchmark for AEC LLM Evaluation
- AECBench is a domain-specific benchmark that evaluates LLMs on real-world, safety-critical AEC tasks using a five-level cognitive framework.
- It employs a 4,800-question dataset developed from authentic engineering practice and validated through a rigorous two-round expert review.
- The benchmark reveals performance gaps in reasoning, complex calculations, and code-table interpretation, guiding future improvements in LLM deployment.
1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 OR ti:\141414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 OR ti:\141414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414 1414